Llama 2 ra mắt: Cạnh tranh mô hình lớn đến một điểm khởi đầu mới trong một đêm

Bởi





Thay đổi trong thị trường mô hình ngôn ngữ lớn

Thay đổi trong thị trường mô hình ngôn ngữ lớn

Khi một công ty có công nghệ mới vượt trội và sắp độc chiếm ngành, các đối thủ nên làm gì?

Năm 2008, một năm sau khi iPhone ra mắt, các nhà sản xuất điện thoại khác đang cố gắng phát triển hệ điều hành để bắt kịp Apple. Microsoft có Windows Mobile, BlackBerry có BBOS, Nokia đã phát triển Maemo dựa trên hệ thống Linux, và Palm đang bí mật nghiên cứu WebOS…

Hơn bốn năm sau, những chiếc smartphone còn bán được chủ yếu đến từ Apple hoặc chạy hệ điều hành Android mã nguồn mở. Hiện tại, đối thủ của Apple không còn hệ điều hành riêng, nhưng họ vẫn chiếm hơn 80% thị phần smartphone.

Một ngành công nghiệp đã tập trung vào công nghệ mã nguồn mở để chống lại người dẫn đầu, và điều này tiếp tục xảy ra trong cuộc cạnh tranh công nghệ ngày nay.

Windows khó bị thách thức, cộng đồng công nghệ không hài lòng với Microsoft đã biến Linux thành hệ điều hành cho website và ứng dụng internet. Amazon AWS đã mở rộng ngành công nghiệp đám mây, và các đối thủ như Alibaba Cloud và IBM đã coi Kubernetes (K8S) của Google là chuẩn mực. Hầu hết bộ xử lý di động đều phụ thuộc vào kiến trúc ARM, do đó RISC-V đang nhận được sự hỗ trợ đầu tư rộng rãi.

Tối qua, Meta đã đưa ra một ví dụ khác về điều này. Họ thông báo sẽ mở cửa mô hình ngôn ngữ lớn Llama 2 cho sử dụng thương mại (cần xin phép riêng nếu số người dùng hàng tháng vượt quá 700 triệu), nhằm tạo chuẩn mở cho kỷ nguyên mô hình ngôn ngữ lớn. Và Microsoft, đối tác thân cận của OpenAI, lần này trở thành đối tác hàng đầu của Llama 2.

Microsoft đã công bố hợp tác này cùng ngày tổ chức hội nghị Inspire, và ngay trước khi công bố 2 phút, họ đã vẽ một slide “Microsoft ?? OpenAI” trên PowerPoint. Việc Microsoft nắm tay cả OpenAI đóng gói (một mô hình đóng) và Llama 2 (mô hình mở) phản ánh mối quan hệ phức tạp giữa cạnh tranh công nghệ và hợp tác kinh doanh ngày nay.

CEO Satya Nadella của Microsoft nhấn mạnh mối quan hệ gần gũi giữa Microsoft và OpenAI trong buổi họp báo (ảnh trên). Hình ảnh chụp CEO Mark Zuckerberg của Meta và Nadella, từ tài khoản mạng xã hội của Zuckerberg.

Sau khi ChatGPT ra mắt cuối năm ngoái, các công ty công nghệ lớn và nhỏ cũng như các cơ sở nghiên cứu trên toàn thế giới đã cố gắng theo đuổi, tạo ra hàng trăm mô hình ngôn ngữ lớn. Nhưng sau khi Meta mở cửa Llama 2, hầu hết các mô hình này chưa được thương mại hóa đã trở nên lỗi thời.

“Llama 2 dường như rất mạnh mẽ (vượt qua GPT-3), mô hình trò chuyện được điều chỉnh dường như ở cùng mức độ với ChatGPT,” Nathan Lambert, nhà khoa học máy tính tại HuggingFace, nói. “Đây là bước nhảy vọt lớn cho mã nguồn mở, nhưng là một đòn nặng cho các công ty mô hình ngôn ngữ lớn đóng gói, mô hình này (Llama 2) sẽ đáp ứng nhu cầu của hầu hết công ty về chi phí thấp hơn và cá nhân hóa.”

Trong tháng 2, chỉ ba tháng sau khi ra mắt ChatGPT, Meta đã mở cửa mô hình ngôn ngữ lớn Llama đầu tiên. Khi đó, các nhà phát triển chỉ có thể nhận được mô hình tiền huấn luyện Llama và chỉ được phép sử dụng cho mục đích nghiên cứu, không phải là một ứng dụng được đào tạo cụ thể cho một nhiệm vụ hoặc nhu cầu nào.

Mô hình Llama 2 hỗ trợ thương mại nhìn chung mạnh hơn. Meta đã công bố ba mô hình với quy mô tham số là 7 tỷ, 13 tỷ và 700 tỷ, và họ đã công bố chi tiết về dữ liệu huấn luyện, phương pháp huấn luyện, và dữ liệu đánh dấu… Điều này cho thấy mức độ của Llama 2:

  • Mô hình với cùng quy mô tham số, Llama 2 mạnh hơn tất cả các mô hình ngôn ngữ lớn mã nguồn mở khác;
  • Mô hình 700 tỷ tham số trong khía cạnh suy luận gần tương đương với GPT-3.5 phía sau ChatGPT, nhưng khả năng viết mã còn kém xa.

Nhiều nhà phát triển đã thử nghiệm mô hình Llama 2 cơ bản xác nhận lời của Meta: “Thử nghiệm mã cho thấy nó không thể duy trì hơn 15 phút.” Mô hình 7 tỷ tham số có thể chạy trên Mac, xử lý 6 ký tự mỗi giây, chậm hơn 70% so với mô hình nhỏ nhất của Google là “Gecko”. Tuy nhiên, Google không công bố thông tin cụ thể về “Gecko”.

Theo thông tin mà Meta công bố, dữ liệu huấn luyện của Llama 2 (đều từ dữ liệu công khai) đã tăng lên 2 nghìn tỷ Token (chỉ từ một từ thông thường, dấu câu hoặc số), tăng 40% so với phiên bản đầu tiên. Độ dài ngữ cảnh đã được mở rộng lên đến 4000 ký tự, giúp hiểu rõ hơn về ngữ nghĩa văn bản.

Meta cũng đã sử dụng cơ chế học máy tăng cường dựa trên phản hồi của con người (RLHF) để huấn luyện một ứng dụng trò chuyện giống ChatGPT, với 1 triệu dữ liệu đánh dấu con người. Đây cũng là phương pháp mà cộng đồng mã nguồn mở đã sử dụng trong vài tháng qua để huấn luyện lại Llama. Meta tuyên bố “khả năng viết xuất sắc của mô hình ngôn ngữ lớn, cơ bản là do RLHF thúc đẩy.”

Việc huấn luyện Llama 2 có thể không rẻ. Nathan Lambert ước lượng rằng chi phí huấn luyện Llama 2 có thể vượt quá 25 triệu đô la, không ít hơn chi phí huấn luyện GPT-3 của OpenAI cách đây ba năm. Ông nói rằng có nhiều dấu hiệu cho thấy Meta vẫn đang tiếp tục huấn luyện Llama mạnh hơn.

Llama 2 của Meta đã thể hiện tốt hơn các mô hình ngôn ngữ lớn mã nguồn mở khác trên nhiều tập dữ liệu. Hình ảnh từ Meta.

“Thay đổi cục diện thị trường mô hình ngôn ngữ lớn”

Là cơ sở hạ tầng, mô hình ngôn ngữ nằm ở tầng dưới cùng của sản phẩm. Người dùng cảm nhận được chỉ là hộp thoại và nội dung được xử lý bởi mô hình ngôn ngữ lớn, không thấy được sử dụng mô hình nào, công nghệ nào.

Đặc điểm này của mô hình ngôn ngữ lớn, đến một mức độ nhất định, quyết định tình hình cạnh tranh – chỉ cần có mô hình lớn hơn phù hợp hơn với nhu cầu của người dùng hoặc doanh nghiệp, việc chuyển đổi không quá khó khăn, thậm chí không gây ra nhiều ảnh hưởng tiêu cực cho người dùng. “Nếu khả năng của mô hình ngôn ngữ lớn không chênh lệch nhiều, chỉ cần thực hiện một số công việc phân phối, vấn đề có thể được giải quyết, không cần nhiều công sức phát triển,” một nhà phát triển AI nói.

Với mô hình ngôn ngữ lớn mã nguồn mở như Llama 2, ý nghĩa tự phát triển càng nhỏ đi. Andrej Karpathy, nhà nghiên cứu khoa học của OpenAI và cựu giám đốc trí tuệ nhân tạo của Tesla, cũng nói rằng việc phát hành Llama 2 là một ngày quan trọng trong lịch sử phát triển AI và mô hình ngôn ngữ lớn, “Llama 2 là mô hình ngôn ngữ lớn mạnh nhất mà bất kỳ ai cũng có thể nhận được trọng lượng mô hình (thông số đặc trưng, thông tin quan trọng nhất của một mô hình).

Yann LeCun, Phó chủ tịch cấp cao và người đứng đầu bộ phận AI của Meta, nói rằng Llama 2 sẽ thay đổi cục diện thị trường mô hình ngôn ngữ lớn. Một quản lý cấp cao của một công ty khởi nghiệp mô hình ngôn ngữ lớn Trung Quốc giải thích điều này: “Rất nhanh, chúng ta sẽ thấy nhiều công ty phát triển ứng dụng mô hình ngôn ngữ lớn sẽ thay thế mô hình cơ bản bằng Llama 2.”

Nhiều nhà nghiên cứu AI đồng ý với Yann LeCun, với việc phát hành Llama 2, chiến lược mã nguồn mở và hỗ trợ thương mại của Meta có thể thay đổi cục diện và sinh thái của mô hình ngôn ngữ lớn.

Năm 6, Quỹ mạo hiểm Sequoia đã phát hiện trong 33 công ty khởi nghiệp và công ty niêm yết mà họ đầu tư, 65% đã triển khai ứng dụng mô hình lớn, và 94% đang sử dụng API của mô hình lớn của OpenAI để phát triển ứng dụng.

Cách họ sử dụng mô hình lớn chủ yếu khá đơn giản: gọi trực tiếp API của ChatGPT để xử lý dữ liệu riêng tư hoàn thành nhiệm vụ cụ thể, chẳng hạn như dịch đa ngôn ngữ, tạo văn bản hoặc tóm tắt nội dung web. Rất ít công ty sẽ phát triển sâu hơn, ví dụ như huấn luyện mô hình với lượng dữ liệu lớn.

Tại Trung Quốc, nhiều công ty chọn thu thập dữ liệu từ đầu hoặc sử dụng bộ dữ liệu công khai để huấn luyện mô hình ngôn ngữ lớn, đã phát hành hơn 80 mô hình lớn trong nửa năm qua, không thiếu công ty và tổ chức mở cửa mô hình, sử dụng hỗ trợ thương mại như một điểm cạnh tranh, sau đó kinh doanh.

Theo thông tin từ CAVOI, một công ty khởi nghiệp mô hình ngôn ngữ lớn được chú ý tại Trung Quốc đã phát hành một mô hình lớn mã nguồn mở 6 tỷ tham số, công ty muốn mua quyền thương mại phải trả hàng trăm nghìn đô la, gần đây đã thông báo miễn phí; mô hình lớn không mở cửa 100 tỷ tham số, giá bán hàng năm lên đến hàng triệu đô la.

Một người chịu trách nhiệm về bộ phận AI của một công ty đại chúng đã nói với CAVOI vào tháng 5 rằng họ dự định sử dụng GPT-3.5 của OpenAI để phát triển chức năng, nhưng chi phí quá cao – dự kiến ​​chi phí hàng ngày lên đến hàng nghìn đô la, và việc tùy chỉnh phát triển rất khó khăn, cũng không hỗ trợ cùng lúc phản hồi yêu cầu từ nhiều người dùng.

Cuối cùng họ đã chọn mô hình Llama (6 tỷ) và một mô hình lớn mã nguồn mở của một công ty Trung Quốc, điều này có nghĩa là chi phí huấn luyện và triển khai thấp hơn, và sau khi được huấn luyện lại với dữ liệu, hiệu quả phát triển và sử dụng dựa trên Llama và mô hình mã nguồn mở Trung Quốc không khác biệt nhiều so với việc sử dụng GPT-3.5.

Ưu điểm của các công ty mô hình ngôn ngữ lớn Trung Quốc lúc đó là họ có thể đàm phán quyền thương mại, trong khi Llama không. Khi Llama 2 bắt đầu cho phép sử dụng thương mại, ưu điểm này của các công ty mô hình ngôn ngữ lớn Trung Quốc hiện nay cũng không còn.

Mô hình ngôn ngữ lớn mã nguồn mở đang nhanh chóng đuổi kịp

Khi ChatGPT ra mắt cuối năm ngoái, nó đã gây ấn tượng mạnh với khả năng trả lời đầy ý nghĩa và khả năng viết mã mạnh mẽ. Nhiều công ty đã quan tâm đến việc làm sao để tạo ra một sản phẩm tương tự.

Hơn sáu tháng trôi qua, từ các công ty lớn đến lập trình viên bình thường, đều có thể tạo ra một ứng dụng giống ChatGPT nhờ cộng đồng mã nguồn mở. Nền tảng phát triển đám mây Replit đã phát hiện rằng số lượng dự án mã nguồn mở sử dụng mô hình ngôn ngữ lớn tăng gấp đôi mỗi quý.

Dựa trên các mô hình ngôn ngữ lớn mã nguồn mở như Llama, các nhà phát triển đã tạo ra nhiều bộ dữ liệu mã nguồn mở, ví dụ như bộ dữ liệu dựa trên học máy tăng cường dựa trên phản hồi của con người (RLHF), liên tục nâng cao khả năng của các mô hình ngôn ngữ lớn mã nguồn mở.

Theo đánh giá của nhóm giáo sư và sinh viên từ Đại học California Berkeley, Carnegie Mellon University và các trường đại học khác thành lập LMSYS Org, trong vài tháng qua, khoảng cách giữa mô hình ngôn ngữ lớn mã nguồn mở và GPT-4 đã giảm đáng kể – từ 191 điểm xuống còn khoảng 115 điểm. Trong quá trình đuổi kịp, cộng đồng mã nguồn mở đã tạo ra các mô hình lớn chạy trên máy tính và điện thoại trước cả Google hơn một tháng.

Với việc Meta mở cửa Llama 2, sức mạnh của cộng đồng mã nguồn mở trong lĩnh vực mô hình ngôn ngữ lớn sẽ mạnh hơn. Meta cho biết, sau khi mô hình không hỗ trợ thương mại đầu tiên được mở cửa, họ đã nhận được hơn 100.000 yêu cầu sử dụng từ các nhà nghiên cứu – chưa tính đến những người tải trực tiếp từ mạng.

“Các nhà nghiên cứu AI của công ty lớn vì vấn đề giấy phép mã nguồn mở đã thận trọng với phiên bản đầu tiên của Llama, tôi nghĩ nhiều người trong số họ sẽ nhảy lên tàu (Llama 2) và đóng góp sức lực của mình,” Jim Fan, một nhà khoa học AI cao cấp của NVIDIA, nói. Ngay cả khi khả năng lập trình của Llama 2 hiện tại không tốt, sau khi mở cửa, nó sẽ nhanh chóng cải thiện.

Phiên bản Llama 2 mã nguồn mở lớn nhất (700 tỷ tham số) có quy mô tham số chưa bằng một nửa so với mô hình GPT-3 mà OpenAI đã huấn luyện ba năm trước, nhưng hiệu quả vượt trội hơn GPT-3, là một minh chứng rõ ràng.

Lý thuyết mã nguồn mở thiên về việc mở rộng phạm vi công nghệ mới sau khi đạt đến một mức độ nhất định, cho phép nhiều người sử dụng công nghệ, sau đó cải tiến mô hình từ nhiều ứng dụng. Trong khi đó, các công ty đóng gói như OpenAI thiên về việc giữ vững vị trí dẫn đầu về công nghệ, sau đó mới phổ biến mô hình mạnh mẽ cho nhiều người.

Như sự cạnh tranh giữa iOS và Android trong hệ điều hành điện thoại di động, cạnh tranh giữa mã nguồn mở và đóng gói không phải luôn diễn ra ở cùng một mặt phẳng, ngành công nghiệp mô hình ngôn ngữ lớn cũng sẽ xuất hiện sự phân hóa tương tự.

Trong cục diện cạnh tranh mới này, ngay cả Google cũng không chắc chắn về việc duy trì vị trí dẫn đầu.

Năm 5, một kỹ sư cấp cao của Google đã viết trong một bài đăng nội bộ rằng mặc dù chất lượng của mô hình lớn của Google vẫn còn chút lợi thế, nhưng khoảng cách với các sản phẩm mã nguồn mở đang thu hẹp với tốc độ kinh ngạc, mô hình mã nguồn mở cải tiến nhanh hơn, người dùng có thể tùy chỉnh phát triển theo các kịch bản kinh doanh khác nhau, bảo vệ dữ liệu cá nhân tốt hơn, và chi phí thấp hơn.

“Chỉ cần vài tuần, họ có thể làm được những gì chúng tôi khó khăn để làm với 100 triệu đô la và 130 tỷ tham số, trong khi chúng tôi cần 10 triệu đô la và 540 tỷ tham số,” ông nói. “Chúng tôi không có hào thành, OpenAI cũng không.”

Hôm qua, Meta đã giải thích sau khi công bố Llama 2 mã nguồn mở rằng việc công bố mã nguồn mở là đúng đắn cho sự phát triển của các mô hình AI ngày nay, đặc biệt là trong lĩnh vực sản xuất phát triển nhanh chóng, “bằng cách cung cấp công khai các mô hình AI, chúng có thể phục vụ mọi người – không chỉ là một số công ty lớn.”

Một cuộc cạnh tranh kiểu mới khác đang hình thành trong lĩnh vực trí tuệ nhân tạo tạo ra. Cộng đồng mã nguồn mở đang sử dụng sức mạnh hợp tác mở để theo đuổi các lợi thế dẫn đầu mà các công ty thương mại lớn đã xây dựng với tốc độ đáng kinh ngạc. Và những công ty lớn quen với sự đóng cửa công nghệ và độc quyền thị trường cũng đang dần chấp nhận mã nguồn mở.


Từ khóa:

  • Mô hình ngôn ngữ lớn
  • Mã nguồn mở
  • Thị trường
  • Công nghệ
  • Cạnh tranh

Viết một bình luận