Nguồn: https://www.facebook.com/zuck/posts/pfbid0ddkWnE2JhSCRSqw4FSzua3FxaQo5Hvz1VWxaT3HELq36Ju4BJ4GcpTycBRE9tWUHl
Trong những ngày đầu của điện toán hiệu năng cao, các công ty công nghệ lớn đều đầu tư mạnh mẽ vào việc phát triển phiên bản Unix nguồn đóng của riêng họ. Lúc đó, khó có thể tưởng tượng rằng bất kỳ cách tiếp cận nào khác có thể phát triển phần mềm tiên tiến như vậy. Tuy nhiên, cuối cùng Linux nguồn mở đã dần được ưa chuộng – ban đầu vì nó cho phép các nhà phát triển sửa đổi mã nguồn theo ý muốn và có chi phí thấp hơn, và theo thời gian vì nó trở nên tiên tiến hơn, an toàn hơn, và có một hệ sinh thái rộng lớn hơn hỗ trợ nhiều khả năng hơn bất kỳ Unix đóng nào. Ngày nay, Linux là nền tảng tiêu chuẩn của ngành cho cả điện toán đám mây và hệ điều hành chạy trên hầu hết các thiết bị di động – và tất cả chúng ta đều được hưởng lợi từ những sản phẩm vượt trội nhờ vào điều đó.
Tôi tin rằng AI sẽ phát triển theo cách tương tự. Hiện nay, một số công ty công nghệ đang phát triển các mô hình đóng hàng đầu. Nhưng nguồn mở đang nhanh chóng thu hẹp khoảng cách. Năm ngoái, Llama 2 chỉ có thể so sánh với một thế hệ mô hình cũ hơn đằng sau tiền tuyến. Năm nay, Llama 3 đã cạnh tranh được với các mô hình tiên tiến nhất và dẫn đầu trong một số lĩnh vực. Bắt đầu từ năm tới, chúng tôi kỳ vọng các mô hình Llama trong tương lai sẽ trở thành mô hình tiên tiến nhất trong ngành. Nhưng ngay cả trước đó, Llama đã dẫn đầu về tính mở, khả năng sửa đổi và hiệu quả chi phí.
Hôm nay chúng tôi đang thực hiện những bước tiếp theo hướng tới việc AI nguồn mở trở thành tiêu chuẩn của ngành. Chúng tôi đang phát hành Llama 3.1 405B, mô hình AI nguồn mở đầu tiên ở cấp độ tiền tuyến, cũng như các mô hình Llama 3.1 70B và 8B mới và cải tiến. Ngoài việc có hiệu suất chi phí đáng kể tốt hơn so với các mô hình đóng, việc mô hình 405B mở sẽ khiến nó trở thành lựa chọn tốt nhất để tinh chỉnh và chưng cất các mô hình nhỏ hơn.
Ngoài việc phát hành các mô hình này, chúng tôi đang làm việc với nhiều công ty để phát triển hệ sinh thái rộng lớn hơn. Amazon, Databricks và Nvidia đang ra mắt các bộ dịch vụ đầy đủ để hỗ trợ các nhà phát triển tinh chỉnh và chưng cất các mô hình của riêng họ. Những công ty đổi mới như Groq đã xây dựng dịch vụ suy luận có độ trễ thấp, chi phí thấp cho tất cả các mô hình mới. Các mô hình sẽ có sẵn trên tất cả các đám mây lớn bao gồm AWS, Azure, Google, Oracle và hơn thế nữa. Các công ty như Scale.AI, Dell, Deloitte và những công ty khác đã sẵn sàng giúp các doanh nghiệp áp dụng Llama và đào tạo các mô hình tùy chỉnh với dữ liệu riêng của họ. Khi cộng đồng phát triển và nhiều công ty phát triển các dịch vụ mới, chúng ta có thể cùng nhau biến Llama thành tiêu chuẩn của ngành và mang lại lợi ích của AI cho mọi người.
Meta cam kết với AI nguồn mở. Tôi sẽ trình bày tại sao tôi tin rằng nguồn mở là bộ công cụ phát triển tốt nhất cho bạn, tại sao việc mở nguồn Llama là tốt cho Meta, và tại sao AI nguồn mở là tốt cho thế giới và do đó là một nền tảng sẽ tồn tại lâu dài.
Tại sao AI nguồn mở tốt cho các nhà phát triển
Khi tôi nói chuyện với các nhà phát triển, CEO và các quan chức chính phủ trên khắp thế giới, tôi thường nghe thấy một số chủ đề:
- Chúng tôi cần đào tạo, tinh chỉnh và chưng cất các mô hình của riêng mình. Mỗi tổ chức có những nhu cầu khác nhau được đáp ứng tốt nhất bằng các mô hình có kích thước khác nhau được đào tạo hoặc tinh chỉnh với dữ liệu cụ thể của họ. Các tác vụ trên thiết bị và tác vụ phân loại yêu cầu các mô hình nhỏ, trong khi các tác vụ phức tạp hơn yêu cầu các mô hình lớn hơn. Giờ đây, bạn sẽ có thể lấy các mô hình Llama tiên tiến nhất, tiếp tục đào tạo chúng với dữ liệu của riêng bạn và sau đó chưng cất chúng thành một mô hình có kích thước tối ưu của bạn – mà không cần chúng tôi hoặc bất kỳ ai khác nhìn thấy dữ liệu của bạn.
- Chúng tôi cần kiểm soát số phận của mình và không bị khóa vào một nhà cung cấp đóng. Nhiều tổ chức không muốn phụ thuộc vào các mô hình mà họ không thể chạy và kiểm soát. Họ không muốn các nhà cung cấp mô hình đóng có thể thay đổi mô hình của họ, thay đổi điều khoản sử dụng, hoặc thậm chí ngừng phục vụ họ hoàn toàn. Họ cũng không muốn bị khóa vào một đám mây duy nhất có quyền độc quyền đối với một mô hình. Nguồn mở cho phép một hệ sinh thái rộng lớn các công ty với các công cụ tương thích mà bạn có thể di chuyển giữa chúng một cách dễ dàng.
- Chúng tôi cần bảo vệ dữ liệu của mình. Nhiều tổ chức xử lý dữ liệu nhạy cảm mà họ cần bảo mật và không thể gửi đến các mô hình đóng qua API đám mây. Các tổ chức khác đơn giản là không tin tưởng các nhà cung cấp mô hình đóng với dữ liệu của họ. Nguồn mở giải quyết những vấn đề này bằng cách cho phép bạn chạy các mô hình ở bất cứ đâu bạn muốn. Người ta chấp nhận rằng phần mềm nguồn mở thường an toàn hơn vì nó được phát triển một cách minh bạch hơn.
- Chúng tôi cần một mô hình hiệu quả và có chi phí phải chăng để chạy. Các nhà phát triển có thể chạy suy luận trên Llama 3.1 405B trên cơ sở hạ tầng của riêng họ với chi phí thấp hơn khoảng 50% so với việc sử dụng các mô hình đóng như GPT-4o, cho cả các tác vụ suy luận trực tiếp và ngoại tuyến.
- Chúng tôi muốn đầu tư vào hệ sinh thái sẽ là tiêu chuẩn cho lâu dài. Nhiều người nhận thấy rằng nguồn mở đang tiến bộ với tốc độ nhanh hơn so với các mô hình đóng, và họ muốn xây dựng hệ thống của mình trên kiến trúc sẽ mang lại cho họ lợi thế lớn nhất trong dài hạn.
Tại sao AI nguồn mở tốt cho Meta
Mô hình kinh doanh của Meta là về việc xây dựng những trải nghiệm và dịch vụ tốt nhất cho mọi người. Để làm được điều này, chúng tôi phải đảm bảo rằng chúng tôi luôn có quyền truy cập vào công nghệ tốt nhất, và chúng tôi không bị khóa vào hệ sinh thái đóng của đối thủ cạnh tranh, nơi họ có thể hạn chế những gì chúng tôi xây dựng.
Một trong những trải nghiệm quan trọng của tôi là xây dựng các dịch vụ của chúng tôi bị hạn chế bởi những gì Apple cho phép chúng tôi xây dựng trên nền tảng của họ. Giữa cách họ đánh thuế các nhà phát triển, các quy tắc tùy ý họ áp dụng, và tất cả các đổi mới sản phẩm mà họ chặn không cho phát hành, rõ ràng là Meta và nhiều công ty khác sẽ được tự do xây dựng các dịch vụ tốt hơn nhiều cho mọi người nếu chúng tôi có thể xây dựng các phiên bản tốt nhất của sản phẩm của mình và các đối thủ cạnh tranh không thể hạn chế những gì chúng tôi có thể xây dựng. Trên phương diện triết học, đây là một lý do chính khiến tôi tin tưởng mạnh mẽ vào việc xây dựng các hệ sinh thái mở trong AI và AR/VR cho thế hệ điện toán tiếp theo.
Mọi người thường hỏi liệu tôi có lo lắng về việc từ bỏ lợi thế kỹ thuật bằng cách mở nguồn Llama hay không, nhưng tôi nghĩ điều này bỏ qua bức tranh lớn vì một vài lý do:
Đầu tiên, để đảm bảo rằng chúng tôi có quyền truy cập vào công nghệ tốt nhất và không bị khóa vào một hệ sinh thái đóng trong dài hạn, Llama cần phát triển thành một hệ sinh thái đầy đủ các công cụ, cải tiến hiệu quả, tối ưu hóa silicon và các tích hợp khác. Nếu chúng tôi là công ty duy nhất sử dụng Llama, hệ sinh thái này sẽ không phát triển và chúng tôi sẽ không tốt hơn các biến thể đóng của Unix.
Thứ hai, tôi mong đợi sự phát triển AI sẽ tiếp tục cạnh tranh cao, điều đó có nghĩa là mở nguồn bất kỳ mô hình nào không phải là việc từ bỏ một lợi thế lớn so với các mô hình tốt nhất tiếp theo tại thời điểm đó. Con đường để Llama trở thành tiêu chuẩn của ngành là bằng cách liên tục cạnh tranh, hiệu quả và mở từ thế hệ này sang thế hệ khác.
Thứ ba, một sự khác biệt chính giữa Meta và các nhà cung cấp mô hình đóng là việc bán quyền truy cập vào các mô hình AI không phải là mô hình kinh doanh của chúng tôi. Điều đó có nghĩa là việc phát hành Llama một cách rộng rãi và hoàn toàn là mã nguồn mở (open source) không làm giảm doanh thu, tính bền vững hoặc khả năng đầu tư vào nghiên cứu của chúng tôi như nó làm đối với các nhà cung cấp đóng. (Đây là một lý do tại sao một số nhà cung cấp đóng liên tục vận động chính phủ chống lại nguồn mở.)
Cuối cùng, Meta có lịch sử lâu dài về các dự án và thành công nguồn mở. Chúng tôi đã tiết kiệm hàng tỷ đô la bằng cách phát hành các thiết kế máy chủ, mạng và trung tâm dữ liệu của chúng tôi với Open Compute Project và có các chuỗi cung ứng tiêu chuẩn hóa dựa trên thiết kế của chúng tôi. Chúng tôi đã được hưởng lợi từ những đổi mới của hệ sinh thái bằng cách mở nguồn các công cụ hàng đầu như PyTorch, React và nhiều công cụ khác. Cách tiếp cận này đã liên tục hiệu quả cho chúng tôi khi chúng tôi kiên trì với nó trong thời gian dài.
Tại sao AI nguồn mở tốt cho thế giới
Tôi tin rằng nguồn mở là cần thiết cho một tương lai AI tích cực. AI có tiềm năng hơn bất kỳ công nghệ hiện đại nào khác để tăng năng suất, sáng tạo và chất lượng cuộc sống của con người – và để đẩy nhanh tăng trưởng kinh tế đồng thời mở khóa tiến bộ trong nghiên cứu y tế và khoa học. Nguồn mở sẽ đảm bảo rằng nhiều người hơn trên khắp thế giới có quyền truy cập vào lợi ích và cơ hội của AI, rằng quyền lực không tập trung vào tay một số ít công ty, và rằng công nghệ có thể được triển khai đồng đều và an toàn hơn trong toàn xã hội.
Có một cuộc tranh luận đang diễn ra về tính an toàn của các mô hình AI nguồn mở, và quan điểm của tôi là AI nguồn mở sẽ an toàn hơn các lựa chọn thay thế. Tôi nghĩ các chính phủ sẽ kết luận rằng việc hỗ trợ nguồn mở là vì lợi ích của họ vì nó sẽ làm cho thế giới thịnh vượng hơn và an toàn hơn.
Khung của tôi để hiểu về an toàn là chúng ta cần bảo vệ chống lại hai loại tác hại: không chủ ý và có chủ ý. Tác hại không chủ ý là khi một hệ thống AI có thể gây hại ngay cả khi đó không phải là ý định của những người vận hành nó. Ví dụ, các mô hình AI hiện đại có thể vô tình đưa ra lời khuyên sức khỏe không tốt. Hoặc, trong những kịch bản tương lai hơn, một số lo ngại rằng các mô hình có thể vô tình tự sao chép hoặc tối ưu hóa quá mức các mục tiêu gây hại cho nhân loại. Tác hại có chủ ý là khi một tác nhân xấu sử dụng một mô hình AI với mục đích gây hại.
Đáng chú ý là tác hại không chủ ý bao gồm phần lớn các mối quan tâm mà mọi người có về AI – từ ảnh hưởng mà các hệ thống AI sẽ có đối với hàng tỷ người sẽ sử dụng chúng cho đến hầu hết các kịch bản khoa học viễn tưởng thực sự thảm khốc cho nhân loại. Về mặt này, nguồn mở nên an toàn hơn đáng kể vì các hệ thống minh bạch hơn và có thể được kiểm tra rộng rãi. Về mặt lịch sử, phần mềm nguồn mở đã an toàn hơn vì lý do này. Tương tự, việc sử dụng Llama với các hệ thống an toàn của nó như Llama Guard có thể an toàn và bảo mật hơn các mô hình đóng. Vì lý do này, hầu hết các cuộc trò chuyện về an toàn AI nguồn mở tập trung vào tác hại có chủ ý.
Quy trình an toàn của chúng tôi bao gồm thử nghiệm nghiêm ngặt và kiểm tra red-team để đánh giá liệu các mô hình của chúng tôi có khả năng gây hại đáng kể hay không, với mục tiêu giảm thiểu rủi ro trước khi phát hành. Vì các mô hình là mở, bất kỳ ai cũng có thể tự mình kiểm tra. Chúng ta phải ghi nhớ rằng những mô hình này được đào tạo bằng thông tin đã có sẵn trên internet, vì vậy điểm khởi đầu khi xem xét tác hại nên là liệu một mô hình có thể tạo điều kiện cho nhiều tác hại hơn thông tin có thể nhanh chóng được truy xuất từ Google hoặc các kết quả tìm kiếm khác hay không.
Khi suy luận về tác hại có chủ ý, việc phân biệt giữa những gì các tác nhân cá nhân hoặc quy mô nhỏ có thể làm so với những gì các tác nhân quy mô lớn như các quốc gia với nguồn lực rộng lớn có thể làm là hữu ích.
Tại một thời điểm nào đó trong tương lai, các tác nhân xấu cá nhân có thể sử dụng trí thông minh của các mô hình AI để tạo ra những tác hại hoàn toàn mới từ thông tin có sẵn trên internet. Tại thời điểm này, sự cân bằng quyền lực sẽ là yếu tố quan trọng đối với an toàn AI. Tôi nghĩ sẽ tốt hơn khi sống trong một thế giới mà AI được triển khai rộng rãi để các tác nhân lớn hơn có thể kiểm tra quyền lực của các tác nhân xấu nhỏ hơn. Đây là cách chúng tôi đã quản lý an ninh trên mạng xã hội của chúng tôi – các hệ thống AI mạnh mẽ hơn của chúng tôi xác định và ngăn chặn các mối đe dọa từ các tác nhân ít tinh vi hơn, những người thường sử dụng các hệ thống AI quy mô nhỏ hơn. Rộng hơn nữa, các tổ chức lớn hơn triển khai AI ở quy mô lớn sẽ thúc đẩy an ninh và ổn định trong toàn xã hội. Miễn là mọi người đều có quyền truy cập vào các thế hệ mô hình tương tự – điều mà nguồn mở thúc đẩy – thì các chính phủ và tổ chức với nhiều tài nguyên tính toán hơn sẽ có thể kiểm tra các tác nhân xấu với ít tài nguyên tính toán hơn.
Câu hỏi tiếp theo là làm thế nào Hoa Kỳ và các quốc gia dân chủ nên xử lý mối đe dọa từ các quốc gia có nguồn lực rộng lớn như Trung Quốc. Lợi thế của Hoa Kỳ là sự đổi mới phi tập trung và mở. Một số người lập luận rằng chúng ta phải đóng các mô hình của mình để ngăn Trung Quốc tiếp cận chúng, nhưng quan điểm của tôi là điều này sẽ không hiệu quả và sẽ chỉ gây bất lợi cho Hoa Kỳ và các đồng minh của nó. Các đối thủ của chúng ta rất giỏi trong việc gián điệp, việc đánh cắp các mô hình vừa với một ổ USB tương đối dễ dàng, và hầu hết các công ty công nghệ còn xa mới hoạt động theo cách khiến điều này trở nên khó khăn hơn. Có vẻ như khả năng cao nhất là một thế giới chỉ có các mô hình đóng dẫn đến một số ít công ty lớn cộng với các đối thủ địa chính trị của chúng ta có quyền truy cập vào các mô hình hàng đầu, trong khi các công ty khởi nghiệp, đại học và doanh nghiệp nhỏ bỏ lỡ cơ hội. Hơn nữa, việc hạn chế sự đổi mới của Mỹ vào phát triển đóng làm tăng khả năng chúng ta không dẫn đầu. Thay vào đó, tôi nghĩ chiến lược tốt nhất của chúng ta là xây dựng một hệ sinh thái mở mạnh mẽ và có các công ty hàng đầu của chúng ta làm việc chặt chẽ với chính phủ và đồng minh của chúng ta để đảm bảo họ có thể tận dụng tốt nhất những tiến bộ mới nhất và đạt được lợi thế đi đầu bền vững trong dài hạn.
Khi bạn xem xét những cơ hội phía trước, hãy nhớ rằng hầu hết các công ty công nghệ hàng đầu và nghiên cứu khoa học ngày nay được xây dựng trên phần mềm nguồn mở. Thế hệ công ty và nghiên cứu tiếp theo sẽ sử dụng AI nguồn mở nếu chúng ta cùng nhau đầu tư vào nó. Điều đó bao gồm các công ty khởi nghiệp mới thành lập cũng như những người trong các trường đại học và quốc gia có thể không có nguồn lực để phát triển AI tiên tiến của riêng họ từ đầu.
Điểm mấu chốt là AI nguồn mở đại diện cho cơ hội tốt nhất của thế giới để khai thác công nghệ này nhằm tạo ra cơ hội kinh tế và an ninh lớn nhất cho mọi người.
Hãy cùng nhau xây dựng điều này
Với các mô hình Llama trước đây, Meta phát triển chúng cho chính mình và sau đó phát hành chúng, nhưng không tập trung nhiều vào việc xây dựng một hệ sinh thái rộng lớn hơn. Chúng tôi đang có một cách tiếp cận khác với bản phát hành này. Chúng tôi đang xây dựng các đội nội bộ để cho phép càng nhiều nhà phát triển và đối tác có thể sử dụng Llama, và chúng tôi đang tích cực xây dựng các quan hệ đối tác để nhiều công ty trong hệ sinh thái có thể cung cấp chức năng độc đáo cho khách hàng của họ.
Tôi tin rằng việc phát hành Llama 3.1 sẽ là một điểm uốn trong ngành, nơi hầu hết các nhà phát triển bắt đầu chủ yếu sử dụng nguồn mở, và tôi mong đợi cách tiếp cận đó chỉ phát triển từ đây. Tôi hy vọng bạn sẽ tham gia cùng chúng tôi trong hành trình mang lại lợi ích của AI cho mọi người trên thế giới.
Bạn có thể truy cập các mô hình ngay bây giờ tại llama.meta.com.
💪,
MZ