Nguồn: Shen Ran, Tác giả: Jin Yufan, He Shulong, Editor: He Shulong
Nguồn hình ảnh: Được tạo bởi công cụ Unbounded AI
Nửa năm sau khi ra mắt ChatGPT, một cuộc rượt đuổi mô hình quy mô lớn tiếp tục được tổ chức ở cả hai bờ Thái Bình Dương.
Liên minh được thành lập bởi OpenAI, Microsoft và Nvidia đang hoạt động rầm rộ trên bờ biển phía đông của Thái Bình Dương. Kể từ tháng 3 năm nay, các công ty công nghệ Trung Quốc đã ráo riết chạy theo Baidu, Ali, SenseTime, iFLYTEK, liên tiếp tung ra các sản phẩm "giống ChatGPT" như Tencent, Huawei, JD, đồng thời là cơ hội "khủng gấp vạn lần".
Ở thời điểm diễn ra "Cuộc chiến trăm kiểu", Xiaomi với tư cách là một hãng công nghệ lớn trong nước lại tỏ ra bình tĩnh lạ thường.
Lei Jun, người đứng đầu Xiaomi, cho biết Xiaomi đang phát triển một số công nghệ và sản phẩm, và sẽ trình diễn chúng cho mọi người sau khi chúng được hoàn thiện. Lu Weibing, chủ tịch của Tập đoàn Xiaomi, cho biết Xiaomi hiện có đội ngũ AI gồm hơn 1.200 người và sẽ tích cực nắm bắt các mô hình quy mô lớn và tích hợp chúng với chiều sâu kinh doanh, nhưng sẽ không tạo ra các mô hình quy mô lớn cho mục đích chung như OpenAI .
Những thông tin này càng khoét sâu mối nghi ngờ của thế giới bên ngoài: Liệu Xiaomi có tham gia “Bách chiến bách thắng”?
Tiến sĩ Wang Bin, giám đốc Phòng thí nghiệm AI của Tập đoàn Xiaomi, nói với Shenran rằng Xiaomi sẽ phát triển mô hình đa dụng của riêng mình, nhưng sẽ không phát hành riêng một sản phẩm giống như ChatGPT, "hãng cũng sẽ không phát hành PPT hay trình diễn một một vài ví dụ, Giả sử chúng ta có một mô hình lớn”, nhưng mô hình lớn tự phát triển cuối cùng sẽ được sản phẩm đưa ra.
Đây là lần đầu tiên lộ trình và tiến độ của mô hình cỡ lớn được tiết lộ ra thế giới bên ngoài sau khi Xiaomi chính thức công bố đội mô hình cỡ lớn. Vào ngày 14 tháng 4 năm nay, Xiaomi đã thông báo rằng nhóm mô hình lớn sẽ do Luan Jian lãnh đạo và báo cáo với Wang Bin. Wang Bin đã tham gia nghiên cứu và phát triển liên quan đến NLP (Xử lý ngôn ngữ tự nhiên) tại Học viện Khoa học Trung Quốc hơn 20 năm, gia nhập Xiaomi vào năm 2018 và phụ trách phòng thí nghiệm AI từ năm 2019. AI Lab là bộ phận cốt lõi trong chiến lược AI của Xiaomi.
Xiaomi, người đã tạo ra một mô hình đối thoại quy mô lớn, là một nhà duy lý hiếm hoi trong mô hình ngôn ngữ quy mô lớn được đào tạo trước cho mục đích chung. Wang Bin tiết lộ rằng ** hiện tại có hơn 30 nhóm mô hình quy mô lớn toàn thời gian ** và sẽ không mở rộng nhanh chóng ngay lập tức; mục tiêu của nhóm này vẫn là một mô hình ngôn ngữ quy mô lớn và các tham số mô hình cơ sở mục tiêu của bước đầu tiên là hàng chục tỷ**, sau đó tùy vào kết quả leo trước đó mà quyết định bước tiếp theo.
"Vẫn còn một chặng đường dài để đi từ việc phát triển các mô hình quy mô lớn đến khi hạ cánh. Liệu họ có thể tìm thấy những cảnh quan trọng phù hợp hay không là một điểm đau đối với nhiều công ty mô hình quy mô lớn." Theo quan điểm của Wang Bin, lợi thế của Xiaomi là nó có đủ các mô hình lớn làm sẵn.Các kịch bản hạ cánh, bao gồm Xiao Ai, loT, lái xe tự động, rô bốt, v.v., các kịch bản ứng dụng phong phú cũng có thể phản hồi lại khả năng của các mô hình lớn.
Xiaomi không thiếu kịch bản, nhưng để đào tạo một mô hình lớn thì việc tích lũy dữ liệu, năng lực tính toán và nhân tài là không thể thiếu. Wang Bin nói rằng Xiaomi có một lượng tài năng dự trữ nhất định và những thách thức về sức mạnh tính toán và khối lượng dữ liệu là tương đối lớn. Một mặt, sức mạnh tính toán cần phải vượt qua các thách thức ở cấp độ hệ thống và chi phí đào tạo phải được kiểm soát; mặt khác, phải mất rất nhiều thời gian và chi phí để có được và làm sạch dữ liệu chất lượng cao.
Trong làn sóng AI mới của các mô hình lớn, tại sao nhóm AI của Xiaomi không phát hành "các sản phẩm giống như ChatGPT"? Làm thế nào để Xiaomi đánh giá lộ trình kỹ thuật và độ khó kỹ thuật của mô hình lớn? Vài ngày trước, He Shulong, tổng biên tập của Shenran, đã có cuộc đối thoại với Wang Bin, giám đốc Phòng thí nghiệm AI của Ủy ban kỹ thuật Xiaomi. Sau đây là nội dung cốt lõi:
Mô hình lớn của Xiaomi: 30 người trong nhóm, không có "giống như ChatGPT"
** Shen Ran: Vào ngày 14 tháng 4, Xiaomi đã bổ nhiệm Luan Jian làm trưởng nhóm mô hình lớn để báo cáo với bạn. Bạn có thể cho chúng tôi biết nhóm mô hình lớn Xiaomi đã ra đời như thế nào không? **
Wang Bin: Đội ngũ người mẫu lớn đã được công bố vào tháng 4, nhưng nó đã bắt đầu hoạt động trước đó.
Vào ngày 30 tháng 11 năm ngoái, sau khi OpenAI phát hành ChatGPT, rất nhiều người trong chúng tôi đã nhanh chóng đăng ký một tài khoản và bắt đầu chơi trên đó. ChatGPT thực sự có tính chất lật đổ. Chúng tôi đã nghiên cứu về AI trong nhiều năm và nhiều khả năng của nó đã vượt quá mong đợi của các nhà phát triển của chúng tôi.
Ngay sau đó, chúng tôi đã tổ chức một số nhóm giao tiếp mô hình quy mô lớn nội bộ để thảo luận về công nghệ mô hình quy mô lớn và tác động đột phá của nó đối với dịch máy, đối thoại giữa người và máy, trả lời câu hỏi thông minh và dịch vụ khách hàng. **Nhiều người tham gia các hội thảo ban đầu sau đó đã trở thành thành viên chủ chốt của nhóm mô phỏng toàn thời gian. **
** Shen Ran: Đội mô hình quy mô lớn của Xiaomi sẽ đến muộn một chút? **
Wang Bin: Đối với mô hình lớn, chúng tôi thuộc trường phái duy lý.
Trước khi ChatGPT ra đời, Xiaomi đã thực hiện nghiên cứu và phát triển nội bộ và ứng dụng các mô hình lớn, chủ yếu ở dạng đào tạo trước + giám sát tác vụ xuôi dòng và tinh chỉnh cho đối thoại giữa người và máy, và các thông số của mô hình nằm trong hàng tỷ. Tất nhiên, loại mô hình này không phải là mô hình quy mô lớn đa năng như cách gọi hiện nay.
Chúng tôi rất rõ ràng rằng việc phát triển và áp dụng mô hình lớn nói chung là một công việc lâu dài, không phải là vấn đề thời gian. Chúng tôi đang đi theo kế hoạch và bước đi của riêng mình, lúc đó chúng tôi cảm thấy thời gian đã hết nên chúng tôi đã thực hiện một cuộc giải phóng nhóm.
** Thẩm Nhiên: Đội người mẫu lớn có bao nhiêu người? Có bất kỳ kế hoạch để tiếp tục mở rộng? **
Wang Bin: Đội chính hiện có hơn 30 người. Chúng tôi hiện đang chuẩn bị theo các khía cạnh của tài năng, dữ liệu, mô hình, sức mạnh tính toán, đánh giá và sản phẩm, sau đó dần dần điều chỉnh hoặc mở rộng sau một giai đoạn nhất định.
Chúng tôi sẽ không ngay lập tức mở rộng số lượng người, chẳng hạn như tuyển dụng 100 người cùng một lúc. Vì đang trong giai đoạn leo núi tích lũy năng lực, chiêu mộ nhiều người như vậy có thể không biết sắp xếp mà lãng phí.
Với việc liên tục tiết lộ thông tin về các mô hình lớn và dòng vốn và tài năng liên tục đổ vào, lĩnh vực mô hình lớn đã phát triển rất nhanh và quan điểm của mọi người đã thay đổi rất nhiều. Khi ChatGPT lần đầu tiên ra mắt cách đây không lâu, mọi người đều cảm thấy rằng về cơ bản là không thể hiện thực hóa một mô hình quy mô lớn tương tự, nhưng dần dần, nhiều người cảm thấy rằng khả năng đó là rất cao và một số người cho rằng nhiều sản phẩm có thể hài lòng mà không cần như vậy một mô hình quy mô lớn.nhu cầu. Cường độ đầu tư của mọi người cũng rất khác nhau. Một số người có thể nghĩ rằng nhóm cần ít nhất vài trăm người và một số người nghĩ rằng điều đó là không cần thiết.
**Shenran: Có bất kỳ kế hoạch theo từng giai đoạn nào cho tương lai không, khi nào nó sẽ được thử nghiệm nội bộ và phát hành ra bên ngoài? **
Wang Bin: Không giống như các công ty khác, Xiaomi được sinh ra với các thuộc tính của sản phẩm, tôi tin rằng khi mẫu lớn của Xiaomi ra mắt, nó sẽ được sản phẩm làm nổi bật.
Chúng tôi có thể thử nghiệm nội bộ trước Q3. Tuy nhiên, đây không phải là nút tất yếu.
**Shen Ran: Nói cách khác, Xiaomi sẽ không phát hành một sản phẩm giống như ChatGPT? **
Wang Bin: Đúng vậy, chúng tôi sẽ không phát hành PPT hoặc chứng minh rằng chúng tôi có một mô hình lớn. Kịch bản ứng dụng phong phú là lợi thế lớn nhất của chúng tôi. **Mẫu Xiaomi cỡ lớn sẽ được tích hợp chặt chẽ hơn với bối cảnh và kế hoạch phát hành tương ứng phải được thực hiện theo nhịp điệu của sản phẩm. **
**Shenran: Ngoài nhân lực, chi phí sức mạnh tính toán của Xiaomi để tạo ra một mô hình lớn là bao nhiêu? **
Wang Bin: Chúng tôi là một nhà đầu tư quy mô trung bình và chúng tôi sẽ quyết định bước đầu tư tiếp theo dựa trên kết quả của lần leo trước đó.
Nhận định cơ bản của chúng tôi là mô hình phù hợp với các sản phẩm và doanh nghiệp của Xiaomi có thể có thông số hàng chục tỷ**, sẽ thấp hơn quy mô 100 tỷ và đầu tư vào máy đào tạo khoảng hàng chục triệu RMB.
** Shen Ran: Mô hình với hàng tỷ thông số do Xiaomi sản xuất trước đây như thế nào? **
**Wang Bin: **ChatGPT được phát hành năm ngoái là một loại mô hình quy mô lớn, được gọi là mô hình lớn ngôn ngữ được đào tạo trước cho mục đích chung. Nhưng bản thân mô hình lớn đã xuất hiện từ rất sớm, mỗi người có lộ trình và phương pháp khác nhau.
Chúng tôi bắt đầu làm theo mô hình lớn trước đó, lúc đó chúng tôi đã tạo ra một mô hình dành riêng cho hội thoại với khoảng 2,8 tỷ đến 3 tỷ tham số. Nó được hiện thực hóa bằng cách tinh chỉnh dữ liệu đối thoại trên cơ sở mô hình cơ sở đã được đào tạo trước, nó không phải là mô hình lớn có mục đích chung hiện tại, mà là dành riêng cho đối thoại giữa người và máy. Sau đó, mô hình này đã được tung ra cho Xiaoai và một thử nghiệm trực tuyến quy mô nhỏ đã được thực hiện.
Do đó, AIGC đã được sử dụng trong Xiao Ai, nhưng ở cấp độ sản phẩm, chúng tôi không sử dụng hoàn toàn mô hình lớn này mà sử dụng tính bổ sung của mô hình truyền thống và mô hình đối thoại lớn để sử dụng cả hai cùng nhau.
Kiểu máy cỡ lớn đa năng của Xiaomi có thể là kiểu máy lai này khi nó được đưa vào sản phẩm. Những vấn đề mà mô hình truyền thống xử lý rất tốt đều được bàn giao cho mô hình truyền thống. Mô hình lớn giải quyết các vấn đề mà nó giỏi, chẳng hạn như một số sự kiện xác suất nhỏ hoặc đối thoại đuôi dài.
Mức độ đối thoại của mô hình lớn dành cho mục đích chung hiện nay cao hơn đáng kể so với mức độ đối thoại của mô hình lớn dành riêng cho đối thoại trước đây, vì vậy phần này của nhóm cũng đã chuyển sang mô hình lớn dành cho mục đích chung. Nhóm này đã trải qua toàn bộ quá trình đào tạo của mô hình đối thoại lớn, trèo qua một số hố và với việc tích lũy dữ liệu, nó có một số lợi thế nhất định.
Mô hình lớn Millet: cảnh chiếm ưu thế và dữ liệu là một vấn đề
**Shenran: Trong khoảng thời gian này, tiến bộ công nghệ rất nhanh, các mẫu xe cỡ lớn trong nước đang được tung ra ồ ạt, bạn có lo lắng vì tiến độ chậm không? **
Wang Bin: Tôi đã từng khá lo lắng trong một thời gian, bởi vì tôi hơi hoảng sợ nếu cuối cùng tôi không làm điều đó mọi lúc, và bạn sẽ nghĩ, “Làm sao những người khác có thể tiến bộ nhanh như vậy và làm tất cả cùng một lúc?” Bây giờ chúng ta đi xuống để làm điều đó Không còn lo lắng nữa.
** Người ta nói rằng Trung Quốc hiện là "chiến tranh trăm mô hình", và hơn 80 mô hình lớn đã được phát hành **, một số trong số đó cung cấp thử nghiệm nội bộ và một số chỉ được phát hành bởi PPT. Hiệu ứng của một số mô hình vẫn còn tốt, xét về mức độ phát hành, mức độ của các mô hình lớn tự phát triển hiện có của chúng tôi dường như không thua kém nhiều mô hình. Nhưng chúng tôi không vội phát hành ra bên ngoài. Đầu tiên, đối với một công ty như Xiaomi, điều đó không có nhiều ý nghĩa. Thứ hai, chúng tôi vẫn hy vọng làm cho mô hình tự phát triển xung quanh sản phẩm tốt hơn, rồi cùng nhau phát hành.
**Shenran: Ông có nghĩ rằng mô hình lớn của các công ty trong nước có cơ hội bắt kịp OpenAI không? Khoảng cách lớn như thế nào? Họ thích dùng ba tháng, sáu tháng để miêu tả. **
Wang Bin: Hiện tại, OpenAI phải rất tiên tiến, nó đã đầu tư sớm và tích lũy rất mạnh về tài năng, dữ liệu, sức mạnh tính toán, kỹ thuật và sản phẩm. Từ tình hình trong nước, tôi cảm thấy giữa OpenAI và OpenAI vẫn còn một khoảng cách nhất định, có người nói là ba tháng hoặc sáu tháng, có người lại nói là một năm hoặc hai năm. Về thời gian, thật khó nói.
Bởi vì làm thế nào để đánh giá một mô hình lớn là một vấn đề rất khó khăn trong chính nó. Hiện nay có nhiều bảng xếp hạng các mô hình lớn khác nhau, nhưng không có mô hình nào được mọi người nhất trí công nhận. ** Không có tiêu chuẩn đánh giá thực sự, vì vậy nói về việc đuổi kịp trong ba tháng hoặc sáu tháng chỉ là một cái tát vào mặt. **
Về việc liệu Trung Quốc có thể bắt kịp OpenAI hay không, tôi đã rất bi quan trong những ngày đầu và nghĩ rằng điều đó gần như là không thể, nhưng với dòng giải pháp nguồn mở khác nhau, nhiều nhóm và vốn khác nhau, nhận định của tôi lạc quan hơn. Tôi cho rằng Trung Quốc có cơ hội thu hẹp khoảng cách với OpenAI, tiệm cận hoặc thậm chí vượt qua nó trong nhiều kịch bản.
** Các mô hình lớn dường như không có ngưỡng chip cao như vậy, thông qua việc không ngừng tích lũy và tối ưu hóa tài năng, dữ liệu, sức mạnh tính toán, v.v., có thể liên tục thu hẹp khoảng cách. **
**Shenran: Loại công ty nội địa nào có nhiều lợi thế hơn trong các mô hình quy mô lớn? Đâu là cơ hội cho Xiaomi? **
Wang Bin: Bất kể công ty lớn hay công ty mới thành lập vừa và nhỏ, mỗi công ty đều có không gian sống của riêng mình. Mô hình lớn là một hệ sinh thái, và không một công ty lớn nào có thể nắm bắt được tất cả. Tất cả các công ty trong hệ sinh thái, bao gồm sức mạnh tính toán, dữ liệu, ứng dụng và những công ty thực sự tạo ra mô hình lớn, đều có cơ hội của riêng mình.
Các mô hình quy mô lớn như Xiaomi có lợi thế về các kịch bản ứng dụng. Chúng tôi tin rằng sự kết hợp giữa các mô hình lớn và cảnh sẽ là một cơ hội lớn.
Bởi vì nếu bạn chỉ tung ra một mô hình lớn và không có ai sử dụng nó, nó có thể không phát triển nhanh chóng thông qua cuốn chiếu. Và chúng ta có thể tiếp cận cảnh ngay lập tức, và thông qua việc lặp lại liên tục, chúng ta có thể phát huy hết sức mạnh của mô hình lớn trong những cảnh này.
Mặc dù chúng tôi hiện chỉ tích hợp một nhóm chính gồm hơn 30 người, nhưng thực tế có rất nhiều người ở ngoại vi. Trong toàn bộ phòng thí nghiệm AI, có hơn 100 người có nền tảng NLP và đang thực hiện các ứng dụng cụ thể, bao gồm biểu đồ tri thức, dịch máy, đối thoại giữa người và máy, dịch vụ khách hàng thông minh và trả lời câu hỏi thông minh. Họ đều là những người có tư duy cơ bản về các mô hình lớn và các công nghệ liên quan, đồng thời đang thúc đẩy việc khám phá các mô hình lớn từ góc độ ứng dụng tương ứng của họ.
Vương Bân
**Shen Ran: Sự tích lũy của Xiaomi trong nghiên cứu NLP có giá trị như thế nào đối với các mô hình lớn? **
Wang Bin: Có hai luồng ý kiến trong ngành. Một cách nói rằng ai trong chúng ta có thể không có việc làm, và AI đã giết chúng ta, đặc biệt là những người làm NLP có thể không có việc làm. Cũng có người nói rằng, suy cho cùng thì mô hình lớn cũng được tạo ra từ NLP, và những người làm NLP đều có những lợi thế vốn có.
Cả hai câu nói này đều có phần đúng, nhưng xét cho cùng thì nó liên quan đến công việc của tôi, tôi thiên về câu nói sau hơn.
Các mô hình lớn ban đầu được khám phá trong nhiều lĩnh vực khác nhau, bao gồm tầm nhìn, lời nói và NLP. Nhưng tại sao nó là bước đột phá đầu tiên trong lĩnh vực NLP, tôi tin rằng có những lý do thiết yếu cho điều này. Tôi hiểu ít nhất hai điểm: thứ nhất là sự phong phú và dễ dàng tiếp cận của dữ liệu ngôn ngữ, và thứ hai là có một lượng tri thức rất phong phú phản ánh quá trình tư duy của con người ẩn sau dữ liệu ngôn ngữ.
Vì vậy, tôi tin rằng những người đã tích lũy nhiều năm trong lĩnh vực NLP đều có những lợi thế bẩm sinh nhất định trong việc hiểu và chuyển đổi các mô hình lớn. Nhiều thành viên trong nhóm mô hình quy mô lớn của Xiaomi ban đầu làm việc theo hướng NLP. Một số công ty mới thành lập rất giỏi trong việc tạo ra các mô hình quy mô lớn ở Trung Quốc cũng bước ra từ lĩnh vực NLP.
**Shen Ran: Những khó khăn hiện tại để Xiaomi vượt qua mô hình lớn là gì? Làm thế nào để vượt qua nó? **
**Wang Bin:**Đầu tiên, tôi vẫn muốn nói rằng bản thân mô hình lớn có những thách thức rất lớn.
Một thách thức lớn là sự không chắc chắn của công nghệ. Chúng tôi đã xem một số báo cáo và ngay cả bản thân nhóm OpenAI cũng không rõ lắm về các nguyên tắc thực sự đằng sau mô hình lớn và nếu họ làm lại, họ không chắc liệu kết quả "xuất hiện" tương tự có xảy ra hay không. Tôi tin rằng OpenAI đang nói đúng về điểm này.Do sự không chắc chắn lớn trong công nghệ, đầu tư không thể đảm bảo rằng có thể đào tạo một mô hình lớn đáp ứng được kỳ vọng.
Việc tích lũy dữ liệu chất lượng cao cũng là một thách thức. Người ta thường tin rằng các mô hình lớn yêu cầu dữ liệu đào tạo cực kỳ lớn và chất lượng cao. Chất lượng dữ liệu công khai trên Internet nhìn chung tương đối kém, vì vậy việc thu thập và làm sạch ** dữ liệu là những thách thức tương đối lớn. **
Tất nhiên, một thách thức khác là sức mạnh tính toán. Đầu tiên, điều đó không có nghĩa là có nhiều thẻ có thể đào tạo, làm thế nào để sử dụng tốt những thẻ này, bản thân nó đã là một thách thức cấp hệ thống. Thứ hai, bởi vì trong quá trình đào tạo có thể mắc sai lầm, tiền có thể bị đốt mà không đốt được gì, do đó phụ thuộc vào việc bạn có năng lực đào tạo một mô hình lớn với chi phí có thể kiểm soát được hay không.
Thực tế mà nói, những thách thức hiện tại của ** dữ liệu và sức mạnh tính toán vẫn còn tương đối lớn, đặc biệt là dữ liệu chất lượng cao quy mô lớn **. Sau khoảng thời gian leo núi trước đó, về cơ bản chúng tôi chắc chắn rằng miễn là có dữ liệu và sử dụng sức mạnh tính toán hiện có, chúng tôi có thể biết sẽ mất bao nhiêu ngày để huấn luyện một mô hình cơ sở tốt.
**Shenran: Hiện tại chi phí đào tạo người mẫu lớn đã giảm chưa? **
Wang Bin: Một mặt, chi phí thử và sai thấp hơn trước. Bởi vì đào tạo mô hình lớn có thể đi đường vòng và thất bại, nhưng với việc tiết lộ nhiều thông tin khác nhau, có thể nhanh chóng tìm ra hướng đào tạo chính xác. Mặt khác, nhiều công ty điện toán đám mây, chip và các công ty khác, cũng như nhiều công ty mới thành lập, đang cung cấp các dịch vụ suy luận và đào tạo mô hình lớn với chi phí thấp hơn. Với sự phát triển hơn nữa của toàn bộ hệ sinh thái, tôi tin rằng chi phí đào tạo sẽ tiếp tục giảm.
Model cỡ lớn ảnh hưởng thế nào đến hoạt động kinh doanh của Xiaomi?
**Shen Ran: Bạn có thể giới thiệu chi tiết về Xiaomi AI Lab mà bạn chịu trách nhiệm không? **
Wang Bin: Sau khi "AlphaGo" ra đời vào năm 2016, ông Lei đã ngay lập tức xúc tiến việc xây dựng nhóm AI. Phòng thí nghiệm AI được chính thức thành lập vào năm 2016 và tôi đã phụ trách từ năm 2019.
Hóa ra Phòng thí nghiệm AI là một phần của Bộ Trí tuệ Nhân tạo. Sau này, Ban Trí tuệ nhân tạo được sáp nhập vào Ban Kỹ thuật Tập đoàn, và hiện nay Phòng thí nghiệm AI trực thuộc Ban Kỹ thuật.
Quy mô nhóm hiện tại của Phòng thí nghiệm AI là khoảng 350 người và nó có sáu hướng, đó là học máy, xử lý ngôn ngữ tự nhiên (NLP), thị giác máy tính, âm học, lời nói và biểu đồ tri thức.
Sau khi mô hình lớn ra đời, Phòng thí nghiệm AI đã thành lập một nhóm mô hình lớn toàn thời gian, hiện chúng tôi đang tập trung vào mô hình lớn ngôn ngữ, nhưng chúng tôi cũng đang chú ý đến mô hình lớn đa phương thức.
**Shen Ran: Ông Lu (Chủ tịch Tập đoàn Xiaomi Lu Weibing) cho biết nhóm Xiaomi AI hiện có hơn 1.200 người. Ngoài phòng thí nghiệm AI, những bộ phận nào khác trong Xiaomi có liên quan chặt chẽ đến AI? **
Wang Bin: Ngoài phòng thí nghiệm AI, còn có đội của Xiao Ai, cả hai đều thuộc ủy ban kỹ thuật.
Ngoài ủy ban kỹ thuật, còn có nhiều bộ phận với đội ngũ AI tương đối lớn, bao gồm bộ phận lái tự động của bộ phận ô tô, bộ phận máy ảnh của điện thoại di động và bộ phận phần mềm. Bộ phận kinh doanh Internet đều liên quan đến AI.
Tóm lại, một số nhóm liên quan đến AI nằm trong bộ phận kinh doanh và một số nằm trong ủy ban kỹ thuật, tổng số là khoảng 1200. Nếu tính đến một số nhóm nhỏ, cá nhân tôi cho rằng con số này còn lớn hơn.
**Shen Ran: Vai trò của Xiaomi AI Lab trong chiến lược AI của Xiaomi là gì? **
**Wang Bin:**AI Lab là bộ phận nghiên cứu, phát triển và sản xuất công nghệ AI ở cấp tập đoàn. Nói một cách dễ hiểu, chúng tôi đang xuất khẩu công nghệ AI cho toàn công ty.
Chúng tôi đã từng so sánh phòng thí nghiệm AI với "trường thí nghiệm" và "kho đạn dược" của công nghệ AI ở cấp độ tập đoàn. Do sự phát triển nhanh chóng của AI, phòng thí nghiệm AI sẽ phát triển một số công nghệ tiên tiến trung và dài hạn, dự trữ cho hoạt động kinh doanh của Xiaomi và sản xuất "đạn dược" khi nhóm cần.
Về công nghệ AI, chúng tôi phải có nguồn dự trữ đầy đủ nhất trong công ty và chúng tôi cũng rất mạnh trong ngành.
**Shen Ran: Những thành tựu nghiên cứu quan trọng của Xiaomi AI Lab là gì? **
Wang Bin: Khái niệm về phòng thí nghiệm AI của chúng tôi nhấn mạnh sự kết hợp giữa công nghệ và kịch bản. Hiện tại, các bài báo đã xuất bản không được coi là OKR. Do đó, sau khi tôi đến Xiaomi từ Học viện Khoa học Trung Quốc (Học viện Khoa học Trung Quốc), tôi cảm thấy rằng thành tựu lớn nhất không phải là sự tiến bộ của một điểm công nghệ, mà là sự tích hợp khéo léo giữa công nghệ và sản phẩm.
Xiaomi là một công ty To C. Sản lượng khả năng AI của chúng tôi hiện không được xuất khẩu trực tiếp ra thế giới bên ngoài mà thông qua các sản phẩm của công ty. Chúng tôi đã đạt được rất nhiều thành tựu, bao gồm nhiều thuật toán xử lý camera và album ảnh trong điện thoại di động Xiaomi, thuật toán giọng nói và NLP liên quan đến Xiao Ai và thuật toán AI trong hệ thống đề xuất, tìm kiếm và dịch vụ khách hàng của Xiaomi Mall.
Để tôi lấy ví dụ cho bạn, chúng tôi đã phát triển chức năng dịch ngoại tuyến trên điện thoại di động của mình. Ví dụ: sau khi ra nước ngoài, nhiều trường hợp mạng không tốt, lúc này, hãy bật chức năng dịch của điện thoại Xiaomi mà không cần sử dụng đám mây. Ở trạng thái ngoại tuyến, thời gian thực, quyền riêng tư và Hiệu ứng dịch tốt hơn. Việc triển khai và ứng dụng chức năng này không hề dễ dàng, chúng tôi đã thực hiện rất nhiều công việc tối ưu hóa về hiệu ứng và hiệu suất dịch thuật.
**Ở Xiaomi, không phải công nghệ của riêng chúng tôi sẽ được sử dụng trước. Công nghệ nội bộ cũng phải cạnh tranh công bằng với công nghệ bên ngoài. Chỉ người chiến thắng mới có thể tồn tại và được áp dụng vào sản phẩm. **
**Shenran: Những mảng kinh doanh nào của Xiaomi sẽ bị ảnh hưởng bởi công nghệ mô hình quy mô lớn do ChatGPT đại diện? **
Wang Bin: Khả năng mạnh nhất của mô hình lớn, nói một cách đơn giản, là nó hiểu con người hơn và rõ ràng là nó có thể tối ưu hóa cách tương tác giữa con người và máy tính. Bạn cùng lớp Xiao Ai của Xiaomi, hệ điều hành điện thoại di động MIUI, buồng lái ô tô, IoT và rô-bốt đều là những tình huống điển hình mà các mô hình lớn được áp dụng.
** Shen Ran: Bạn có thể lấy Xiao Ai làm ví dụ không? **
Wang Bin: Áp dụng cho Xiao Ai, nó có thể làm hai việc cùng một lúc. Một là biến điều không thể thành có thể, tương đương với việc có các chức năng mới. Ví dụ, tôi yêu cầu Xiao Ai lập kế hoạch du lịch hoặc đặt bữa ăn, v.v. Khả năng kỹ thuật ban đầu chưa đạt được và nếu người dùng đặt nó theo cách khác, nó sẽ bị rối tung. Nhưng Với sự hỗ trợ của các mô hình lớn, nó hiểu sâu hơn về lời nói của con người, để có thể hoàn thành các tác vụ phức tạp và loại ứng dụng này là khả thi.
Một loại khác là nâng cao chức năng ban đầu, tương đương với việc đóng băng trên bánh. Do sự thay đổi nhanh chóng và đa dạng trong biểu hiện của con người, trong quá trình tương tác giữa người và máy tính của Xiaoai, vấn đề lớn nhất là gặp phải các sự kiện xác suất nhỏ. Chúng tôi gọi đó là Trường hợp góc và thường áp dụng chiến lược bảo thủ để Xiaoai nói: "Tôi có thể' t trả lời", "Tôi vẫn đang học"**. Loại câu trả lời có cơ sở này cũng có thể tiếp tục cuộc trò chuyện, nhưng trải nghiệm không tốt. Nhưng công nghệ mô hình lớn có thể tiếp tục đối thoại trong thời gian dài hơn và cải thiện đáng kể sự hài lòng của người dùng.
**Shenran: Mô hình lớn có ảnh hưởng lớn đến ngôi nhà thông minh không? **
**Wang Bin:**Theo hiểu biết của cá nhân tôi, mô hình lớn ít nhất có thể cải thiện trải nghiệm người dùng của ngôi nhà thông minh về khả năng tương tác.
Mặc dù có nhiều thiết bị tự xưng là "thông minh" nhưng chúng thường hoạt động như "chậm phát triển trí tuệ" và tỷ lệ sử dụng không cao. Ví dụ bật điều hòa hay điều chỉnh nhiệt độ điều hòa, nếu câu lệnh khác với lệnh chuẩn thì có thể không điều khiển được thiết bị IoT.
Nhưng sau khi mô hình lớn xuất hiện, nó đã hiểu sâu hơn về ngôn ngữ của con người, trong nhiều trường hợp, có nhiều cách diễn đạt khác nhau, mô hình lớn có thể dịch biểu thức của người dùng thành hướng dẫn mà máy có thể hiểu được. Điều này sẽ thúc đẩy nhiều người sử dụng các thiết bị thông minh hơn và cho phép toàn bộ hệ sinh thái phát triển nhanh hơn.
**Shenran: Ngoài việc cải thiện hoạt động kinh doanh hiện tại, còn có điều gì khác mà Xiaomi trước đây không thể làm nhưng sau khi có mô hình lớn thì có thể làm được không? **
Wang Bin: Chúng tôi sẽ tạo ra sự hợp tác sâu sắc giữa mô hình lớn và các doanh nghiệp này, đương nhiên, bên cạnh đó, chúng tôi cũng đang tìm kiếm nhiều khả năng hơn.
Nhóm của chúng tôi đã viết nhiều bài báo để quảng bá các mô hình lớn trong công ty, bao gồm khái niệm và phát triển công nghệ của các mô hình lớn, đồng thời hướng dẫn mọi người cách sử dụng ChatGPT để giải quyết các vấn đề kinh doanh. Ông Lei đã yêu cầu mọi bộ phận học hỏi các mô hình quy mô lớn và yêu cầu mọi người phải có tư duy mô hình quy mô lớn cơ bản và suy nghĩ về cách tích hợp với kinh doanh.
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Mô hình lớn của Xiaomi, không tham gia vào "ChatGPT"
Nguồn: Shen Ran, Tác giả: Jin Yufan, He Shulong, Editor: He Shulong
Nửa năm sau khi ra mắt ChatGPT, một cuộc rượt đuổi mô hình quy mô lớn tiếp tục được tổ chức ở cả hai bờ Thái Bình Dương.
Liên minh được thành lập bởi OpenAI, Microsoft và Nvidia đang hoạt động rầm rộ trên bờ biển phía đông của Thái Bình Dương. Kể từ tháng 3 năm nay, các công ty công nghệ Trung Quốc đã ráo riết chạy theo Baidu, Ali, SenseTime, iFLYTEK, liên tiếp tung ra các sản phẩm "giống ChatGPT" như Tencent, Huawei, JD, đồng thời là cơ hội "khủng gấp vạn lần".
Ở thời điểm diễn ra "Cuộc chiến trăm kiểu", Xiaomi với tư cách là một hãng công nghệ lớn trong nước lại tỏ ra bình tĩnh lạ thường.
Lei Jun, người đứng đầu Xiaomi, cho biết Xiaomi đang phát triển một số công nghệ và sản phẩm, và sẽ trình diễn chúng cho mọi người sau khi chúng được hoàn thiện. Lu Weibing, chủ tịch của Tập đoàn Xiaomi, cho biết Xiaomi hiện có đội ngũ AI gồm hơn 1.200 người và sẽ tích cực nắm bắt các mô hình quy mô lớn và tích hợp chúng với chiều sâu kinh doanh, nhưng sẽ không tạo ra các mô hình quy mô lớn cho mục đích chung như OpenAI .
Những thông tin này càng khoét sâu mối nghi ngờ của thế giới bên ngoài: Liệu Xiaomi có tham gia “Bách chiến bách thắng”?
Tiến sĩ Wang Bin, giám đốc Phòng thí nghiệm AI của Tập đoàn Xiaomi, nói với Shenran rằng Xiaomi sẽ phát triển mô hình đa dụng của riêng mình, nhưng sẽ không phát hành riêng một sản phẩm giống như ChatGPT, "hãng cũng sẽ không phát hành PPT hay trình diễn một một vài ví dụ, Giả sử chúng ta có một mô hình lớn”, nhưng mô hình lớn tự phát triển cuối cùng sẽ được sản phẩm đưa ra.
Đây là lần đầu tiên lộ trình và tiến độ của mô hình cỡ lớn được tiết lộ ra thế giới bên ngoài sau khi Xiaomi chính thức công bố đội mô hình cỡ lớn. Vào ngày 14 tháng 4 năm nay, Xiaomi đã thông báo rằng nhóm mô hình lớn sẽ do Luan Jian lãnh đạo và báo cáo với Wang Bin. Wang Bin đã tham gia nghiên cứu và phát triển liên quan đến NLP (Xử lý ngôn ngữ tự nhiên) tại Học viện Khoa học Trung Quốc hơn 20 năm, gia nhập Xiaomi vào năm 2018 và phụ trách phòng thí nghiệm AI từ năm 2019. AI Lab là bộ phận cốt lõi trong chiến lược AI của Xiaomi.
Xiaomi, người đã tạo ra một mô hình đối thoại quy mô lớn, là một nhà duy lý hiếm hoi trong mô hình ngôn ngữ quy mô lớn được đào tạo trước cho mục đích chung. Wang Bin tiết lộ rằng ** hiện tại có hơn 30 nhóm mô hình quy mô lớn toàn thời gian ** và sẽ không mở rộng nhanh chóng ngay lập tức; mục tiêu của nhóm này vẫn là một mô hình ngôn ngữ quy mô lớn và các tham số mô hình cơ sở mục tiêu của bước đầu tiên là hàng chục tỷ**, sau đó tùy vào kết quả leo trước đó mà quyết định bước tiếp theo.
"Vẫn còn một chặng đường dài để đi từ việc phát triển các mô hình quy mô lớn đến khi hạ cánh. Liệu họ có thể tìm thấy những cảnh quan trọng phù hợp hay không là một điểm đau đối với nhiều công ty mô hình quy mô lớn." Theo quan điểm của Wang Bin, lợi thế của Xiaomi là nó có đủ các mô hình lớn làm sẵn.Các kịch bản hạ cánh, bao gồm Xiao Ai, loT, lái xe tự động, rô bốt, v.v., các kịch bản ứng dụng phong phú cũng có thể phản hồi lại khả năng của các mô hình lớn.
Xiaomi không thiếu kịch bản, nhưng để đào tạo một mô hình lớn thì việc tích lũy dữ liệu, năng lực tính toán và nhân tài là không thể thiếu. Wang Bin nói rằng Xiaomi có một lượng tài năng dự trữ nhất định và những thách thức về sức mạnh tính toán và khối lượng dữ liệu là tương đối lớn. Một mặt, sức mạnh tính toán cần phải vượt qua các thách thức ở cấp độ hệ thống và chi phí đào tạo phải được kiểm soát; mặt khác, phải mất rất nhiều thời gian và chi phí để có được và làm sạch dữ liệu chất lượng cao.
Trong làn sóng AI mới của các mô hình lớn, tại sao nhóm AI của Xiaomi không phát hành "các sản phẩm giống như ChatGPT"? Làm thế nào để Xiaomi đánh giá lộ trình kỹ thuật và độ khó kỹ thuật của mô hình lớn? Vài ngày trước, He Shulong, tổng biên tập của Shenran, đã có cuộc đối thoại với Wang Bin, giám đốc Phòng thí nghiệm AI của Ủy ban kỹ thuật Xiaomi. Sau đây là nội dung cốt lõi:
Mô hình lớn của Xiaomi: 30 người trong nhóm, không có "giống như ChatGPT"
** Shen Ran: Vào ngày 14 tháng 4, Xiaomi đã bổ nhiệm Luan Jian làm trưởng nhóm mô hình lớn để báo cáo với bạn. Bạn có thể cho chúng tôi biết nhóm mô hình lớn Xiaomi đã ra đời như thế nào không? **
Wang Bin: Đội ngũ người mẫu lớn đã được công bố vào tháng 4, nhưng nó đã bắt đầu hoạt động trước đó.
Vào ngày 30 tháng 11 năm ngoái, sau khi OpenAI phát hành ChatGPT, rất nhiều người trong chúng tôi đã nhanh chóng đăng ký một tài khoản và bắt đầu chơi trên đó. ChatGPT thực sự có tính chất lật đổ. Chúng tôi đã nghiên cứu về AI trong nhiều năm và nhiều khả năng của nó đã vượt quá mong đợi của các nhà phát triển của chúng tôi.
Ngay sau đó, chúng tôi đã tổ chức một số nhóm giao tiếp mô hình quy mô lớn nội bộ để thảo luận về công nghệ mô hình quy mô lớn và tác động đột phá của nó đối với dịch máy, đối thoại giữa người và máy, trả lời câu hỏi thông minh và dịch vụ khách hàng. **Nhiều người tham gia các hội thảo ban đầu sau đó đã trở thành thành viên chủ chốt của nhóm mô phỏng toàn thời gian. **
** Shen Ran: Đội mô hình quy mô lớn của Xiaomi sẽ đến muộn một chút? **
Wang Bin: Đối với mô hình lớn, chúng tôi thuộc trường phái duy lý.
Trước khi ChatGPT ra đời, Xiaomi đã thực hiện nghiên cứu và phát triển nội bộ và ứng dụng các mô hình lớn, chủ yếu ở dạng đào tạo trước + giám sát tác vụ xuôi dòng và tinh chỉnh cho đối thoại giữa người và máy, và các thông số của mô hình nằm trong hàng tỷ. Tất nhiên, loại mô hình này không phải là mô hình quy mô lớn đa năng như cách gọi hiện nay.
Chúng tôi rất rõ ràng rằng việc phát triển và áp dụng mô hình lớn nói chung là một công việc lâu dài, không phải là vấn đề thời gian. Chúng tôi đang đi theo kế hoạch và bước đi của riêng mình, lúc đó chúng tôi cảm thấy thời gian đã hết nên chúng tôi đã thực hiện một cuộc giải phóng nhóm.
** Thẩm Nhiên: Đội người mẫu lớn có bao nhiêu người? Có bất kỳ kế hoạch để tiếp tục mở rộng? **
Wang Bin: Đội chính hiện có hơn 30 người. Chúng tôi hiện đang chuẩn bị theo các khía cạnh của tài năng, dữ liệu, mô hình, sức mạnh tính toán, đánh giá và sản phẩm, sau đó dần dần điều chỉnh hoặc mở rộng sau một giai đoạn nhất định.
Chúng tôi sẽ không ngay lập tức mở rộng số lượng người, chẳng hạn như tuyển dụng 100 người cùng một lúc. Vì đang trong giai đoạn leo núi tích lũy năng lực, chiêu mộ nhiều người như vậy có thể không biết sắp xếp mà lãng phí.
Với việc liên tục tiết lộ thông tin về các mô hình lớn và dòng vốn và tài năng liên tục đổ vào, lĩnh vực mô hình lớn đã phát triển rất nhanh và quan điểm của mọi người đã thay đổi rất nhiều. Khi ChatGPT lần đầu tiên ra mắt cách đây không lâu, mọi người đều cảm thấy rằng về cơ bản là không thể hiện thực hóa một mô hình quy mô lớn tương tự, nhưng dần dần, nhiều người cảm thấy rằng khả năng đó là rất cao và một số người cho rằng nhiều sản phẩm có thể hài lòng mà không cần như vậy một mô hình quy mô lớn.nhu cầu. Cường độ đầu tư của mọi người cũng rất khác nhau. Một số người có thể nghĩ rằng nhóm cần ít nhất vài trăm người và một số người nghĩ rằng điều đó là không cần thiết.
**Shenran: Có bất kỳ kế hoạch theo từng giai đoạn nào cho tương lai không, khi nào nó sẽ được thử nghiệm nội bộ và phát hành ra bên ngoài? **
Wang Bin: Không giống như các công ty khác, Xiaomi được sinh ra với các thuộc tính của sản phẩm, tôi tin rằng khi mẫu lớn của Xiaomi ra mắt, nó sẽ được sản phẩm làm nổi bật.
Chúng tôi có thể thử nghiệm nội bộ trước Q3. Tuy nhiên, đây không phải là nút tất yếu.
**Shen Ran: Nói cách khác, Xiaomi sẽ không phát hành một sản phẩm giống như ChatGPT? **
Wang Bin: Đúng vậy, chúng tôi sẽ không phát hành PPT hoặc chứng minh rằng chúng tôi có một mô hình lớn. Kịch bản ứng dụng phong phú là lợi thế lớn nhất của chúng tôi. **Mẫu Xiaomi cỡ lớn sẽ được tích hợp chặt chẽ hơn với bối cảnh và kế hoạch phát hành tương ứng phải được thực hiện theo nhịp điệu của sản phẩm. **
**Shenran: Ngoài nhân lực, chi phí sức mạnh tính toán của Xiaomi để tạo ra một mô hình lớn là bao nhiêu? **
Wang Bin: Chúng tôi là một nhà đầu tư quy mô trung bình và chúng tôi sẽ quyết định bước đầu tư tiếp theo dựa trên kết quả của lần leo trước đó.
Nhận định cơ bản của chúng tôi là mô hình phù hợp với các sản phẩm và doanh nghiệp của Xiaomi có thể có thông số hàng chục tỷ**, sẽ thấp hơn quy mô 100 tỷ và đầu tư vào máy đào tạo khoảng hàng chục triệu RMB.
** Shen Ran: Mô hình với hàng tỷ thông số do Xiaomi sản xuất trước đây như thế nào? **
**Wang Bin: **ChatGPT được phát hành năm ngoái là một loại mô hình quy mô lớn, được gọi là mô hình lớn ngôn ngữ được đào tạo trước cho mục đích chung. Nhưng bản thân mô hình lớn đã xuất hiện từ rất sớm, mỗi người có lộ trình và phương pháp khác nhau.
Chúng tôi bắt đầu làm theo mô hình lớn trước đó, lúc đó chúng tôi đã tạo ra một mô hình dành riêng cho hội thoại với khoảng 2,8 tỷ đến 3 tỷ tham số. Nó được hiện thực hóa bằng cách tinh chỉnh dữ liệu đối thoại trên cơ sở mô hình cơ sở đã được đào tạo trước, nó không phải là mô hình lớn có mục đích chung hiện tại, mà là dành riêng cho đối thoại giữa người và máy. Sau đó, mô hình này đã được tung ra cho Xiaoai và một thử nghiệm trực tuyến quy mô nhỏ đã được thực hiện.
Do đó, AIGC đã được sử dụng trong Xiao Ai, nhưng ở cấp độ sản phẩm, chúng tôi không sử dụng hoàn toàn mô hình lớn này mà sử dụng tính bổ sung của mô hình truyền thống và mô hình đối thoại lớn để sử dụng cả hai cùng nhau.
Kiểu máy cỡ lớn đa năng của Xiaomi có thể là kiểu máy lai này khi nó được đưa vào sản phẩm. Những vấn đề mà mô hình truyền thống xử lý rất tốt đều được bàn giao cho mô hình truyền thống. Mô hình lớn giải quyết các vấn đề mà nó giỏi, chẳng hạn như một số sự kiện xác suất nhỏ hoặc đối thoại đuôi dài.
Mức độ đối thoại của mô hình lớn dành cho mục đích chung hiện nay cao hơn đáng kể so với mức độ đối thoại của mô hình lớn dành riêng cho đối thoại trước đây, vì vậy phần này của nhóm cũng đã chuyển sang mô hình lớn dành cho mục đích chung. Nhóm này đã trải qua toàn bộ quá trình đào tạo của mô hình đối thoại lớn, trèo qua một số hố và với việc tích lũy dữ liệu, nó có một số lợi thế nhất định.
Mô hình lớn Millet: cảnh chiếm ưu thế và dữ liệu là một vấn đề
**Shenran: Trong khoảng thời gian này, tiến bộ công nghệ rất nhanh, các mẫu xe cỡ lớn trong nước đang được tung ra ồ ạt, bạn có lo lắng vì tiến độ chậm không? **
Wang Bin: Tôi đã từng khá lo lắng trong một thời gian, bởi vì tôi hơi hoảng sợ nếu cuối cùng tôi không làm điều đó mọi lúc, và bạn sẽ nghĩ, “Làm sao những người khác có thể tiến bộ nhanh như vậy và làm tất cả cùng một lúc?” Bây giờ chúng ta đi xuống để làm điều đó Không còn lo lắng nữa.
** Người ta nói rằng Trung Quốc hiện là "chiến tranh trăm mô hình", và hơn 80 mô hình lớn đã được phát hành **, một số trong số đó cung cấp thử nghiệm nội bộ và một số chỉ được phát hành bởi PPT. Hiệu ứng của một số mô hình vẫn còn tốt, xét về mức độ phát hành, mức độ của các mô hình lớn tự phát triển hiện có của chúng tôi dường như không thua kém nhiều mô hình. Nhưng chúng tôi không vội phát hành ra bên ngoài. Đầu tiên, đối với một công ty như Xiaomi, điều đó không có nhiều ý nghĩa. Thứ hai, chúng tôi vẫn hy vọng làm cho mô hình tự phát triển xung quanh sản phẩm tốt hơn, rồi cùng nhau phát hành.
**Shenran: Ông có nghĩ rằng mô hình lớn của các công ty trong nước có cơ hội bắt kịp OpenAI không? Khoảng cách lớn như thế nào? Họ thích dùng ba tháng, sáu tháng để miêu tả. **
Wang Bin: Hiện tại, OpenAI phải rất tiên tiến, nó đã đầu tư sớm và tích lũy rất mạnh về tài năng, dữ liệu, sức mạnh tính toán, kỹ thuật và sản phẩm. Từ tình hình trong nước, tôi cảm thấy giữa OpenAI và OpenAI vẫn còn một khoảng cách nhất định, có người nói là ba tháng hoặc sáu tháng, có người lại nói là một năm hoặc hai năm. Về thời gian, thật khó nói.
Bởi vì làm thế nào để đánh giá một mô hình lớn là một vấn đề rất khó khăn trong chính nó. Hiện nay có nhiều bảng xếp hạng các mô hình lớn khác nhau, nhưng không có mô hình nào được mọi người nhất trí công nhận. ** Không có tiêu chuẩn đánh giá thực sự, vì vậy nói về việc đuổi kịp trong ba tháng hoặc sáu tháng chỉ là một cái tát vào mặt. **
Về việc liệu Trung Quốc có thể bắt kịp OpenAI hay không, tôi đã rất bi quan trong những ngày đầu và nghĩ rằng điều đó gần như là không thể, nhưng với dòng giải pháp nguồn mở khác nhau, nhiều nhóm và vốn khác nhau, nhận định của tôi lạc quan hơn. Tôi cho rằng Trung Quốc có cơ hội thu hẹp khoảng cách với OpenAI, tiệm cận hoặc thậm chí vượt qua nó trong nhiều kịch bản.
** Các mô hình lớn dường như không có ngưỡng chip cao như vậy, thông qua việc không ngừng tích lũy và tối ưu hóa tài năng, dữ liệu, sức mạnh tính toán, v.v., có thể liên tục thu hẹp khoảng cách. **
**Shenran: Loại công ty nội địa nào có nhiều lợi thế hơn trong các mô hình quy mô lớn? Đâu là cơ hội cho Xiaomi? **
Wang Bin: Bất kể công ty lớn hay công ty mới thành lập vừa và nhỏ, mỗi công ty đều có không gian sống của riêng mình. Mô hình lớn là một hệ sinh thái, và không một công ty lớn nào có thể nắm bắt được tất cả. Tất cả các công ty trong hệ sinh thái, bao gồm sức mạnh tính toán, dữ liệu, ứng dụng và những công ty thực sự tạo ra mô hình lớn, đều có cơ hội của riêng mình.
Các mô hình quy mô lớn như Xiaomi có lợi thế về các kịch bản ứng dụng. Chúng tôi tin rằng sự kết hợp giữa các mô hình lớn và cảnh sẽ là một cơ hội lớn.
Bởi vì nếu bạn chỉ tung ra một mô hình lớn và không có ai sử dụng nó, nó có thể không phát triển nhanh chóng thông qua cuốn chiếu. Và chúng ta có thể tiếp cận cảnh ngay lập tức, và thông qua việc lặp lại liên tục, chúng ta có thể phát huy hết sức mạnh của mô hình lớn trong những cảnh này.
Mặc dù chúng tôi hiện chỉ tích hợp một nhóm chính gồm hơn 30 người, nhưng thực tế có rất nhiều người ở ngoại vi. Trong toàn bộ phòng thí nghiệm AI, có hơn 100 người có nền tảng NLP và đang thực hiện các ứng dụng cụ thể, bao gồm biểu đồ tri thức, dịch máy, đối thoại giữa người và máy, dịch vụ khách hàng thông minh và trả lời câu hỏi thông minh. Họ đều là những người có tư duy cơ bản về các mô hình lớn và các công nghệ liên quan, đồng thời đang thúc đẩy việc khám phá các mô hình lớn từ góc độ ứng dụng tương ứng của họ.
**Shen Ran: Sự tích lũy của Xiaomi trong nghiên cứu NLP có giá trị như thế nào đối với các mô hình lớn? **
Wang Bin: Có hai luồng ý kiến trong ngành. Một cách nói rằng ai trong chúng ta có thể không có việc làm, và AI đã giết chúng ta, đặc biệt là những người làm NLP có thể không có việc làm. Cũng có người nói rằng, suy cho cùng thì mô hình lớn cũng được tạo ra từ NLP, và những người làm NLP đều có những lợi thế vốn có.
Cả hai câu nói này đều có phần đúng, nhưng xét cho cùng thì nó liên quan đến công việc của tôi, tôi thiên về câu nói sau hơn.
Các mô hình lớn ban đầu được khám phá trong nhiều lĩnh vực khác nhau, bao gồm tầm nhìn, lời nói và NLP. Nhưng tại sao nó là bước đột phá đầu tiên trong lĩnh vực NLP, tôi tin rằng có những lý do thiết yếu cho điều này. Tôi hiểu ít nhất hai điểm: thứ nhất là sự phong phú và dễ dàng tiếp cận của dữ liệu ngôn ngữ, và thứ hai là có một lượng tri thức rất phong phú phản ánh quá trình tư duy của con người ẩn sau dữ liệu ngôn ngữ.
Vì vậy, tôi tin rằng những người đã tích lũy nhiều năm trong lĩnh vực NLP đều có những lợi thế bẩm sinh nhất định trong việc hiểu và chuyển đổi các mô hình lớn. Nhiều thành viên trong nhóm mô hình quy mô lớn của Xiaomi ban đầu làm việc theo hướng NLP. Một số công ty mới thành lập rất giỏi trong việc tạo ra các mô hình quy mô lớn ở Trung Quốc cũng bước ra từ lĩnh vực NLP.
**Shen Ran: Những khó khăn hiện tại để Xiaomi vượt qua mô hình lớn là gì? Làm thế nào để vượt qua nó? **
**Wang Bin:**Đầu tiên, tôi vẫn muốn nói rằng bản thân mô hình lớn có những thách thức rất lớn.
Một thách thức lớn là sự không chắc chắn của công nghệ. Chúng tôi đã xem một số báo cáo và ngay cả bản thân nhóm OpenAI cũng không rõ lắm về các nguyên tắc thực sự đằng sau mô hình lớn và nếu họ làm lại, họ không chắc liệu kết quả "xuất hiện" tương tự có xảy ra hay không. Tôi tin rằng OpenAI đang nói đúng về điểm này.Do sự không chắc chắn lớn trong công nghệ, đầu tư không thể đảm bảo rằng có thể đào tạo một mô hình lớn đáp ứng được kỳ vọng.
Việc tích lũy dữ liệu chất lượng cao cũng là một thách thức. Người ta thường tin rằng các mô hình lớn yêu cầu dữ liệu đào tạo cực kỳ lớn và chất lượng cao. Chất lượng dữ liệu công khai trên Internet nhìn chung tương đối kém, vì vậy việc thu thập và làm sạch ** dữ liệu là những thách thức tương đối lớn. **
Tất nhiên, một thách thức khác là sức mạnh tính toán. Đầu tiên, điều đó không có nghĩa là có nhiều thẻ có thể đào tạo, làm thế nào để sử dụng tốt những thẻ này, bản thân nó đã là một thách thức cấp hệ thống. Thứ hai, bởi vì trong quá trình đào tạo có thể mắc sai lầm, tiền có thể bị đốt mà không đốt được gì, do đó phụ thuộc vào việc bạn có năng lực đào tạo một mô hình lớn với chi phí có thể kiểm soát được hay không.
Thực tế mà nói, những thách thức hiện tại của ** dữ liệu và sức mạnh tính toán vẫn còn tương đối lớn, đặc biệt là dữ liệu chất lượng cao quy mô lớn **. Sau khoảng thời gian leo núi trước đó, về cơ bản chúng tôi chắc chắn rằng miễn là có dữ liệu và sử dụng sức mạnh tính toán hiện có, chúng tôi có thể biết sẽ mất bao nhiêu ngày để huấn luyện một mô hình cơ sở tốt.
**Shenran: Hiện tại chi phí đào tạo người mẫu lớn đã giảm chưa? **
Wang Bin: Một mặt, chi phí thử và sai thấp hơn trước. Bởi vì đào tạo mô hình lớn có thể đi đường vòng và thất bại, nhưng với việc tiết lộ nhiều thông tin khác nhau, có thể nhanh chóng tìm ra hướng đào tạo chính xác. Mặt khác, nhiều công ty điện toán đám mây, chip và các công ty khác, cũng như nhiều công ty mới thành lập, đang cung cấp các dịch vụ suy luận và đào tạo mô hình lớn với chi phí thấp hơn. Với sự phát triển hơn nữa của toàn bộ hệ sinh thái, tôi tin rằng chi phí đào tạo sẽ tiếp tục giảm.
Model cỡ lớn ảnh hưởng thế nào đến hoạt động kinh doanh của Xiaomi?
**Shen Ran: Bạn có thể giới thiệu chi tiết về Xiaomi AI Lab mà bạn chịu trách nhiệm không? **
Wang Bin: Sau khi "AlphaGo" ra đời vào năm 2016, ông Lei đã ngay lập tức xúc tiến việc xây dựng nhóm AI. Phòng thí nghiệm AI được chính thức thành lập vào năm 2016 và tôi đã phụ trách từ năm 2019.
Hóa ra Phòng thí nghiệm AI là một phần của Bộ Trí tuệ Nhân tạo. Sau này, Ban Trí tuệ nhân tạo được sáp nhập vào Ban Kỹ thuật Tập đoàn, và hiện nay Phòng thí nghiệm AI trực thuộc Ban Kỹ thuật.
Quy mô nhóm hiện tại của Phòng thí nghiệm AI là khoảng 350 người và nó có sáu hướng, đó là học máy, xử lý ngôn ngữ tự nhiên (NLP), thị giác máy tính, âm học, lời nói và biểu đồ tri thức.
Sau khi mô hình lớn ra đời, Phòng thí nghiệm AI đã thành lập một nhóm mô hình lớn toàn thời gian, hiện chúng tôi đang tập trung vào mô hình lớn ngôn ngữ, nhưng chúng tôi cũng đang chú ý đến mô hình lớn đa phương thức.
**Shen Ran: Ông Lu (Chủ tịch Tập đoàn Xiaomi Lu Weibing) cho biết nhóm Xiaomi AI hiện có hơn 1.200 người. Ngoài phòng thí nghiệm AI, những bộ phận nào khác trong Xiaomi có liên quan chặt chẽ đến AI? **
Wang Bin: Ngoài phòng thí nghiệm AI, còn có đội của Xiao Ai, cả hai đều thuộc ủy ban kỹ thuật.
Ngoài ủy ban kỹ thuật, còn có nhiều bộ phận với đội ngũ AI tương đối lớn, bao gồm bộ phận lái tự động của bộ phận ô tô, bộ phận máy ảnh của điện thoại di động và bộ phận phần mềm. Bộ phận kinh doanh Internet đều liên quan đến AI.
Tóm lại, một số nhóm liên quan đến AI nằm trong bộ phận kinh doanh và một số nằm trong ủy ban kỹ thuật, tổng số là khoảng 1200. Nếu tính đến một số nhóm nhỏ, cá nhân tôi cho rằng con số này còn lớn hơn.
**Shen Ran: Vai trò của Xiaomi AI Lab trong chiến lược AI của Xiaomi là gì? **
**Wang Bin:**AI Lab là bộ phận nghiên cứu, phát triển và sản xuất công nghệ AI ở cấp tập đoàn. Nói một cách dễ hiểu, chúng tôi đang xuất khẩu công nghệ AI cho toàn công ty.
Chúng tôi đã từng so sánh phòng thí nghiệm AI với "trường thí nghiệm" và "kho đạn dược" của công nghệ AI ở cấp độ tập đoàn. Do sự phát triển nhanh chóng của AI, phòng thí nghiệm AI sẽ phát triển một số công nghệ tiên tiến trung và dài hạn, dự trữ cho hoạt động kinh doanh của Xiaomi và sản xuất "đạn dược" khi nhóm cần.
Về công nghệ AI, chúng tôi phải có nguồn dự trữ đầy đủ nhất trong công ty và chúng tôi cũng rất mạnh trong ngành.
**Shen Ran: Những thành tựu nghiên cứu quan trọng của Xiaomi AI Lab là gì? **
Wang Bin: Khái niệm về phòng thí nghiệm AI của chúng tôi nhấn mạnh sự kết hợp giữa công nghệ và kịch bản. Hiện tại, các bài báo đã xuất bản không được coi là OKR. Do đó, sau khi tôi đến Xiaomi từ Học viện Khoa học Trung Quốc (Học viện Khoa học Trung Quốc), tôi cảm thấy rằng thành tựu lớn nhất không phải là sự tiến bộ của một điểm công nghệ, mà là sự tích hợp khéo léo giữa công nghệ và sản phẩm.
Xiaomi là một công ty To C. Sản lượng khả năng AI của chúng tôi hiện không được xuất khẩu trực tiếp ra thế giới bên ngoài mà thông qua các sản phẩm của công ty. Chúng tôi đã đạt được rất nhiều thành tựu, bao gồm nhiều thuật toán xử lý camera và album ảnh trong điện thoại di động Xiaomi, thuật toán giọng nói và NLP liên quan đến Xiao Ai và thuật toán AI trong hệ thống đề xuất, tìm kiếm và dịch vụ khách hàng của Xiaomi Mall.
Để tôi lấy ví dụ cho bạn, chúng tôi đã phát triển chức năng dịch ngoại tuyến trên điện thoại di động của mình. Ví dụ: sau khi ra nước ngoài, nhiều trường hợp mạng không tốt, lúc này, hãy bật chức năng dịch của điện thoại Xiaomi mà không cần sử dụng đám mây. Ở trạng thái ngoại tuyến, thời gian thực, quyền riêng tư và Hiệu ứng dịch tốt hơn. Việc triển khai và ứng dụng chức năng này không hề dễ dàng, chúng tôi đã thực hiện rất nhiều công việc tối ưu hóa về hiệu ứng và hiệu suất dịch thuật.
**Ở Xiaomi, không phải công nghệ của riêng chúng tôi sẽ được sử dụng trước. Công nghệ nội bộ cũng phải cạnh tranh công bằng với công nghệ bên ngoài. Chỉ người chiến thắng mới có thể tồn tại và được áp dụng vào sản phẩm. **
Wang Bin: Khả năng mạnh nhất của mô hình lớn, nói một cách đơn giản, là nó hiểu con người hơn và rõ ràng là nó có thể tối ưu hóa cách tương tác giữa con người và máy tính. Bạn cùng lớp Xiao Ai của Xiaomi, hệ điều hành điện thoại di động MIUI, buồng lái ô tô, IoT và rô-bốt đều là những tình huống điển hình mà các mô hình lớn được áp dụng.
** Shen Ran: Bạn có thể lấy Xiao Ai làm ví dụ không? **
Wang Bin: Áp dụng cho Xiao Ai, nó có thể làm hai việc cùng một lúc. Một là biến điều không thể thành có thể, tương đương với việc có các chức năng mới. Ví dụ, tôi yêu cầu Xiao Ai lập kế hoạch du lịch hoặc đặt bữa ăn, v.v. Khả năng kỹ thuật ban đầu chưa đạt được và nếu người dùng đặt nó theo cách khác, nó sẽ bị rối tung. Nhưng Với sự hỗ trợ của các mô hình lớn, nó hiểu sâu hơn về lời nói của con người, để có thể hoàn thành các tác vụ phức tạp và loại ứng dụng này là khả thi.
Một loại khác là nâng cao chức năng ban đầu, tương đương với việc đóng băng trên bánh. Do sự thay đổi nhanh chóng và đa dạng trong biểu hiện của con người, trong quá trình tương tác giữa người và máy tính của Xiaoai, vấn đề lớn nhất là gặp phải các sự kiện xác suất nhỏ. Chúng tôi gọi đó là Trường hợp góc và thường áp dụng chiến lược bảo thủ để Xiaoai nói: "Tôi có thể' t trả lời", "Tôi vẫn đang học"**. Loại câu trả lời có cơ sở này cũng có thể tiếp tục cuộc trò chuyện, nhưng trải nghiệm không tốt. Nhưng công nghệ mô hình lớn có thể tiếp tục đối thoại trong thời gian dài hơn và cải thiện đáng kể sự hài lòng của người dùng.
**Shenran: Mô hình lớn có ảnh hưởng lớn đến ngôi nhà thông minh không? **
**Wang Bin:**Theo hiểu biết của cá nhân tôi, mô hình lớn ít nhất có thể cải thiện trải nghiệm người dùng của ngôi nhà thông minh về khả năng tương tác.
Mặc dù có nhiều thiết bị tự xưng là "thông minh" nhưng chúng thường hoạt động như "chậm phát triển trí tuệ" và tỷ lệ sử dụng không cao. Ví dụ bật điều hòa hay điều chỉnh nhiệt độ điều hòa, nếu câu lệnh khác với lệnh chuẩn thì có thể không điều khiển được thiết bị IoT.
Nhưng sau khi mô hình lớn xuất hiện, nó đã hiểu sâu hơn về ngôn ngữ của con người, trong nhiều trường hợp, có nhiều cách diễn đạt khác nhau, mô hình lớn có thể dịch biểu thức của người dùng thành hướng dẫn mà máy có thể hiểu được. Điều này sẽ thúc đẩy nhiều người sử dụng các thiết bị thông minh hơn và cho phép toàn bộ hệ sinh thái phát triển nhanh hơn.
**Shenran: Ngoài việc cải thiện hoạt động kinh doanh hiện tại, còn có điều gì khác mà Xiaomi trước đây không thể làm nhưng sau khi có mô hình lớn thì có thể làm được không? **
Wang Bin: Chúng tôi sẽ tạo ra sự hợp tác sâu sắc giữa mô hình lớn và các doanh nghiệp này, đương nhiên, bên cạnh đó, chúng tôi cũng đang tìm kiếm nhiều khả năng hơn.
Nhóm của chúng tôi đã viết nhiều bài báo để quảng bá các mô hình lớn trong công ty, bao gồm khái niệm và phát triển công nghệ của các mô hình lớn, đồng thời hướng dẫn mọi người cách sử dụng ChatGPT để giải quyết các vấn đề kinh doanh. Ông Lei đã yêu cầu mọi bộ phận học hỏi các mô hình quy mô lớn và yêu cầu mọi người phải có tư duy mô hình quy mô lớn cơ bản và suy nghĩ về cách tích hợp với kinh doanh.