Việc phát hành ChatGPT, GPT-4, v.v., cho chúng ta thấy sức hấp dẫn của mô hình lớn (LLM), kèm theo nhiều thách thức khác nhau mà nó phải đối mặt.
Nguồn hình ảnh: Được tạo bởi AI không giới hạn
Làm thế nào để làm cho LLM tốt hơn? Trước những mô hình lớn, vấn đề gì cần giải quyết? Nó đã trở thành một chủ đề nghiên cứu quan trọng trong lĩnh vực AI.
Trong bài viết này, nhà khoa học máy tính Chip Huyền bắt đầu từ 10 khía cạnh và trình bày một cách toàn diện những thách thức mà LLM phải đối mặt. Cụ thể, hai khía cạnh đầu tiên là về ảo giác và học tập theo ngữ cảnh, cùng một số khía cạnh khác bao gồm nhưng không giới hạn ở đa phương thức, kiến trúc, tìm kiếm các giải pháp thay thế GPU, v.v.
Địa chỉ gốc:
Sau đây là bản dịch của văn bản gốc.
1. Cách giảm ảo giác
Vấn đề ảo giác đề cập đến thực tế là văn bản do LLM tạo ra trôi chảy và tự nhiên, nhưng không trung thành với nguồn nội dung (vấn đề nội tại) và/hoặc không chắc chắn (vấn đề bên ngoài). Vấn đề này tồn tại rộng rãi trong LLM.
Vì vậy, việc giảm bớt ảo giác và phát triển các chỉ số để đo lường ảo giác là rất quan trọng, nhiều công ty và tổ chức đang chú ý đến vấn đề này. Chip Huyền cho biết có nhiều cách để giảm ảo giác ở giai đoạn này như thêm ngữ cảnh vào lời nhắc, sử dụng chuỗi suy nghĩ hoặc làm cho câu trả lời của mô hình ngắn gọn hơn.
Các tài liệu có thể tham khảo bao gồm:
Tổng quan các nghiên cứu về ảo giác trong việc tạo ra ngôn ngữ tự nhiên:
Cách tạo ảo giác về ngôn ngữ làm mô hình quả cầu tuyết:
Đánh giá ChatGPT về khả năng suy luận, ảo giác và tính tương tác:
Học tập tương phản làm giảm ảo giác trong hội thoại:
Tính tự thống nhất nâng cao khả năng suy luận chuỗi tư duy của mô hình ngôn ngữ:
Phát hiện ảo giác hộp đen cho các mô hình ngôn ngữ lớn:
2. Tối ưu hóa độ dài ngữ cảnh và cấu trúc ngữ cảnh
Một trọng tâm nghiên cứu khác của LLM là độ dài của ngữ cảnh, bởi vì mô hình lớn cần tham chiếu đến ngữ cảnh khi trả lời câu hỏi của người dùng và độ dài có thể xử lý càng dài thì càng hữu ích cho LLM. Ví dụ: chúng tôi đã hỏi ChatGPT "Nhà hàng Việt Nam nào ngon nhất?" Đối với câu hỏi này, ChatGPT cần tham khảo ngữ cảnh để tìm hiểu xem người dùng đang hỏi về nhà hàng Việt Nam ngon nhất Việt Nam hay nhà hàng Việt Nam ngon nhất Hoa Kỳ. Kỳ. không giống nhau.
Trong tiểu mục này, Chip Huyền trình bày một số bài viết liên quan.
Đầu tiên là "SITUATEDQA: Kết hợp các bối cảnh ngoài ngôn ngữ vào QA", cả hai tác giả đều đến từ Đại học Texas ở Austin. Bài viết giới thiệu bộ dữ liệu QA truy xuất mở SITUATEDQA, độc giả quan tâm có thể xem qua để tìm hiểu thêm.
Chip Huyền cho biết vì mô hình học từ ngữ cảnh được cung cấp nên quá trình này được gọi là học theo ngữ cảnh.
Bài báo thứ hai là "Retri-Augmented Generation for Knowledge-Intensive NLP Tasks", bài báo này đề xuất RAG (Retri-Augmented Generation), có thể kết hợp các mô hình ngôn ngữ được đào tạo trước và kiến thức bên ngoài để hiện thực hóa khả năng trả lời câu hỏi khái quát miền mở và các kiến thức khác Nhiệm vụ chuyên sâu.
Quá trình vận hành RGA được chia thành hai giai đoạn: giai đoạn chunking (còn được gọi là truy xuất) và giai đoạn truy vấn:
Dựa trên nghiên cứu này, nhiều người nghĩ rằng bối cảnh càng dài thì mô hình sẽ nhồi nhét càng nhiều thông tin và phản hồi của nó càng tốt. Chip Huyền cho rằng nhận định này không hoàn toàn đúng.
Một mô hình có thể sử dụng bao nhiêu bối cảnh và một mô hình sử dụng bối cảnh hiệu quả như thế nào là hai câu hỏi hoàn toàn khác nhau. Những gì chúng ta phải làm là tăng hiệu quả của bối cảnh xử lý mô hình song song đồng thời tăng độ dài của bối cảnh mô hình. Ví dụ, trong bài viết "Lost in the Middle: How Language Models Use Long Contexts", bài viết mô tả cách mô hình có thể hiểu rõ hơn thông tin ở đầu và cuối của chỉ mục, thay vì thông tin ở giữa.
3. Đa phương thức
Chip Huyền tin rằng đa phương thức là rất quan trọng.
Đầu tiên, các lĩnh vực bao gồm chăm sóc sức khỏe, robot, thương mại điện tử, bán lẻ, trò chơi, giải trí, v.v. yêu cầu dữ liệu đa phương thức. Ví dụ: dự đoán y tế yêu cầu nội dung văn bản như ghi chú của bác sĩ và bảng câu hỏi của bệnh nhân, cũng như thông tin hình ảnh như quét CT, X-quang và MRI.
Thứ hai, đa phương thức hứa hẹn sẽ cải thiện đáng kể hiệu suất của mô hình, với các mô hình có thể hiểu cả văn bản và hình ảnh hoạt động tốt hơn các mô hình chỉ có thể hiểu văn bản. Tuy nhiên, các mô hình dựa trên văn bản đòi hỏi nhiều văn bản đến mức mọi người bắt đầu lo lắng rằng chúng ta sẽ sớm hết dữ liệu Internet để đào tạo mô hình. Khi văn bản đã hết, chúng ta cần xem xét các phương thức dữ liệu khác.
Sơ đồ kiến trúc Flamingo
Về đa phương thức, bạn có thể tham khảo nội dung sau:
论文 1《Học các mô hình trực quan có thể chuyển đổi từ việc giám sát ngôn ngữ tự nhiên》：
Trang 2《Flamingo: Mô hình ngôn ngữ hình ảnh để học tập nhanh chóng》：
论文 3《BLIP-2: Đào tạo trước ngôn ngữ-hình ảnh khởi động với bộ mã hóa hình ảnh đông lạnh và mô hình ngôn ngữ lớn》：
Trang 4《Ngôn ngữ không phải là tất cả những gì bạn cần: Điều chỉnh nhận thức với các mô hình ngôn ngữ》：
Bài 5 “Điều chỉnh hướng dẫn trực quan”:
Google PaLM-E:
NVIDIA NeVA:
4. Tạo LLM nhanh hơn và rẻ hơn
GPT-3.5 được phát hành lần đầu tiên vào cuối tháng 11 năm 2022 và nhiều người lo ngại về chi phí sử dụng cao. Tuy nhiên, chỉ trong nửa năm, cộng đồng đã tìm thấy một mô hình gần giống với GPT-3.5 về hiệu năng và dung lượng bộ nhớ cần thiết chỉ bằng 2% so với GPT-3.5.
Chip Huyền cho rằng nếu bạn tạo ra thứ gì đó đủ tốt, mọi người sẽ sớm tìm ra cách làm nó nhanh và rẻ.
Sau đây là so sánh hiệu năng của Guanaco 7B với các model như ChatGPT và GPT-4. Nhưng chúng tôi phải nhấn mạnh rằng rất khó để đánh giá LLM.
Sau đó, Chip Huyền liệt kê các kỹ thuật nén và tối ưu hóa mô hình:
Định lượng: Phương pháp tổng quát nhất để tối ưu hóa mô hình cho đến nay. Lượng tử hóa sử dụng ít bit hơn để biểu diễn các tham số, do đó làm giảm kích thước của mô hình.Ví dụ: ai đó thay đổi số dấu phẩy động 32 bit thành biểu diễn dấu phẩy động 16 bit hoặc thậm chí 4 bit;
Chắt lọc kiến thức: Một phương pháp huấn luyện một mô hình nhỏ (học sinh) bắt chước một mô hình lớn hơn hoặc một tập hợp các mô hình (giáo viên);
Phân tách thứ hạng thấp: Ý tưởng chính là thay thế các tensor có chiều cao bằng các tensor có chiều thấp để giảm số lượng tham số. Ví dụ: người dùng có thể phân tách một tenxơ 3x3 thành tích của các tenxơ 3x1 và 1x3, sao cho chỉ có 6 tham số thay vì 9;
Cắt tỉa.
Bốn phương pháp trên vẫn còn phổ biến, chẳng hạn như huấn luyện Alpaca bằng cách chắt lọc kiến thức và QLoRA kết hợp phân rã và lượng tử hóa cấp thấp.
5. Thiết kế kiến trúc mô hình mới
Kể từ khi AlexNet phát hành vào năm 2012, nhiều kiến trúc bao gồm LSTM, seq2seq trở nên phổ biến và sau đó trở nên lỗi thời. Không giống như vậy, Transformer cực kỳ dính. Nó đã có từ năm 2017 và vẫn được sử dụng rộng rãi cho đến tận bây giờ. Rất khó để ước tính kiến trúc này sẽ phổ biến trong bao lâu.
Tuy nhiên, để phát triển được một kiến trúc hoàn toàn mới có thể vượt qua Transformer là điều không hề dễ dàng. Trong 6 năm qua, các nhà nghiên cứu đã thực hiện rất nhiều tối ưu hóa cho Transformer. Ngoài kiến trúc mô hình, nó còn bao gồm việc tối ưu hóa ở cấp độ phần cứng.
Phòng thí nghiệm do nhà khoa học máy tính người Mỹ Chris Ré dẫn đầu đã thực hiện rất nhiều nghiên cứu về S4 vào năm 2021. Để biết thêm thông tin, vui lòng tham khảo bài viết "Mô hình hóa hiệu quả các chuỗi dài với không gian trạng thái có cấu trúc". Ngoài ra, phòng thí nghiệm Chris Ré đã đầu tư rất nhiều vào việc phát triển các kiến trúc mới và gần đây họ đã hợp tác với công ty khởi nghiệp Together để phát triển kiến trúc Monarch Mixer.
Ý tưởng chính của họ là đối với kiến trúc Transformer hiện tại, độ phức tạp cần chú ý là bậc hai của độ dài chuỗi, trong khi độ phức tạp của MLP là bậc hai của kích thước mô hình và kiến trúc có độ phức tạp thấp sẽ hiệu quả hơn.
6. Phát triển các giải pháp thay thế GPU
GPU đã thống trị deep learning kể từ khi AlexNet ra mắt vào năm 2012. Trên thực tế, một lý do được công nhận rộng rãi cho sự phổ biến của AlexNet là vì đây là bài báo đầu tiên đào tạo thành công mạng lưới thần kinh sử dụng GPU. Trước khi GPU xuất hiện, nếu bạn muốn đào tạo một mô hình có kích thước như AlexNet, bạn phải sử dụng hàng nghìn CPU và một vài GPU có thể làm được điều đó.
Trong thập kỷ qua, cả các tập đoàn lớn và các công ty khởi nghiệp đều cố gắng tạo ra phần cứng mới cho trí tuệ nhân tạo. Những cái tên tiêu biểu nhất bao gồm nhưng không giới hạn ở TPU của Google, IPU của Graphcore và công ty chip AI Cerebras. Ngoài ra, công ty khởi nghiệp chip AI SambaNova đã huy động được hơn 1 tỷ USD để phát triển chip AI mới.
Một hướng thú vị khác là chip quang tử, sử dụng photon để di chuyển dữ liệu xung quanh, cho phép tính toán nhanh hơn và hiệu quả hơn. Một số công ty khởi nghiệp trong lĩnh vực này đã huy động được hàng trăm triệu đô la, bao gồm Lightmatter (270 triệu đô la), Ayar Labs (220 triệu đô la), Lightelligence (200 triệu đô la +) và Luminous Computing (115 triệu đô la).
Sau đây là dòng thời gian về tiến trình của ba phương pháp chính trong tính toán ma trận quang tử, được lấy từ bài báo "Phép nhân ma trận quang tử làm sáng máy gia tốc quang tử và hơn thế nữa". Ba phương pháp này là chuyển đổi ánh sáng phẳng (PLC), giao thoa kế Mach-Zehnder (MZI) và ghép kênh phân chia bước sóng (WDM).
7. Làm cho các đại lý trở nên hữu dụng hơn
Đại lý là LLM có thể thực hiện các hành động như duyệt internet, gửi email, đặt phòng, v.v. So với các hướng nghiên cứu khác trong bài viết thì hướng này xuất hiện tương đối muộn và còn rất mới mẻ với mọi người.
Chính vì sự mới lạ và tiềm năng to lớn của nó mà mọi người đều có một nỗi ám ảnh điên cuồng về những đặc vụ thông minh. Auto-GPT hiện là dự án phổ biến thứ 25 trên GitHub. GPT-Engineering là một dự án rất phổ biến khác.
Mặc dù điều này được mong đợi và thú vị nhưng vẫn còn nghi ngờ liệu LLM có đủ tin cậy và đủ hiệu quả để được trao quyền hành động hay không.
Tuy nhiên, một trường hợp ứng dụng đã xuất hiện là áp dụng các tác nhân vào nghiên cứu xã hội. Cách đây một thời gian, Stanford đã mở nguồn cho "thị trấn ảo" Smallville. 25 đặc vụ AI sống trong thị trấn. Họ có việc làm, có thể buôn chuyện và có thể tổ chức xã hội , kết bạn mới và thậm chí tổ chức bữa tiệc Ngày lễ tình nhân, mỗi Cư dân thị trấn có một tính cách và cốt truyện riêng.
Để biết thêm chi tiết, vui lòng tham khảo các giấy tờ sau.
Địa chỉ giấy:
Có lẽ công ty khởi nghiệp nổi tiếng nhất trong lĩnh vực này là Adept, được thành lập bởi hai đồng tác giả Transformer và một cựu Phó chủ tịch OpenAI và đã huy động được gần 500 triệu USD cho đến nay. Năm ngoái, họ đã thực hiện một bản demo cho thấy cách đại lý của họ có thể duyệt internet và thêm tài khoản mới vào Salesforce.
, thời lượng 03:30
8. Cải thiện việc học từ sở thích của con người
RLHF là viết tắt của Học tăng cường từ sở thích của con người. Sẽ không có gì đáng ngạc nhiên nếu người ta tìm ra những cách khác để đào tạo LLM, suy cho cùng RLHF vẫn còn rất nhiều vấn đề cần giải quyết. Chip Huyền liệt kê 3 điểm sau.
**Làm thế nào để biểu diễn sở thích của con người về mặt toán học? **
Hiện tại, sở thích của con người được xác định bằng cách so sánh: người chú thích của con người xác định xem phản hồi A có tốt hơn phản hồi B hay không, nhưng không xem xét phản hồi A tốt hơn phản hồi B bao nhiêu.
**Sở thích của con người là gì? **
Anthropic đo lường chất lượng phản hồi của các mô hình của họ theo ba trục: tính hữu ích, tính trung thực và sự ngây thơ.
Địa chỉ giấy:
DeepMind cũng cố gắng tạo ra những phản hồi làm hài lòng số đông. Xem bài viết này dưới đây.
Địa chỉ giấy:
Nhưng cần nói rõ hơn, chúng ta muốn một AI có thể giữ vững lập trường hay một AI chung chung có thể tránh mọi chủ đề có thể gây tranh cãi?
**Sở thích của ai là sở thích của “người”? **
Do sự khác biệt về văn hóa, tôn giáo, v.v., có rất nhiều thách thức trong việc thu thập dữ liệu đào tạo đại diện đầy đủ cho tất cả người dùng tiềm năng.
Ví dụ: trong dữ liệu InstructGPT của OpenAI, người gắn nhãn chủ yếu là người Philippines và người Bangladesh, điều này có thể gây ra một số sai lệch do sự khác biệt về địa lý.
Nguồn:
Cộng đồng nghiên cứu cũng đang nghiên cứu vấn đề này, nhưng sự thiên vị dữ liệu vẫn tồn tại. Ví dụ: trong phân bổ nhân khẩu học của tập dữ liệu OpenAssistant, 201 trong số 222 người trả lời (90,5%) là nam giới.
9. Cải thiện hiệu quả của giao diện trò chuyện
Kể từ ChatGPT, đã có nhiều cuộc thảo luận về việc liệu trò chuyện có phù hợp với nhiều tác vụ khác nhau hay không. Ví dụ như những cuộc thảo luận này:
Ngôn ngữ tự nhiên là giao diện người dùng lười biếng
Tại sao chatbot không phải là tương lai:
Những loại câu hỏi nào cần phải đối thoại để trả lời?
Giao diện trò chuyện AI có thể trở thành giao diện người dùng chính để đọc tài liệu:
Tương tác với LLM với trò chuyện tối thiểu:
Tuy nhiên, những cuộc thảo luận này không phải là mới. Nhiều quốc gia, đặc biệt là ở châu Á, đã sử dụng trò chuyện làm giao diện cho các siêu ứng dụng trong khoảng một thập kỷ.
*Trò chuyện là giao diện chung cho các ứng dụng Trung Quốc
Vào năm 2016, khi nhiều người cho rằng ứng dụng đã chết và chatbot là tương lai, cuộc thảo luận lại trở nên căng thẳng:
Về giao diện trò chuyện:
Xu hướng chatbot có phải là một quan niệm sai lầm lớn:
Bot sẽ không thay thế ứng dụng, ứng dụng tốt hơn sẽ:
Chip Huyền cho biết rất thích giao diện chat vì những lý do sau:
Trò chuyện là một giao diện mà mọi người có thể nhanh chóng học cách sử dụng, ngay cả những người chưa từng truy cập máy tính hoặc Internet trước đây.
Không có trở ngại trong giao diện trò chuyện, ngay cả khi bạn đang vội, bạn có thể sử dụng giọng nói thay vì văn bản.
Trò chuyện cũng là một giao diện rất mạnh mẽ, bạn có thể đưa ra bất kỳ yêu cầu nào với nó, ngay cả khi phản hồi không tốt, nó sẽ trả lời.
Tuy nhiên, Chip Huyền cho rằng giao diện trò chuyện còn chỗ cần cải thiện ở một số mặt. Anh có gợi ý sau
Nhiều tin nhắn mỗi vòng
Hiện tại, người ta cho rằng chỉ có thể gửi một tin nhắn mỗi vòng. Nhưng đó không phải là cách mọi người nhắn tin ngoài đời thực. Thông thường, cần có nhiều thông tin để hoàn thành ý tưởng của một cá nhân, vì các dữ liệu khác nhau (chẳng hạn như hình ảnh, vị trí, liên kết) cần được chèn vào quy trình và người dùng có thể đã bỏ sót nội dung nào đó trong thông tin trước đó hoặc không muốn bao gồm tất cả mọi thứ Viết nó trong một đoạn văn dài.
Đầu vào đa phương thức
Trong lĩnh vực ứng dụng đa phương thức, phần lớn nỗ lực được dành cho việc xây dựng các mô hình tốt hơn và rất ít nỗ lực được dành cho việc xây dựng các giao diện tốt hơn. Trong trường hợp chatbot NeVA của Nvidia, có thể vẫn còn chỗ để cải thiện trải nghiệm người dùng.
Địa chỉ:
Kết hợp AI sáng tạo vào quy trình làm việc
Linus Lee đã trình bày rõ điều này trong bài nói chuyện của mình "Giao diện do AI tạo ra ngoài trò chuyện". Ví dụ: nếu bạn muốn đặt câu hỏi về một cột trong biểu đồ mà bạn đang làm việc, bạn có thể chỉ vào cột đó và hỏi.
Địa chỉ video:
Chỉnh sửa, xóa thông tin
Điều đáng suy nghĩ là việc chỉnh sửa hoặc xóa thông tin nhập của người dùng có thể thay đổi luồng cuộc trò chuyện với chatbot như thế nào.
10. Xây dựng LLM cho các ngôn ngữ không phải tiếng Anh
LLM hiện tại dành cho tiếng Anh là ngôn ngữ đầu tiên không có khả năng mở rộng tốt sang các ngôn ngữ khác về hiệu suất, độ trễ và tốc độ. Nội dung liên quan có thể đọc các bài viết sau:
Địa chỉ giấy:
Địa chỉ bài viết:
Chip Huyền cho biết, một số độc giả đầu tiên của bài viết này đã nói với anh rằng họ cho rằng không nên đưa hướng đi này vào vì hai lý do.
Đây không hẳn là một câu hỏi nghiên cứu mà là một câu hỏi về hậu cần. Chúng tôi đã biết cách thực hiện rồi, chỉ cần ai đó đầu tư tiền bạc và công sức, điều này không hoàn toàn đúng. Hầu hết các ngôn ngữ được coi là ngôn ngữ có tài nguyên thấp, chẳng hạn, có dữ liệu chất lượng cao kém hơn nhiều so với tiếng Anh hoặc tiếng Trung và do đó có thể yêu cầu các kỹ thuật khác nhau để đào tạo các mô hình ngôn ngữ lớn. Xem các bài viết sau:
Địa chỉ giấy:
Địa chỉ giấy:
Những người bi quan cho rằng trong tương lai nhiều ngôn ngữ sẽ bị lụi tàn và Internet tương lai sẽ chỉ có hai ngôn ngữ: tiếng Anh và tiếng Trung.
Tác động của các công cụ AI, chẳng hạn như dịch máy và chatbot, đối với việc học ngôn ngữ là chưa rõ ràng. Vẫn chưa rõ liệu chúng có giúp mọi người học ngôn ngữ mới nhanh hơn hay loại bỏ hoàn toàn nhu cầu học ngôn ngữ mới hay không.
Tóm tắt
Các vấn đề được đề cập trong bài viết này cũng có mức độ khó khác nhau, chẳng hạn như vấn đề cuối cùng, nếu bạn tìm đủ nguồn lực và thời gian thì có thể xây dựng LLM cho các ngôn ngữ không phải tiếng Anh.
Một trong những vấn đề đầu tiên là giảm bớt ảo giác, việc này sẽ khó hơn nhiều, vì ảo giác chỉ là LLM đang làm những việc có tính xác suất.
Vấn đề thứ tư là làm cho LLM nhanh hơn và rẻ hơn và điều này sẽ không được giải quyết triệt để. Một số tiến bộ đã đạt được trong lĩnh vực này và sẽ còn có nhiều tiến bộ hơn nữa trong tương lai, nhưng chúng tôi sẽ không bao giờ cải thiện đến mức hoàn hảo.
Vấn đề thứ năm và thứ sáu là kiến trúc mới và phần cứng mới, rất khó khăn nhưng không thể tránh khỏi theo thời gian. Do mối quan hệ cộng sinh giữa kiến trúc và phần cứng, trong đó các kiến trúc mới cần được tối ưu hóa cho phần cứng có mục đích chung và phần cứng cần hỗ trợ các kiến trúc có mục đích chung, vấn đề này có thể được giải quyết bởi cùng một công ty.
Cũng có những vấn đề không thể giải quyết chỉ bằng kiến thức kỹ thuật. Ví dụ, vấn đề thứ tám trong việc cải thiện các phương pháp học tập từ sở thích của con người có thể liên quan đến vấn đề chính sách hơn là vấn đề kỹ thuật. Nói về câu hỏi thứ chín, cải thiện hiệu quả giao diện, đây giống như một vấn đề về trải nghiệm người dùng hơn và cần nhiều người không có kiến thức về kỹ thuật để cùng nhau giải quyết vấn đề này.
Nếu bạn muốn nhìn những vấn đề này từ những góc độ khác, Chip Huyền khuyên bạn nên đọc bài viết sau.
Địa chỉ giấy:
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Ảo giác chết người, sự phát triển của GPU thay thế, model cỡ lớn vẫn phải đối mặt với 10 thách thức lớn này
Việc phát hành ChatGPT, GPT-4, v.v., cho chúng ta thấy sức hấp dẫn của mô hình lớn (LLM), kèm theo nhiều thách thức khác nhau mà nó phải đối mặt.
Làm thế nào để làm cho LLM tốt hơn? Trước những mô hình lớn, vấn đề gì cần giải quyết? Nó đã trở thành một chủ đề nghiên cứu quan trọng trong lĩnh vực AI.
Trong bài viết này, nhà khoa học máy tính Chip Huyền bắt đầu từ 10 khía cạnh và trình bày một cách toàn diện những thách thức mà LLM phải đối mặt. Cụ thể, hai khía cạnh đầu tiên là về ảo giác và học tập theo ngữ cảnh, cùng một số khía cạnh khác bao gồm nhưng không giới hạn ở đa phương thức, kiến trúc, tìm kiếm các giải pháp thay thế GPU, v.v.
Sau đây là bản dịch của văn bản gốc.
1. Cách giảm ảo giác
Vấn đề ảo giác đề cập đến thực tế là văn bản do LLM tạo ra trôi chảy và tự nhiên, nhưng không trung thành với nguồn nội dung (vấn đề nội tại) và/hoặc không chắc chắn (vấn đề bên ngoài). Vấn đề này tồn tại rộng rãi trong LLM.
Vì vậy, việc giảm bớt ảo giác và phát triển các chỉ số để đo lường ảo giác là rất quan trọng, nhiều công ty và tổ chức đang chú ý đến vấn đề này. Chip Huyền cho biết có nhiều cách để giảm ảo giác ở giai đoạn này như thêm ngữ cảnh vào lời nhắc, sử dụng chuỗi suy nghĩ hoặc làm cho câu trả lời của mô hình ngắn gọn hơn.
Các tài liệu có thể tham khảo bao gồm:
2. Tối ưu hóa độ dài ngữ cảnh và cấu trúc ngữ cảnh
Một trọng tâm nghiên cứu khác của LLM là độ dài của ngữ cảnh, bởi vì mô hình lớn cần tham chiếu đến ngữ cảnh khi trả lời câu hỏi của người dùng và độ dài có thể xử lý càng dài thì càng hữu ích cho LLM. Ví dụ: chúng tôi đã hỏi ChatGPT "Nhà hàng Việt Nam nào ngon nhất?" Đối với câu hỏi này, ChatGPT cần tham khảo ngữ cảnh để tìm hiểu xem người dùng đang hỏi về nhà hàng Việt Nam ngon nhất Việt Nam hay nhà hàng Việt Nam ngon nhất Hoa Kỳ. Kỳ. không giống nhau.
Trong tiểu mục này, Chip Huyền trình bày một số bài viết liên quan.
Đầu tiên là "SITUATEDQA: Kết hợp các bối cảnh ngoài ngôn ngữ vào QA", cả hai tác giả đều đến từ Đại học Texas ở Austin. Bài viết giới thiệu bộ dữ liệu QA truy xuất mở SITUATEDQA, độc giả quan tâm có thể xem qua để tìm hiểu thêm.
Chip Huyền cho biết vì mô hình học từ ngữ cảnh được cung cấp nên quá trình này được gọi là học theo ngữ cảnh.
Quá trình vận hành RGA được chia thành hai giai đoạn: giai đoạn chunking (còn được gọi là truy xuất) và giai đoạn truy vấn:
Một mô hình có thể sử dụng bao nhiêu bối cảnh và một mô hình sử dụng bối cảnh hiệu quả như thế nào là hai câu hỏi hoàn toàn khác nhau. Những gì chúng ta phải làm là tăng hiệu quả của bối cảnh xử lý mô hình song song đồng thời tăng độ dài của bối cảnh mô hình. Ví dụ, trong bài viết "Lost in the Middle: How Language Models Use Long Contexts", bài viết mô tả cách mô hình có thể hiểu rõ hơn thông tin ở đầu và cuối của chỉ mục, thay vì thông tin ở giữa.
3. Đa phương thức
Chip Huyền tin rằng đa phương thức là rất quan trọng.
Đầu tiên, các lĩnh vực bao gồm chăm sóc sức khỏe, robot, thương mại điện tử, bán lẻ, trò chơi, giải trí, v.v. yêu cầu dữ liệu đa phương thức. Ví dụ: dự đoán y tế yêu cầu nội dung văn bản như ghi chú của bác sĩ và bảng câu hỏi của bệnh nhân, cũng như thông tin hình ảnh như quét CT, X-quang và MRI.
Thứ hai, đa phương thức hứa hẹn sẽ cải thiện đáng kể hiệu suất của mô hình, với các mô hình có thể hiểu cả văn bản và hình ảnh hoạt động tốt hơn các mô hình chỉ có thể hiểu văn bản. Tuy nhiên, các mô hình dựa trên văn bản đòi hỏi nhiều văn bản đến mức mọi người bắt đầu lo lắng rằng chúng ta sẽ sớm hết dữ liệu Internet để đào tạo mô hình. Khi văn bản đã hết, chúng ta cần xem xét các phương thức dữ liệu khác.
Về đa phương thức, bạn có thể tham khảo nội dung sau:
4. Tạo LLM nhanh hơn và rẻ hơn
GPT-3.5 được phát hành lần đầu tiên vào cuối tháng 11 năm 2022 và nhiều người lo ngại về chi phí sử dụng cao. Tuy nhiên, chỉ trong nửa năm, cộng đồng đã tìm thấy một mô hình gần giống với GPT-3.5 về hiệu năng và dung lượng bộ nhớ cần thiết chỉ bằng 2% so với GPT-3.5.
Chip Huyền cho rằng nếu bạn tạo ra thứ gì đó đủ tốt, mọi người sẽ sớm tìm ra cách làm nó nhanh và rẻ.
Bốn phương pháp trên vẫn còn phổ biến, chẳng hạn như huấn luyện Alpaca bằng cách chắt lọc kiến thức và QLoRA kết hợp phân rã và lượng tử hóa cấp thấp.
5. Thiết kế kiến trúc mô hình mới
Kể từ khi AlexNet phát hành vào năm 2012, nhiều kiến trúc bao gồm LSTM, seq2seq trở nên phổ biến và sau đó trở nên lỗi thời. Không giống như vậy, Transformer cực kỳ dính. Nó đã có từ năm 2017 và vẫn được sử dụng rộng rãi cho đến tận bây giờ. Rất khó để ước tính kiến trúc này sẽ phổ biến trong bao lâu.
Tuy nhiên, để phát triển được một kiến trúc hoàn toàn mới có thể vượt qua Transformer là điều không hề dễ dàng. Trong 6 năm qua, các nhà nghiên cứu đã thực hiện rất nhiều tối ưu hóa cho Transformer. Ngoài kiến trúc mô hình, nó còn bao gồm việc tối ưu hóa ở cấp độ phần cứng.
Phòng thí nghiệm do nhà khoa học máy tính người Mỹ Chris Ré dẫn đầu đã thực hiện rất nhiều nghiên cứu về S4 vào năm 2021. Để biết thêm thông tin, vui lòng tham khảo bài viết "Mô hình hóa hiệu quả các chuỗi dài với không gian trạng thái có cấu trúc". Ngoài ra, phòng thí nghiệm Chris Ré đã đầu tư rất nhiều vào việc phát triển các kiến trúc mới và gần đây họ đã hợp tác với công ty khởi nghiệp Together để phát triển kiến trúc Monarch Mixer.
Ý tưởng chính của họ là đối với kiến trúc Transformer hiện tại, độ phức tạp cần chú ý là bậc hai của độ dài chuỗi, trong khi độ phức tạp của MLP là bậc hai của kích thước mô hình và kiến trúc có độ phức tạp thấp sẽ hiệu quả hơn.
GPU đã thống trị deep learning kể từ khi AlexNet ra mắt vào năm 2012. Trên thực tế, một lý do được công nhận rộng rãi cho sự phổ biến của AlexNet là vì đây là bài báo đầu tiên đào tạo thành công mạng lưới thần kinh sử dụng GPU. Trước khi GPU xuất hiện, nếu bạn muốn đào tạo một mô hình có kích thước như AlexNet, bạn phải sử dụng hàng nghìn CPU và một vài GPU có thể làm được điều đó.
Trong thập kỷ qua, cả các tập đoàn lớn và các công ty khởi nghiệp đều cố gắng tạo ra phần cứng mới cho trí tuệ nhân tạo. Những cái tên tiêu biểu nhất bao gồm nhưng không giới hạn ở TPU của Google, IPU của Graphcore và công ty chip AI Cerebras. Ngoài ra, công ty khởi nghiệp chip AI SambaNova đã huy động được hơn 1 tỷ USD để phát triển chip AI mới.
Một hướng thú vị khác là chip quang tử, sử dụng photon để di chuyển dữ liệu xung quanh, cho phép tính toán nhanh hơn và hiệu quả hơn. Một số công ty khởi nghiệp trong lĩnh vực này đã huy động được hàng trăm triệu đô la, bao gồm Lightmatter (270 triệu đô la), Ayar Labs (220 triệu đô la), Lightelligence (200 triệu đô la +) và Luminous Computing (115 triệu đô la).
Sau đây là dòng thời gian về tiến trình của ba phương pháp chính trong tính toán ma trận quang tử, được lấy từ bài báo "Phép nhân ma trận quang tử làm sáng máy gia tốc quang tử và hơn thế nữa". Ba phương pháp này là chuyển đổi ánh sáng phẳng (PLC), giao thoa kế Mach-Zehnder (MZI) và ghép kênh phân chia bước sóng (WDM).
Đại lý là LLM có thể thực hiện các hành động như duyệt internet, gửi email, đặt phòng, v.v. So với các hướng nghiên cứu khác trong bài viết thì hướng này xuất hiện tương đối muộn và còn rất mới mẻ với mọi người.
Chính vì sự mới lạ và tiềm năng to lớn của nó mà mọi người đều có một nỗi ám ảnh điên cuồng về những đặc vụ thông minh. Auto-GPT hiện là dự án phổ biến thứ 25 trên GitHub. GPT-Engineering là một dự án rất phổ biến khác.
Mặc dù điều này được mong đợi và thú vị nhưng vẫn còn nghi ngờ liệu LLM có đủ tin cậy và đủ hiệu quả để được trao quyền hành động hay không.
Tuy nhiên, một trường hợp ứng dụng đã xuất hiện là áp dụng các tác nhân vào nghiên cứu xã hội. Cách đây một thời gian, Stanford đã mở nguồn cho "thị trấn ảo" Smallville. 25 đặc vụ AI sống trong thị trấn. Họ có việc làm, có thể buôn chuyện và có thể tổ chức xã hội , kết bạn mới và thậm chí tổ chức bữa tiệc Ngày lễ tình nhân, mỗi Cư dân thị trấn có một tính cách và cốt truyện riêng.
Để biết thêm chi tiết, vui lòng tham khảo các giấy tờ sau.
Có lẽ công ty khởi nghiệp nổi tiếng nhất trong lĩnh vực này là Adept, được thành lập bởi hai đồng tác giả Transformer và một cựu Phó chủ tịch OpenAI và đã huy động được gần 500 triệu USD cho đến nay. Năm ngoái, họ đã thực hiện một bản demo cho thấy cách đại lý của họ có thể duyệt internet và thêm tài khoản mới vào Salesforce.
, thời lượng 03:30
8. Cải thiện việc học từ sở thích của con người
RLHF là viết tắt của Học tăng cường từ sở thích của con người. Sẽ không có gì đáng ngạc nhiên nếu người ta tìm ra những cách khác để đào tạo LLM, suy cho cùng RLHF vẫn còn rất nhiều vấn đề cần giải quyết. Chip Huyền liệt kê 3 điểm sau.
**Làm thế nào để biểu diễn sở thích của con người về mặt toán học? **
Hiện tại, sở thích của con người được xác định bằng cách so sánh: người chú thích của con người xác định xem phản hồi A có tốt hơn phản hồi B hay không, nhưng không xem xét phản hồi A tốt hơn phản hồi B bao nhiêu.
**Sở thích của con người là gì? **
Anthropic đo lường chất lượng phản hồi của các mô hình của họ theo ba trục: tính hữu ích, tính trung thực và sự ngây thơ.
DeepMind cũng cố gắng tạo ra những phản hồi làm hài lòng số đông. Xem bài viết này dưới đây.
Nhưng cần nói rõ hơn, chúng ta muốn một AI có thể giữ vững lập trường hay một AI chung chung có thể tránh mọi chủ đề có thể gây tranh cãi?
**Sở thích của ai là sở thích của “người”? **
Do sự khác biệt về văn hóa, tôn giáo, v.v., có rất nhiều thách thức trong việc thu thập dữ liệu đào tạo đại diện đầy đủ cho tất cả người dùng tiềm năng.
Ví dụ: trong dữ liệu InstructGPT của OpenAI, người gắn nhãn chủ yếu là người Philippines và người Bangladesh, điều này có thể gây ra một số sai lệch do sự khác biệt về địa lý.
Cộng đồng nghiên cứu cũng đang nghiên cứu vấn đề này, nhưng sự thiên vị dữ liệu vẫn tồn tại. Ví dụ: trong phân bổ nhân khẩu học của tập dữ liệu OpenAssistant, 201 trong số 222 người trả lời (90,5%) là nam giới.
Kể từ ChatGPT, đã có nhiều cuộc thảo luận về việc liệu trò chuyện có phù hợp với nhiều tác vụ khác nhau hay không. Ví dụ như những cuộc thảo luận này:
Tuy nhiên, những cuộc thảo luận này không phải là mới. Nhiều quốc gia, đặc biệt là ở châu Á, đã sử dụng trò chuyện làm giao diện cho các siêu ứng dụng trong khoảng một thập kỷ.
Vào năm 2016, khi nhiều người cho rằng ứng dụng đã chết và chatbot là tương lai, cuộc thảo luận lại trở nên căng thẳng:
Chip Huyền cho biết rất thích giao diện chat vì những lý do sau:
Tuy nhiên, Chip Huyền cho rằng giao diện trò chuyện còn chỗ cần cải thiện ở một số mặt. Anh có gợi ý sau
Hiện tại, người ta cho rằng chỉ có thể gửi một tin nhắn mỗi vòng. Nhưng đó không phải là cách mọi người nhắn tin ngoài đời thực. Thông thường, cần có nhiều thông tin để hoàn thành ý tưởng của một cá nhân, vì các dữ liệu khác nhau (chẳng hạn như hình ảnh, vị trí, liên kết) cần được chèn vào quy trình và người dùng có thể đã bỏ sót nội dung nào đó trong thông tin trước đó hoặc không muốn bao gồm tất cả mọi thứ Viết nó trong một đoạn văn dài.
Trong lĩnh vực ứng dụng đa phương thức, phần lớn nỗ lực được dành cho việc xây dựng các mô hình tốt hơn và rất ít nỗ lực được dành cho việc xây dựng các giao diện tốt hơn. Trong trường hợp chatbot NeVA của Nvidia, có thể vẫn còn chỗ để cải thiện trải nghiệm người dùng.
Linus Lee đã trình bày rõ điều này trong bài nói chuyện của mình "Giao diện do AI tạo ra ngoài trò chuyện". Ví dụ: nếu bạn muốn đặt câu hỏi về một cột trong biểu đồ mà bạn đang làm việc, bạn có thể chỉ vào cột đó và hỏi.
Địa chỉ video:
Điều đáng suy nghĩ là việc chỉnh sửa hoặc xóa thông tin nhập của người dùng có thể thay đổi luồng cuộc trò chuyện với chatbot như thế nào.
10. Xây dựng LLM cho các ngôn ngữ không phải tiếng Anh
LLM hiện tại dành cho tiếng Anh là ngôn ngữ đầu tiên không có khả năng mở rộng tốt sang các ngôn ngữ khác về hiệu suất, độ trễ và tốc độ. Nội dung liên quan có thể đọc các bài viết sau:
Chip Huyền cho biết, một số độc giả đầu tiên của bài viết này đã nói với anh rằng họ cho rằng không nên đưa hướng đi này vào vì hai lý do.
Tác động của các công cụ AI, chẳng hạn như dịch máy và chatbot, đối với việc học ngôn ngữ là chưa rõ ràng. Vẫn chưa rõ liệu chúng có giúp mọi người học ngôn ngữ mới nhanh hơn hay loại bỏ hoàn toàn nhu cầu học ngôn ngữ mới hay không.
Tóm tắt
Các vấn đề được đề cập trong bài viết này cũng có mức độ khó khác nhau, chẳng hạn như vấn đề cuối cùng, nếu bạn tìm đủ nguồn lực và thời gian thì có thể xây dựng LLM cho các ngôn ngữ không phải tiếng Anh.
Một trong những vấn đề đầu tiên là giảm bớt ảo giác, việc này sẽ khó hơn nhiều, vì ảo giác chỉ là LLM đang làm những việc có tính xác suất.
Vấn đề thứ tư là làm cho LLM nhanh hơn và rẻ hơn và điều này sẽ không được giải quyết triệt để. Một số tiến bộ đã đạt được trong lĩnh vực này và sẽ còn có nhiều tiến bộ hơn nữa trong tương lai, nhưng chúng tôi sẽ không bao giờ cải thiện đến mức hoàn hảo.
Vấn đề thứ năm và thứ sáu là kiến trúc mới và phần cứng mới, rất khó khăn nhưng không thể tránh khỏi theo thời gian. Do mối quan hệ cộng sinh giữa kiến trúc và phần cứng, trong đó các kiến trúc mới cần được tối ưu hóa cho phần cứng có mục đích chung và phần cứng cần hỗ trợ các kiến trúc có mục đích chung, vấn đề này có thể được giải quyết bởi cùng một công ty.
Cũng có những vấn đề không thể giải quyết chỉ bằng kiến thức kỹ thuật. Ví dụ, vấn đề thứ tám trong việc cải thiện các phương pháp học tập từ sở thích của con người có thể liên quan đến vấn đề chính sách hơn là vấn đề kỹ thuật. Nói về câu hỏi thứ chín, cải thiện hiệu quả giao diện, đây giống như một vấn đề về trải nghiệm người dùng hơn và cần nhiều người không có kiến thức về kỹ thuật để cùng nhau giải quyết vấn đề này.
Nếu bạn muốn nhìn những vấn đề này từ những góc độ khác, Chip Huyền khuyên bạn nên đọc bài viết sau.