Sử dụng văn ngôn và AI để đối thoại có thể tiết kiệm Token không? Một ảnh chụp màn hình đã gây bùng nổ thảo luận, kỹ sư: thực ra dùng tiếng Anh mới là con đường đúng đắn.

「用文言，可減 token 乎？」—— câu hỏi này kèm theo hình chụp màn hình phản hồi bằng văn ngôn của Claude Haiku 4.5: 「可也。文言較為簡潔，用詞凝練，確能減損 token 之耗損」 đã dẫn đến một cuộc thảo luận kỹ thuật nghiêm túc và thú vị trong cộng đồng.

Logic của câu hỏi này

Một cách trực giác, văn ngôn có vẻ ngắn gọn hơn so với văn hiện đại — 「蝶」 chỉ cần một chữ, trong văn hiện đại phải nói là 「蝴蝶」; 「可」 chỉ cần một chữ, trong văn hiện đại phải nói là 「可以」。Nếu mỗi ký tự được tính là một token, về lý thuyết văn ngôn thực sự có thể tiết kiệm token. Grok cũng đã xác nhận điều này bằng cách phản hồi bằng văn ngôn trong chuỗi thảo luận.

Phản biện của kỹ sư: tokenizer mới là yếu tố quyết định

Tuy nhiên, nhiều kỹ sư đã chỉ ra một chi tiết kỹ thuật thường bị bỏ qua — token không đồng nghĩa với số lượng chữ. Tokenizer của các mô hình phương Tây như OpenAI được tối ưu hóa cho tiếng Anh, khi xử lý tiếng Trung, một ký tự thường cần 1-2 token, và chữ phồn thể đôi khi tiêu tốn nhiều token hơn chữ giản thể. Nói cách khác, 「可」 và 「可以」 trong một số mô hình có thể đều là 2 token, số lượng chữ giảm nhưng token chưa chắc đã ít đi.

Kết luận sau khi thực nghiệm là: mô hình Mỹ tiết kiệm token nhất khi dùng tiếng Anh, mô hình Trung Quốc tiết kiệm token nhất khi dùng tiếng Trung hiện đại, cùng một nội dung thì chi phí token bằng tiếng Trung trên mô hình nội địa rẻ hơn khoảng 20% so với tiếng Anh.

Một phát hiện bất ngờ khác: văn ngôn có thể dễ dàng “vượt ngục”

Trong thảo luận xuất hiện một quan sát thú vị hơn — các LLM chính thống hầu như không có biện pháp bảo vệ đối với văn ngôn, việc đặt câu hỏi bằng văn ngôn dễ dàng hơn để vượt qua các hạn chế an toàn, thậm chí lấy ra nội dung mà mô hình thường từ chối trả lời. Được cho là có các tài liệu ICML hoặc ICLR ghi nhận hiện tượng này.

Vấn đề chất lượng của chuỗi tư duy văn ngôn

Một phản biện khác đến từ kinh nghiệm sử dụng thực tế: 「用文言文思維鏈會造成質量下降。正常思維鏈能答對的，用文言文思維鏈就會出錯。」Lý do cũng đơn giản: dữ liệu huấn luyện của LLM chủ yếu là tiếng Anh hiện đại và tiếng Trung hiện đại, tài liệu văn ngôn không đủ một phần mười, bắt nó suy nghĩ bằng văn ngôn, tương đương với việc khiến nó suy luận bằng một ngôn ngữ không quen thuộc, tỷ lệ ảo giác tự nhiên cũng tăng lên hai chiều.

Kết luận: là một meme hay, không phải chiến lược kỹ thuật tốt

Kết quả của cuộc thảo luận này chủ yếu là: đối với mô hình phương Tây, sử dụng tiếng Anh mới thực sự là cách tiết kiệm token; đối với mô hình nội địa, tiếng Trung hiện đại ổn định hơn văn ngôn. Hiệu ứng “tiết kiệm token” của văn ngôn có thể bị bù đắp ở cấp độ tokenizer, ngược lại có thể mang đến rủi ro giảm chất lượng suy luận. Tuy nhiên, hình chụp màn hình này thực sự đã đạt được một mục tiêu khác: biến một vấn đề chi phí AI khô khan thành một cuộc thảo luận thú vị mà ai cũng có thể tham gia.

Bài viết này có tiêu đề: 「用文言文和 AI 對話能省 Token 嗎？一個截圖引爆討論，工程師：其實用英文才是王道」 lần đầu xuất hiện trên 链新闻 ABMedia.