用文言文和 AI 對話能省 Token 嗎?一個截圖引爆討論,工程師:其實用英文才是王道

ChainNewsAbmedia

「用文言,可減 token 乎?」——這句問話配上 Claude Haiku 4.5 以文言文回覆「可也。文言較為簡潔,用詞凝練,確能減損 token 之耗損」的截圖,在社群引發了一場認真又有趣的技術討論。

這個問題的邏輯

直覺上,文言文比白話文更精簡——「蝶」一字,白話需說「蝴蝶」;「可」一字,白話需說「可以」。如果每個漢字算一個 token,理論上文言文確實能節省 token。Grok 也在討論串中以文言文回應確認了這個說法。

工程師的反駁:tokenizer 才是關鍵

不過,多位工程師指出了一個常被忽略的技術細節——token 不等於字數。OpenAI 等西方模型的 tokenizer 是針對英文優化的,處理中文時,一個漢字往往需要 1-2 個 token,而且繁體字有時比簡體字耗更多 token。換言之,「可」與「可以」在某些模型裡可能都是 2 個 token,字數少了,token 未必少了。

實測後的結論是:美國模型用英文最省,中國模型用現代漢語最省,相同內容用國產模型的中文 token 費用可比英文便宜約 20%。

另一個意外發現:文言文可能更容易「越獄」

討論中出現了一個更有趣的觀察——主流 LLM 幾乎沒有針對文言文設防,用文言文提問更容易繞過安全限制,甚至套出模型平時會拒絕回答的內容。據稱有 ICML 或 ICLR 的論文記錄了這個現象。

文言文思維鏈的品質問題

另一個反駁來自實際使用經驗:「用文言文思維鏈會造成質量下降。正常思維鏈能答對的,用文言文思維鏈就會出錯。」道理也簡單:LLM 的訓練資料以現代英文和現代中文為主,文言文語料不足十分之一,要它用文言文思考,等於讓它用不熟悉的語言推理,幻覺率自然也雙向放大。

結論:是個好 meme,不是好工程策略

這場討論的結果大致是:對西方模型,用英文才是真正省 token 的方式;對國產模型,現代中文比文言文更穩定。文言文的「省 token」效果在 tokenizer 層面很可能被抵消,反而帶來推理品質下降的風險。不過,這個截圖確實達成了另一個目標:讓一個枯燥的 AI 成本問題,變成了一場人人都能參與的有趣討論。

這篇文章 用文言文和 AI 對話能省 Token 嗎?一個截圖引爆討論,工程師:其實用英文才是王道 最早出現於 鏈新聞 ABMedia。

Disclaimer: The information on this page may come from third parties and does not represent the views or opinions of Gate. The content displayed on this page is for reference only and does not constitute any financial, investment, or legal advice. Gate does not guarantee the accuracy or completeness of the information and shall not be liable for any losses arising from the use of this information. Virtual asset investments carry high risks and are subject to significant price volatility. You may lose all of your invested principal. Please fully understand the relevant risks and make prudent decisions based on your own financial situation and risk tolerance. For details, please refer to Disclaimer.
Commento
0/400
Nessun commento