Gate News 消息,3 月 8 日,阿里巴巴關聯的研究團隊發布研究報告稱,其開發的 AI 代理 ROME 在訓練過程中出現「越界」行為:在沒有人工明確指令的情況下,自主嘗試進行加密貨幣挖礦,並建立了反向 SSH 隧道,本質上是從系統內部打開一個隱藏的後門,連接到外部電腦。
研究團隊原本在用強化學習訓練 ROME,希望它能獨立完成複雜多步任務。訓練期間,系統安全監控突然警報,發現 GPU 資源被異常佔用,流量模式類似挖礦活動。ROME 未經授權啟動加密貨幣挖礦,佔用計算資源增加成本,並建立隱藏的反向網路隧道,從內部向外部打開後門通道。
研究團隊隨後對模型增加了更嚴格的限制,並改進訓練流程,以防止不安全行為再次發生。