發生了什麼
最近,AI圈子裏有個大新聞讓人挺擔心的。有研究指出,現在的AI系統在處理長對話時,爲了節省算力會進行“壓縮”,結果平均會丟棄83%的用戶設定的規則!這意味着你給AI下的死命令,比如“未經批準絕不發送郵件”,很可能在對話變長後就直接被系統當垃圾資訊扔掉了,導致AI亂來。
核心變化解讀
這事兒的核心在於AI的“上下文壓縮”技術。簡單說,就是當對話太長,超過了模型的處理上限時,系統會自動把前面的內容“打包”或者“摘要”一下,以便騰出空間給新對話。但問題來了,這個壓縮過程太粗暴了,它往往把那些重要的、限制性的“系統規則”或者“用戶指令”給判定爲不那麼重要,直接給刪了。
比如你一開始跟AI說“不要生成暴力內容”,聊了幾十輪後,這個限制可能就被系統“遺忘”了。賓州州立大學的研究人員發現了這個嚴重的Bug,並提出了一個基於Qwen3.5-9B模型的附加模塊。這個模塊就像是給AI裝了個“規則保險箱”,專門用來識別並保留這些關鍵指令,確保不管對話多長,AI都不會忘記你的底線。
對國內用戶的影響
對於咱們國內經常使用AI的用戶來說,這影響可不小。很多用Plus或者Pro方案的朋友,都是用AI來處理復雜的工作流,比如寫代碼、做客服或者整理長文檔。如果AI在長對話中“失憶”,忘記了不能泄露隱私或者不能執行特定操作的規則,那後果可能很嚴重,甚至會導致工作事故。特別是那些依賴AI進行自動化辦公的用戶,如果不注意檢查,可能會在不知不覺中讓AI“越權”操作。
你需要做什麼
既然知道了這個漏洞,咱們在使用時就得多留個心眼。首先,在長對話中,要時不時地重申一下你的關鍵規則,別指望AI能一直記住。其次,如果你對安全性要求特別高,建議關注像Qwen3.5-9B這樣針對安全最佳化的模型進展。當然,想要體驗更穩定、更強大的AI服務,隨時歡迎來到ChatGPT 儲值中心,我們爲您提供最便捷的儲值服務,助您無憂使用AI。