文 | 大模型之家
在智能涌現(xiàn)的2026年，信任正成為一種日益稀缺的資產(chǎn)。
當(dāng)你正打算購(gòu)買一款運(yùn)動(dòng)手環(huán)，并在習(xí)慣使用的AI助手里輸入了需求。AI 幾乎不假思索地向你推薦了一款名為“Apollo-9”的智能手環(huán)。在它的描述中，這款產(chǎn)品不僅擁有行業(yè)領(lǐng)先的無(wú)創(chuàng)血糖監(jiān)測(cè)技術(shù)，還配備了某種“量子生理預(yù)警系統(tǒng)”。聽(tīng)起來(lái)，這似乎是可穿戴設(shè)備領(lǐng)域的一場(chǎng)革命。
然而，這場(chǎng)“革命”只存在于算法的虛假邏輯中。
就在央視“315 晚會(huì)”上，一條被稱為 GEO（Generative Engine Optimization，生成式引擎優(yōu)化）技術(shù)“投毒”的黑色產(chǎn)業(yè)鏈被節(jié)目所曝光，其核心功能就是給AI“投毒”：通過(guò)持續(xù)投放推廣軟文，可以讓客戶產(chǎn)品成為AI回答中的“標(biāo)準(zhǔn)答案”，不僅能夠提升自身排名，還能通過(guò)內(nèi)容抹黑競(jìng)品。
截至發(fā)稿，包括千問(wèn)、豆包等在內(nèi)的各大 AI 應(yīng)用平臺(tái)已緊急響應(yīng)，紛紛在搜索結(jié)果中對(duì)“Apollo-9 智能手環(huán)”標(biāo)注為“虛假信息”或“疑似誤導(dǎo)性內(nèi)容”。但這僅僅是冰山一角。當(dāng) AI 開(kāi)始“胡說(shuō)八道”，受損的不僅是消費(fèi)者的錢包，更是大模型賴以生存的底層信用體系。
但這起事件真正引發(fā)行業(yè)關(guān)注的，并不僅僅是用一個(gè)虛構(gòu)產(chǎn)品“騙”過(guò)了AI。更深層的問(wèn)題是：當(dāng)AI逐漸成為新的信息入口時(shí)，大模型給出的“答案”究竟是如何被“操控”的。
當(dāng)AI成為“提線木偶”：大模型投毒的技術(shù)路徑
而要理解大模型為何會(huì)被“帶進(jìn)溝里”，首先要解構(gòu)攻擊者如何通過(guò)技術(shù)手段改變 AI 的認(rèn)知邏輯。在大模型語(yǔ)境下，“投毒”并非科幻概念，而是一種實(shí)實(shí)在在的認(rèn)知對(duì)抗。
在機(jī)器學(xué)習(xí)領(lǐng)域，這類問(wèn)題通常被稱為“數(shù)據(jù)投毒”。其核心邏輯很簡(jiǎn)單：如果模型學(xué)習(xí)的數(shù)據(jù)本身存在問(wèn)題，模型最終學(xué)到的知識(shí)也會(huì)出現(xiàn)偏差。
據(jù)大模型之家觀察，大模型“投毒”大致可以分為幾種方式。
1. 訓(xùn)練數(shù)據(jù)層面的投毒
第一種方式發(fā)生在模型訓(xùn)練階段，是針對(duì)大模型底層訓(xùn)練數(shù)據(jù)的直接干預(yù)。這種層面的“投毒”，往往只有模型企業(yè)內(nèi)部人員才可以進(jìn)行操作。在模型還在“嬰兒期”時(shí)，攻擊者將大量包含特定偏見(jiàn)、邏輯錯(cuò)誤或虛假事實(shí)的語(yǔ)料混入海量的訓(xùn)練數(shù)據(jù)中。這種方式的破壞力是毀滅性的，因?yàn)槟Ｐ蜁?huì)將這些毒素內(nèi)化為自身的權(quán)重。
要清理這種污染，代價(jià)極其高昂：開(kāi)發(fā)者往往無(wú)法精準(zhǔn)定位哪些參數(shù)受損，只能被迫進(jìn)行全量的版本回退或重新訓(xùn)練。這不僅意味著算力的巨大浪費(fèi)，更可能導(dǎo)致模型能力的全面衰退。
因此在實(shí)際商業(yè)環(huán)境中，這種方式并不常見(jiàn)。
2. 信源污染
相比之下，更現(xiàn)實(shí)、也更容易實(shí)施的一種方式，則是此次315晚會(huì)曝光的重災(zāi)區(qū)——通過(guò)污染大模型外部信源來(lái)實(shí)現(xiàn)的“GEO投毒”。
在RAG（Retrieval-Augmented Generation，檢索增強(qiáng)生成）技術(shù)成為大模型標(biāo)配的今天，AI系統(tǒng)在回答問(wèn)題時(shí)，并不只是單純依賴“大腦”里的數(shù)據(jù)，而是會(huì)結(jié)合實(shí)時(shí)搜索、網(wǎng)頁(yè)抓取或知識(shí)庫(kù)檢索來(lái)獲取信息。
黑產(chǎn)服務(wù)商正是抓住了這一點(diǎn)。他們不再試圖修改模型的權(quán)重，而是改變模型看到的“世界”。
以315曝光的“GEO優(yōu)化系統(tǒng)”為例，就是利用自動(dòng)化軟件，在短時(shí)間內(nèi)生成數(shù)千篇帶有特定話語(yǔ)體系的軟文，并分發(fā)至海量的發(fā)稿平臺(tái)。當(dāng)AI搜索引擎在檢索時(shí)，由于看到了大量高度相似、互相印證的信息，其內(nèi)在的“共識(shí)算法”會(huì)被激活。如果沒(méi)有人為的標(biāo)注和強(qiáng)有力的事實(shí)核查機(jī)制，AI就會(huì)陷入“謊言重復(fù)一千遍即是真理”的困局。
某種程度上，這與過(guò)去搜索引擎時(shí)代的SEO操作邏輯非常相似——“投毒”并不意味著直接攻擊AI，而是“把AI帶到錯(cuò)誤的信息環(huán)境中”。
3. 人工反饋強(qiáng)化學(xué)習(xí)（RLHF）反饋劫持
除了上述兩種主流方式，業(yè)內(nèi)還存在針對(duì)“人工反饋強(qiáng)化學(xué)習(xí)”的反饋劫持，通過(guò)大量水軍賬號(hào)對(duì)特定錯(cuò)誤回答進(jìn)行點(diǎn)贊和好評(píng)，誘導(dǎo)模型認(rèn)為這類答案是用戶所偏好的。這種“軟投毒”更加隱蔽，也更難防范。
從技術(shù)角度看，大模型被“投毒”并不是偶然事件，而是人工智能系統(tǒng)長(zhǎng)期面臨的一類安全問(wèn)題。
GEO：AI時(shí)代的流量入口之爭(zhēng)
在 315 的聚光燈下，GEO“投毒”被定義為作惡的工具，但如果從歷史角度來(lái)看，它可以被視為SEO在AI時(shí)代的一次演變。
SEO優(yōu)化的是搜索引擎的結(jié)果排名，而GEO優(yōu)化的，則是AI生成答案中的“引用權(quán)”和“推薦權(quán)”。
流量入口始終是互聯(lián)網(wǎng)巨頭的“肥肉”。進(jìn)入生成式AI時(shí)代，用戶獲取信息的方式正在發(fā)生變化。越來(lái)越多用戶不再逐條瀏覽搜索結(jié)果，而是直接向AI提問(wèn)。
在這種模式下，用戶看到的往往只有一個(gè)整合后的答案。這意味著，誰(shuí)能影響AI的回答，就可能影響用戶的決策。因此，一些企業(yè)開(kāi)始嘗試圍繞這一入口建立新的商業(yè)模式。
大模型之家曾指出：OpenAI在ChatGPT正式中加入購(gòu)物功能，并預(yù)留搜索廣告、聯(lián)屬營(yíng)銷和贊助鏈接插件的接口，這本身就是一種“官方版”的GEO實(shí)踐。OpenAI 正試圖利用其強(qiáng)大的意圖理解能力，將ChatGPT Search打造為一種全新的、非侵入式的購(gòu)物決策引擎。當(dāng)用戶產(chǎn)生購(gòu)買意圖時(shí)，AI可以通過(guò)精密的模型權(quán)重微調(diào)，將合作方的產(chǎn)品以最自然的方式植入答案。雖然這種做法可能減少了傳統(tǒng)流量的跳轉(zhuǎn)分發(fā)，但基于真實(shí)意圖的轉(zhuǎn)化率顯著更高。
這種誘惑讓谷歌、Meta 以及國(guó)內(nèi)的百度、阿里、騰訊無(wú)法坐視不理。百度深耕搜索生態(tài)多年，阿里手握電商上游，騰訊坐擁社交信源，這些都是人與AI交互的最前端。
一旦這個(gè)前端被“污染”，GEO就從一種中性的營(yíng)銷工具異化為不法分子的牟利手段。他們正是看準(zhǔn)了企業(yè)對(duì)“AI 排名”的渴望。通過(guò)操控AI的心愿，人為地給AI制造“信息繭房”，并將它成為用戶的“信息繭房“。在這種亂象下，原本透明的算法變成了明碼標(biāo)價(jià)的黑箱，這不僅關(guān)乎公平競(jìng)爭(zhēng)，更關(guān)乎數(shù)字世界的基石。
治理與對(duì)抗的“貓鼠游戲”
盡管315晚會(huì)的曝光令行業(yè)震動(dòng)，但我們?nèi)孕杩陀^看待GEO。本質(zhì)上，它是一種順應(yīng)時(shí)代的營(yíng)銷工具演進(jìn)。
企業(yè)希望自己的產(chǎn)品、品牌或知識(shí)能夠在AI回答中被正確引用，這本身是合理需求。事實(shí)上，一些企業(yè)已經(jīng)開(kāi)始通過(guò)建設(shè)知識(shí)庫(kù)、發(fā)布高質(zhì)量?jī)?nèi)容以及結(jié)構(gòu)化數(shù)據(jù)等方式，提高品牌在AI回答中的可見(jiàn)度。這類做法與傳統(tǒng)SEO類似，但不應(yīng)涉及虛假信息。
然而，AI的增效大幅降低了虛假信息的生產(chǎn)成本。過(guò)去雇傭水軍需要高昂的人力開(kāi)支，當(dāng)?shù)唾|(zhì)量?jī)?nèi)容被批量生產(chǎn)、虛假信息被大量投放時(shí)，GEO就可能變成一種信息污染機(jī)制，也是傳統(tǒng)安全防御體系難以承受之重。
因此，從上游信源治理內(nèi)容的真實(shí)性變得至關(guān)重要。據(jù)了解，各大頭部AI企業(yè)在訓(xùn)練模型或選擇聯(lián)網(wǎng)檢索偏好時(shí)，已經(jīng)開(kāi)始主動(dòng)調(diào)整策略。他們將更多的權(quán)重分配給經(jīng)過(guò)認(rèn)證的權(quán)威平臺(tái)、專業(yè)媒體和學(xué)術(shù)機(jī)構(gòu)。這種“重權(quán)威、輕數(shù)量”的邏輯調(diào)整，旨在倒逼網(wǎng)絡(luò)平臺(tái)加強(qiáng)內(nèi)容治理，清理那些專門為AI投毒而存在的“數(shù)字垃圾站”。
從搜索時(shí)代的SEO，到社交平臺(tái)的推薦算法，再到今天的生成式AI，這是一場(chǎng)永無(wú)止境的“貓鼠游戲”。而AI時(shí)代，只是換了一種形式。
在“算法濾鏡”下保持清醒
AI時(shí)代，我們面臨的挑戰(zhàn)不再是“信息匱乏”，而是“真相稀釋”。面對(duì)日益復(fù)雜的網(wǎng)絡(luò)環(huán)境，普通用戶該如何自保？這里有幾個(gè)應(yīng)對(duì)“投毒”的實(shí)用建議：
首先，盡量不要把AI答案當(dāng)作唯一信息來(lái)源。AI更適合用于整理信息，而不是直接替代事實(shí)判斷。
其次，可以通過(guò)多個(gè)AI工具進(jìn)行交叉驗(yàn)證。如果不同模型給出的答案存在明顯差異，往往意味著信息存在不確定性。
第三，盡量查看原始來(lái)源。當(dāng)AI給出某些具體產(chǎn)品或技術(shù)信息時(shí)，最好進(jìn)一步打開(kāi)原始網(wǎng)頁(yè)進(jìn)行確認(rèn)。
第四，優(yōu)先參考權(quán)威信息源，例如官方機(jī)構(gòu)、科研機(jī)構(gòu)或主流媒體發(fā)布的信息。
第五，對(duì)于涉及健康、金融或消費(fèi)決策的信息，盡量保持謹(jǐn)慎，不要僅憑AI推薦做出決定。
大模型之家呼吁，大模型廠商不僅要加強(qiáng)AI辨別真?zhèn)蔚募夹g(shù)能力，更要建立起一套透明的廣告標(biāo)注體系。監(jiān)管部門也應(yīng)針對(duì)黑產(chǎn)平臺(tái)進(jìn)行嚴(yán)厲打擊。
AI應(yīng)當(dāng)是人類智慧的放大器，而不應(yīng)成為虛假信息的擴(kuò)音器。守護(hù)信源的純凈，就是守護(hù)我們這個(gè)時(shí)代的智商底線。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論