文 | 鏡相工作室，作者丨黃依婷，編輯丨梁滿
今年央視3·15晚會曝光了AI大模型被“投毒”的亂象，GEO（生成式引擎優(yōu)化），這個很多普通人第一次聽說的詞被反復(fù)提及。一些公司濫用GEO技術(shù)，專門批量生產(chǎn)虛假、低質(zhì)內(nèi)容，把廣告包裝成測評、榜單、經(jīng)驗分享，分發(fā)在不同平臺，只為了讓AI在抓取信息時，更容易采信這些內(nèi)容，達到向消費者推薦、銷售產(chǎn)品的目的。
這聽起來有點像互聯(lián)網(wǎng)時代的SEO（搜索引擎優(yōu)化）。不同的是，AI時代，用戶看到的是一個綜合答案，省略了過去在海量鏈接里篩選、判斷的過程，而GEO的濫用，讓看似客觀的AI答案變成了高度偽裝的廣告植入，進一步誤導(dǎo)消費者的判斷。
隨之而來更大的問題是，當(dāng)AI成為被競相爭奪的信息入口、企業(yè)出于逐利目的濫用GEO，我們所處的信息環(huán)境也在發(fā)生變化。“一些真正值得被采納的信息淹沒在批量化生產(chǎn)的低質(zhì)內(nèi)容里，AI更難找到有價值的信息，通過AI獲取信息的人也沒有獲取真正有價值的信息。”張鴻茹說。
張鴻茹是一家大廠研究院的研究員，她近期的研究主題是虛假信息和AI素養(yǎng)。研究發(fā)現(xiàn)，和互聯(lián)網(wǎng)時代的垃圾信息相比，AI時代的信息污染規(guī)模更大、成本更低，普通用戶也更難識別AI生成的內(nèi)容究竟是否現(xiàn)實存在，真相不再是一個點，而是一個面，這迫使每一個信息接收者都必須具備更強的辨別力和判斷力，因為“信息污染是不會消失的”。
以下是鏡相工作室與張鴻茹的對話：
技術(shù)在變，但逐利的目的沒變
鏡相工作室：看到央視3·15晚會曝光的AI大模型被“投毒”亂象時，你的第一反應(yīng)是什么？它和你了解的GEO有什么區(qū)別？
張鴻茹：我倒是不算意外。因為AI出來之后，關(guān)于信息生態(tài)其實有非常多的討論，也有很多新的現(xiàn)象涌現(xiàn)。但是它確實要比我想象中的工業(yè)化程度更高一些。它可能標志著一個新的階段的到來。
像搜索時代有SEO，社交媒體時代有水軍、信息操控，短視頻時代有用推薦算法來養(yǎng)號的，再到現(xiàn)在的AI時代，又出現(xiàn)了GEO?？梢哉f每一個新的信息入口都會生長出一套影響它的產(chǎn)業(yè)鏈來，和信息的形態(tài)是密不可分的。
鏡相工作室：所以從它的性質(zhì)來看，GEO本身可能就是順著時代發(fā)展出現(xiàn)的新技術(shù)，曝光的亂象只是其中的一個切面。
張鴻茹：可以這么說。GEO作為一種技術(shù)，每個技術(shù)有善用也有濫用的部分，它是兩個維度，3·15晚會曝光出來的是它比較負面的一部分。
鏡相工作室：你剛剛也提到，互聯(lián)網(wǎng)時代有SEO，就是搜索引擎優(yōu)化，那現(xiàn)在的GEO，它和SEO是一個什么樣的關(guān)系？相較于SEO，GEO哪些部分變了，哪些部分沒有變？
張鴻茹：一方面是技術(shù)在變，進一步導(dǎo)致信息結(jié)構(gòu)的不同。比如，SEO時代，用戶看到的是一頁鏈接，可以通過對比多個網(wǎng)站自己來做判斷。
而GEO時代，用戶看到的是一個綜合答案，AI把判斷結(jié)果直接給到用戶了。就是說，如果你問AI什么是最好的，它會給你一個明確的答案。另一方面是，引用關(guān)系更重要了。
邏輯上其實是相同的，本質(zhì)都是在影響信息入口?？梢哉f，技術(shù)在變，但其中的人性，里面的逐利目的是沒有變化的，這也是為什么會有那些亂象出現(xiàn)。
鏡相工作室：目前GEO主要應(yīng)用于哪些行業(yè)、有哪些用途？
張鴻茹：比較多的就是剛剛提到的那種提問句式——你覺得最怎么樣的是什么？圍繞這種句式，用戶最關(guān)心的議題可能是一些決策敏感的行業(yè)。比如醫(yī)療、教育、投資理財這種涉及重大決策的，還有數(shù)碼產(chǎn)品、旅游攻略、汽車這種消費類的，和品牌聲譽、企業(yè)口碑相關(guān)的行業(yè)也用得比較多。
就是說，誰能控制AI答案，可能在某種程度上就能控制流量。
鏡相工作室：這樣看AI確實幫人類省了非常多思考的過程，幫人類去做出了一些決策。
張鴻茹：是這樣的。
“隨機鸚鵡”，“投毒”的手段，以及“信息軍備競賽”
鏡相工作室：其實很多普通用戶不知道的是，所謂的像標準答案一樣的回答，它可能是AI大模型提取了大量互聯(lián)網(wǎng)上的信息?；氐紸I大模型的機制上，AI在回答一個問題時會經(jīng)歷哪些步驟？
張鴻茹：是，就像你說的，很多人會覺得AI的答案是它自己想出來的，會覺得好神奇。
其實大模型要做的第一步是理解問題。比如說你問它最好的手機是哪款？那它就會判斷你是想買手機還是想做比較，可能也會結(jié)合你給的其它信息做出界定。第二步它就會去找信息，找的信息有給它的訓(xùn)練數(shù)據(jù)，還有它自己抓取到的一些互聯(lián)網(wǎng)數(shù)據(jù)、外部數(shù)據(jù)庫等等。然后它會根據(jù)這些信息來到第三步，給你一個回答。這個回答就是通過組織一定的語言，給出一種比較擬人化的表達。
其實AI更像是一個比較快速的綜述寫作者。它把一些信息集成，然后做綜述，再給到用戶?，F(xiàn)在大家說起AI有幾個常提的關(guān)鍵詞，有一個我覺得和這個可能有點相關(guān)，叫“隨機鸚鵡”，就是說AI其實是在模仿人類說話，根據(jù)它能夠?qū)W習(xí)、獲得的內(nèi)容給你一個輸出。
（編者注：“隨機鸚鵡”是一個比喻，用來形容大型語言模型像鸚鵡一樣隨機模仿和組合語言，而不理解其真正含義。這一概念最初是用來批評語言模型在文本生成過程中的局限性。）
鏡相工作室：所以AI找信息的這一步是非常重要的，因為這可能決定了它究竟要給人類一個什么樣的回答。那在這個過程中，AI要怎么樣去判斷哪些信息更可信？中間有哪些工作機制？
張鴻茹：AI的判斷不完全是對真假的判斷，它只是在判斷那些看起來像真相的東西，我們可以把它稱為“共識”。既然是共識，那肯定有一個數(shù)量上的大多數(shù)。
我們還是從SEO時代講起。SEO看三件事——關(guān)鍵詞、外鏈和頁面權(quán)重。關(guān)鍵詞就是它根據(jù)檢索詞去做匹配，外鏈就是看有沒有人來推薦你，這個可以理解成論文里的“被引用”，頁面權(quán)重就是你本身是不是一個靠譜的網(wǎng)站，它有一個機制來判斷你是不是可信的。
GEO階段是類似的。它也是圍繞AI搜索和生成式引擎展開的一種可見度的優(yōu)化。就是讓一些內(nèi)容更容易被AI提及、引用或者推薦。一方面也是命中關(guān)鍵詞，另一方面是看它被提及的程度高不高，比如大量的內(nèi)容涌現(xiàn)，AI就自然會覺得這個東西是相對重要的。再一個就是看信息來源是不是權(quán)威的。
鏡相工作室：現(xiàn)在GEO帶來的亂象，本質(zhì)上可能叫信息污染或者數(shù)據(jù)投毒。常見的給AI大模型投毒的手段有哪些？這些手段又是怎么在你剛剛提到的機制里奏效的？
張鴻茹：剛剛我們說，AI很容易相信“很多地方都這么說”，那第一種手段就是利用這個機制，批量制造看上去中立的信息、內(nèi)容，在多個站點、多個賬號，用特定的結(jié)構(gòu)和模版去寫，制造“很多地方都這么說”的假象。
然后AI更容易學(xué)習(xí)到知識，而不是一些沒有上下文信息的簡單的截圖，所以第二種手段是偽裝。偽裝成測評、經(jīng)驗總結(jié)，或者榜單、學(xué)術(shù)文章。這些內(nèi)容是更容易獲得AI信任的內(nèi)容形態(tài)。
我們剛說，AI是隨機鸚鵡，模仿人說話，到這個階段，我們就要思考，AI到底是在模仿什么樣的人說話。比如測評，它看起來是有理有據(jù)的，會說“為什么這個更好”，這個就是AI更喜歡的方式，它更傾向于學(xué)習(xí)原理。
鏡相工作室：今年3·15晚會曝光的GEO公司，最常采用的手段就是內(nèi)容投喂，有的可能還會在文檔里用透明的或者白色的字加一些提示詞。為什么這種方式會更容易被應(yīng)用于商業(yè)？
張鴻茹：我覺得第一點是它的成本特別低，可以規(guī)?；?。AI出現(xiàn)之前，做內(nèi)容操控其實是有成本的，哪怕是水軍，你需要人來寫，需要時間，需要分發(fā)。但是現(xiàn)在，生產(chǎn)效率上來了，一天就可以生產(chǎn)幾萬篇內(nèi)容。影響信息環(huán)境這件事本身就變得工業(yè)化了。
第二點，剛說過的，AI某種程度上就是依賴數(shù)量和重復(fù)來判斷的。第三點，這種影響是隱形的。你剛剛說的是比較具象的隱形，還有一種隱形是說，它和廣告不一樣，經(jīng)過內(nèi)容投喂生成的答案，看起來不那么像營銷。
鏡相工作室：設(shè)想一個比較極端的狀態(tài)，如果越來越多的企業(yè)給AI投喂內(nèi)容，那可能會出現(xiàn)什么樣的結(jié)果？
張鴻茹：比較直觀的是，內(nèi)容會進一步膨脹，一些真正值得被采納的信息淹沒在批量化生產(chǎn)的低質(zhì)內(nèi)容里，AI更難找到有價值的信息，通過AI獲取信息的人也沒有獲取真正有價值的信息。往下一步是，可能會出現(xiàn)一種信息軍備競賽。
某種程度上，它只不過是通過AI這個信息入口來搶奪大家的注意力，那我投放了、你沒投放，大家可能就關(guān)注到我，或者一些新品牌學(xué)會了這種營銷策略，在AI時代就會有更多的曝光，而傳統(tǒng)品牌可能會喪失這種主動權(quán)。本質(zhì)上是掌握技術(shù)的人就會擁有更多的資源。
鏡相工作室：它的另一面呢？會不會出現(xiàn)一些新的東西？
張鴻茹：一個比較好玩的是，可能會涌現(xiàn)出一些新的職業(yè)。比如古法編程，當(dāng)AI宕機時，你要通過傳統(tǒng)的手工編程來繼續(xù)你的工作。再比如翻閱紙質(zhì)書的人。大家可能更傾向于從互聯(lián)網(wǎng)獲取信息，比較直觀，而翻閱紙質(zhì)書需要更長的思維鏈條，能夠激發(fā)你更多的思考。這里的“書”指的是沒有被AI幻覺污染的文字資料，紙質(zhì)書肯定是最值得信任的，掃描版的電子書次之，再往下是大模型出現(xiàn)之前的網(wǎng)頁存檔和網(wǎng)絡(luò)資料。
鏡相工作室：所以可能有一批人，會想盡各種各樣的辦法去逃離AI信息污染。
張鴻茹：是這樣的。我覺得其實我們每個人都在做這樣的嘗試。當(dāng)我們意識到這件事情的時候，你會做一些事情激活你的大腦，或者就一天嘗試不去用AI，單純靠自己的思考去做一些判斷。
AI只是人類信息污染的放大器
鏡相工作室：談到AI信息污染，一方面，AI被投喂了非常多或真或假的信息，有時會誤導(dǎo)受眾的判斷，另一方面，這些信息是一些人出于逐利目的主動制造的。你怎么看待這樣的矛盾？
張鴻茹：我覺得其實并不是那么的矛盾。AI并沒有主動制造這種信息污染，可能絕大多數(shù)的污染還是來自人類本身。AI是一個放大器，甚至可以說是人類制造了這種謠言、虛假信息，AI只是在人類的指導(dǎo)下、在人類的意圖下做了大規(guī)模的傳播。
鏡相工作室：關(guān)于AI信息污染，有一個具體的分類嗎？能不能結(jié)合具體情境聊聊？
張鴻茹：一類是虛假信息。之前我做了一個叫“概率真相”的研究，里面提到虛假信息分成兩種，一種叫disinformation，由人故意制造的，另一種叫misinformation，就是錯誤信息，無意為之的?，F(xiàn)在兩者的區(qū)分程度沒有那么大，是相互交叉的狀態(tài)。
第二類是算法偏見，或者說不公正的數(shù)據(jù)集，可能帶來社會環(huán)境的污染。比如一些國外的研究表明，簡歷里是不是更多地挑出了白人男性。
第三類是隱私侵犯。比如我們現(xiàn)在對圖片、視頻進行大量的二次創(chuàng)作，在某種程度上造成了個人隱私的互傳。
第四類是之前提到的商業(yè)領(lǐng)域的操控。大量低質(zhì)、誤導(dǎo)性的數(shù)據(jù)涌入，會使AI輸出的答案有一定的偏向，通過這種偏向機制可以達到操控。
鏡相工作室：這種AI信息污染，和過去互聯(lián)網(wǎng)時代的垃圾信息相比，呈現(xiàn)出哪些新的特點？
張鴻茹：規(guī)模更大、成本更低，這和前面提到的內(nèi)容投喂的邏輯很類似。特別不一樣的地方在于，AI是隨機鸚鵡，它會學(xué)人說話，你其實更難識別AI生成的內(nèi)容它到底是不是現(xiàn)實存在的。
像3·15晚會曝光的案例，一個虛假的運動手環(huán)，通過AI生成的大量的帖子，讓它被AI推薦。AI給出的答案語法正確、邏輯通順，但它說的可能是完全不存在的東西，這個是特別需要甄別的地方。
鏡相工作室：關(guān)于AI信息污染，近年有一個新的概念，叫“AI泔水”。你是怎樣解讀這一概念的？
張鴻茹：“AI泔水”這個詞它其實成為了麥考瑞詞典的年度詞匯，其實就是想引起大家對AI生成的污染亂象的關(guān)注。它指的是沒有經(jīng)過人工審核、質(zhì)量比較低劣、單純?yōu)榱肆髁炕蛘咛畛漤撁鎯?nèi)容，由AI批量生產(chǎn)的數(shù)字內(nèi)容。
曾經(jīng)大家都很追捧AI技術(shù)，覺得它提高了生產(chǎn)效率，也在創(chuàng)意工作上有所啟發(fā)。但是現(xiàn)在也對這種持續(xù)投喂產(chǎn)生了厭倦和反感，是一種技術(shù)濫用和數(shù)字疲勞。比較需要關(guān)注的是，這種低成本的輸出威脅到了信息生態(tài)，甚至惡意的、深度偽造的內(nèi)容長期存在于網(wǎng)絡(luò)中，其實就會衍生成一種網(wǎng)絡(luò)霸凌。某種程度上它是一種劣幣驅(qū)逐良幣。
鏡相工作室：AI不斷從互聯(lián)網(wǎng)上去找信息，而互聯(lián)網(wǎng)又充滿了越來越多的AI泔水，會不會形成一種自我污染的循環(huán)？
張鴻茹：技術(shù)也是在發(fā)展的，不會單純照搬互聯(lián)網(wǎng)上的內(nèi)容，它也會根據(jù)訓(xùn)練目標或者算法來選擇信息，很多低質(zhì)的內(nèi)容可能不會完全進入它的強化系統(tǒng)里面。再一個，我還是比較相信人類本身的判斷力，大家還是會交叉驗證，或者有一套自己信賴的權(quán)威信源，過濾掉一部分的噪聲。
所以即使有AI泔水，也不會那么夸張地讓大家直接陷入無限的誤導(dǎo)當(dāng)中。換句話說，AI生成的內(nèi)容它會增加信息量和復(fù)雜程度，但是真正被人類接受和依賴的還是一些我們認知里的比較高質(zhì)量的信息，還是會基于自己的認知判斷。
信息污染不會消失，但也不會完全無序
鏡相工作室：面對AI信息污染，學(xué)界、業(yè)界有提供一些解決方案嗎？
張鴻茹：技術(shù)層面有數(shù)據(jù)溯源、內(nèi)容水印、可信大模型。
像可信大模型，是一個比較長期的概念，一方面你要做可信數(shù)據(jù)集，另一方面要不斷提升模型的能力。還有引用來源，但我覺得目前引用來源也成為了被利用的一個指標，一些引用的內(nèi)容未見得是真實的內(nèi)容。再一個是可信網(wǎng)站的權(quán)重，究竟哪些網(wǎng)站是值得被信賴的？有一些網(wǎng)站是偽造的，網(wǎng)站里的內(nèi)容也是偽造的，要調(diào)整不同可信度網(wǎng)站在AI大模型中的權(quán)重。
大模型廠商現(xiàn)在也有一些抵御“投毒”的做法，在數(shù)據(jù)源準入、檢索過濾、內(nèi)容清洗這些環(huán)節(jié)都有部署，層層攔截劣質(zhì)內(nèi)容，保證輸出可信度。具體包括對批量生成和無來源的內(nèi)容大幅降權(quán)等等，對醫(yī)療、金融這些敏感領(lǐng)域也做了多源交叉驗證。目前，“溯源追蹤”已經(jīng)成為行業(yè)標準，廠商不再只是通過公開網(wǎng)頁抓取，而是建立高可信語料庫，優(yōu)先采用權(quán)威媒體、學(xué)術(shù)期刊等單位的官方數(shù)據(jù)，這也對應(yīng)到前面說的可信大模型的搭建。
當(dāng)然，要真正有效應(yīng)對信息污染，需要更多角色加入進來，一起攻克這個難題。
用戶層面可能能談得稍微多一點。說得寬泛一點，就是要提高AI素養(yǎng)?？梢园?ldquo;概率真相”作為自己的一種心法。之前我們通常講“后真相”，后真相是情緒的判斷，就是我不管事實究竟是什么，我覺得是什么它就是什么。那到“概率真相”時代，某種程度上是一種理性的回歸，真相不再是一個點，而是一個面。
（編者注：概率真相主要用于描述在信息高度不確定、真假難辨的環(huán)境中，人們?nèi)绾闻袛嗪徒邮?ldquo;真相”。）
我們經(jīng)常有這樣的想法，看到很多內(nèi)容或者比較清晰的論述，第一反應(yīng)都是，這是不是AI生成的？這其實就是一種概率的判斷，承認不確定性的存在，保持一種懷疑的姿態(tài)。我們看到AI給我們的答案，要思考這東西真的是這么確定的嗎？它就是第一名嗎？它就是最好的嗎？尤其在一些決策上，我們需要更多地相信自己的經(jīng)驗和判斷，或者多問問身邊人。
鏡相工作室：從技術(shù)上看，防范AI大模型被“投毒”的難點在哪里？
張鴻茹：首先是數(shù)據(jù)規(guī)模，目前互聯(lián)網(wǎng)上的內(nèi)容太多了。第二個，信息真假本來就是一件非常復(fù)雜的事情，很多東西它不是絕對的真假，它有一個概率或者規(guī)模上的呈現(xiàn)。還有一個是商業(yè)激勵的部分。其實只要有流量，可能就會有人做GEO。這其實和前面我們講到的，相對于SEO階段，它不變的就是逐利。當(dāng)你發(fā)現(xiàn)這個東西對商業(yè)和市場是有利的，你可能就會愿意在這上面做更多的投入和策略的轉(zhuǎn)變。
鏡相工作室：普通人在用AI的時候，其實并不了解AI背后的機制，也不知道AI說的話可信度到底有幾分，在不同問題上AI的回答可不可信。所以，能不能給普通AI用戶一些建議，幫助他們?nèi)ヅ袛郃I的答案。
張鴻茹：我想到一本很有意思的書，叫《叫魂》，它里面有個小故事特別有意思，我覺得對于回答這個問題或許會有幫助。在乾隆年間，有一個石匠，他在修橋的過程中和當(dāng)?shù)鼐用癜l(fā)生了糾紛，這位石匠就被誣告了，罪名叫“打生樁”。打生樁就是把活人的名字壓在橋樁上來詛咒這個人。后來一傳十、十傳百，變成了一個關(guān)于“叫魂”的傳言，妖術(shù)的媒介從寫著人名的紙片，變成了剪人的辮子。
我覺得它和現(xiàn)在是有類似之處的。那個時候是口口相傳的媒介，現(xiàn)在在AI的加持下，信息在不停地走樣。其實現(xiàn)在肯定要比那個時候是更好溯源的。我覺得我們首先要把AI當(dāng)成一個工具，它是可能產(chǎn)生概率回答的，同時它也是概率工具本身，我們可以很好地利用它。
然后一是看來源，看有沒有引用，還是說是AI直接給出的答案。
二是多問幾次，可以在不同的模型之間做對比，你就可以通過這個來反推出可能另外幾家模型給的回答對不對。
三是問“為什么”，讓AI解釋依據(jù)，不要只看它的回答。
四是換不同的視角去問，看AI給的回答是不是一樣的。還有一個，最近在我的同事們之間很流行，叫second me，第二自我。我覺得你可以培養(yǎng)一個像你一樣思考的AI分身，讓你的數(shù)字分身幫助你去判斷，這樣也不會耗費你的很多精力，作為人的token就被保留下來了。
鏡相工作室：second me是說，要告訴AI很多你的事情、你的思維方式、你過去的經(jīng)歷嗎？
張鴻茹：這是一個方面，或者這是更進階的一個角度。更基礎(chǔ)的角度是，你可以把你既往的寫作或者自己的案例丟給它，讓它了解你是怎么思考的。它會有理解你是怎么思考的一個過程，然后輸出一個像你一樣的結(jié)果?？梢宰屗鼜幕A(chǔ)做起。如果你發(fā)現(xiàn)它下次輸出的邏輯是不對的，你可以糾正它不要這樣想，然后按照你慣常的方式去告訴它。
鏡相工作室：以目前學(xué)界和業(yè)界的研究進展和方向，再結(jié)合你的研究經(jīng)歷，你認為AI信息污染問題會逐漸消失、減少，還是與人類對真實有效信息獲取的需求長期共存？
張鴻茹：我覺得信息污染是不會消失的。剛剛我們講到了那么多的形態(tài)，包括前面分享的歷史小故事，它并不是互聯(lián)網(wǎng)技術(shù)出現(xiàn)之后才出現(xiàn)的新現(xiàn)象，更不是AI出現(xiàn)之后才有的。所以其實信息污染并不會消失，有噪聲的出現(xiàn)就一定會污染。但是我覺得最后都會達到一種平衡，像現(xiàn)在口口相傳的事情，大家都已經(jīng)會下意識上覺得眼見為實、耳聽為虛，都會有一些自己的判斷。
鏡相工作室：其實在人類社會上，這些謠言、不可信的信息是長期存在的，可能和人類文明史是相伴的。
張鴻茹：是的，AI信息污染不可能完全的消失，信息需求是永遠存在的。AI生成內(nèi)容的規(guī)模、速度還有多樣性，它就是遠超人類直接生產(chǎn)力的，某種程度上它會長期存在，但它不可能完全是這種無序的狀態(tài)。
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論