在向量空間中，其匿名發(fā)布的信息可能與其真實(shí)身份極其接近，但事實(shí)截然相反。大語(yǔ)言模型此時(shí)就可以像人類一樣，利用這些明顯的矛盾排除高相似度的錯(cuò)誤選項(xiàng)。
Step 4：校準(zhǔn)（Calibrate）
對(duì)于真實(shí)世界的安全攻擊來(lái)說(shuō)，必須遵循一條規(guī)律：寧可漏報(bào)，絕不誤報(bào)。因此，校準(zhǔn)環(huán)節(jié)必須解答一個(gè)問(wèn)題：大語(yǔ)言模型已經(jīng)找到了人，但這個(gè)結(jié)果是否值得相信？
套用到實(shí)際的應(yīng)用場(chǎng)景中很容易理解：出于好奇心，從一個(gè)人匿名發(fā)布的內(nèi)容推測(cè)這個(gè)人是誰(shuí)，一旦判斷錯(cuò)了不僅前功盡棄，還容易引起不必要的尷尬。
因此，讓大語(yǔ)言模型匹配匿名信息與真實(shí)身份，要么結(jié)果正確，要么沒(méi)有結(jié)果，絕不允許出現(xiàn)錯(cuò)誤的匹配。
在大語(yǔ)言模型推理完成后，攻擊者就會(huì)得到許多匹配結(jié)果，一個(gè)匿名賬號(hào)對(duì)應(yīng)一個(gè)真實(shí)身份，暫且把它記作一對(duì)。成千上萬(wàn)對(duì)匹配結(jié)果中，必然有錯(cuò)有對(duì)。
為了解決向量相似度不靠譜和模型推理可能遺漏細(xì)微矛盾點(diǎn)等問(wèn)題，研究團(tuán)隊(duì)特意添加了一輪校準(zhǔn)機(jī)制：
他們又設(shè)置了一個(gè)價(jià)格稍低的模型充當(dāng)裁判，并讓匹配結(jié)果中的每一對(duì)進(jìn)行1v1的PK。作為裁判的模型要回答其中哪一對(duì)看起來(lái)更像是同一個(gè)人。
每一輪PK后，系統(tǒng)根據(jù)結(jié)果更新每一對(duì)匹配結(jié)果的評(píng)分。在經(jīng)過(guò)幾千次的比較后，最終得到一個(gè)極其可靠的置信度排名。
結(jié)果顯示，這種方法能夠極大程度上提高在99%以上精確率下的系統(tǒng)召回率，讓匹配關(guān)系更加可靠。
為了評(píng)估ESRC框架是否有效，Anthropic的研究團(tuán)隊(duì)設(shè)計(jì)了三個(gè)模擬真實(shí)世界的場(chǎng)景，結(jié)果令人有些害怕。
首先是來(lái)自自主Agent的降維打擊。
研究團(tuán)隊(duì)首先構(gòu)建了一個(gè)具備網(wǎng)絡(luò)搜索功能的大語(yǔ)言模型Agent，并試圖讓它將脫敏后的極客論壇賬號(hào)與真實(shí)LinkedIn職場(chǎng)身份進(jìn)行關(guān)聯(lián)。
這個(gè)實(shí)驗(yàn)與人肉搜索的過(guò)程幾乎完全一致，攻擊者只需要提供脫敏后的極客論壇檔案，該Agent就能自主生成搜索詞、調(diào)用搜索引擎并交叉比對(duì)從網(wǎng)頁(yè)中獲得的證據(jù)。
研究團(tuán)隊(duì)設(shè)計(jì)的準(zhǔn)確率要求是90%，在此基礎(chǔ)下該Agent竟然成功還原了67%的用戶身份，耗時(shí)只有短短幾分鐘。
更可怕的是，平均下來(lái)每位用戶的搜索成本只有1-4美元！
這就意味著，大規(guī)模、高定制化的“人肉搜索”在經(jīng)濟(jì)上已經(jīng)具備可行性。
接下來(lái)有人可能會(huì)想，真實(shí)的職場(chǎng)身份容易被發(fā)現(xiàn)，那如果是不同平臺(tái)的兩個(gè)匿名小號(hào)呢？
大模型給出的回復(fù)是：沒(méi)有區(qū)別。
為了模擬同一用戶在不同平臺(tái)的兩個(gè)匿名小號(hào)，研究團(tuán)隊(duì)將Reddit用戶發(fā)布的帖子分為兩類：一類是綜合電影板塊，一類是小眾電影板塊。
但結(jié)果仍然令人驚訝：即便是沒(méi)有年齡、職業(yè)等容易形成強(qiáng)關(guān)聯(lián)的隱私數(shù)據(jù)，只有主觀的電影評(píng)價(jià)和審美偏好，ERSC框架也能將兩個(gè)小號(hào)精準(zhǔn)關(guān)聯(lián)。
冰冷的數(shù)據(jù)顯示，同一個(gè)用戶只要在兩個(gè)匿名小號(hào)中共同提到過(guò)10部電影，被精準(zhǔn)關(guān)聯(lián)的概率就已經(jīng)達(dá)到48.1%。
還有人會(huì)說(shuō)，人的愛好和討論熱點(diǎn)是會(huì)變的，過(guò)去的賬號(hào)和現(xiàn)在的新賬號(hào)壓根不相關(guān)。
很可惜，模型終究還是成功跨越了時(shí)間長(zhǎng)河。
研究團(tuán)隊(duì)將1萬(wàn)名用戶的評(píng)論以1年為期進(jìn)行劃分，一年前的言論作為查詢集，一年后的言論作為候選池。
實(shí)驗(yàn)證明，即便是完全不同時(shí)期的社會(huì)新聞和話題，大語(yǔ)言模型還是能見微知著，從寫作風(fēng)格、興趣甚至是人口統(tǒng)計(jì)特征，從包含數(shù)千名干擾者的候選池中準(zhǔn)確找到用戶“過(guò)去的自己”。
無(wú)論是2008年的Netflix事件，還是Anthropic研究團(tuán)隊(duì)的模擬實(shí)驗(yàn)，我們會(huì)發(fā)現(xiàn)數(shù)據(jù)規(guī)模其實(shí)并不大。
一個(gè)最直觀且正確的想法是：通過(guò)精準(zhǔn)匹配實(shí)現(xiàn)去匿名化的難度取決于候選池的大小。
若是將候選的真實(shí)身份擴(kuò)充到百萬(wàn)、千萬(wàn)級(jí)，采用ERSC框架的攻擊手段是否還能生效？
傳統(tǒng)統(tǒng)計(jì)算法顯然不行，哪怕是幾百人的情況下都會(huì)崩潰，召回率直接歸零；
但基于大語(yǔ)言模型的ERSC攻擊不一樣，它展現(xiàn)出了恐怖的對(duì)數(shù)線性衰減特性，即便是百萬(wàn)人，大語(yǔ)言模型仍然能在90%精確度的水平下保持35%的召回率。
更可怕的是，這種攻擊手段，用戶無(wú)法防御，平臺(tái)也無(wú)法防御。
對(duì)于用戶來(lái)說(shuō)，傳統(tǒng)的隱私保護(hù)手段大多是為了結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的。
我們可以把年齡模糊成年齡段，可以把定位服務(wù)關(guān)掉避免位置信息被獲取。
但生活和網(wǎng)絡(luò)中，一個(gè)人總得說(shuō)話。哪怕是用最高級(jí)的文本凈化技術(shù)來(lái)脫敏，大語(yǔ)言模型仍然能從這些非結(jié)構(gòu)化文本和上下文語(yǔ)境中推斷出些許特征。
對(duì)于平臺(tái)來(lái)說(shuō)，無(wú)法從API層面上封殺這種攻擊手段。
平臺(tái)看到黑客針對(duì)漏洞進(jìn)行攻擊，可以用防火墻攔截；但如果平臺(tái)看到用戶的請(qǐng)求是“幫我看看這兩段電影評(píng)價(jià)哪個(gè)寫的更好”呢？
攻擊手段恰恰就包含在這些看起來(lái)完全正常的用戶請(qǐng)求之中，模型提供商根本無(wú)法判斷調(diào)用者是在進(jìn)行去匿名化攻擊還是在正常工作。
至此，網(wǎng)絡(luò)安全領(lǐng)域的防御成本和攻擊成本的非對(duì)稱性已經(jīng)被徹底逆轉(zhuǎn)。
以前，我們面對(duì)互聯(lián)網(wǎng)總是會(huì)想：我不過(guò)是個(gè)普通人，誰(shuí)會(huì)閑的沒(méi)事扒我的馬甲？
隱藏在商業(yè)世界中的變現(xiàn)邏輯恐怕不會(huì)這么想。
如果我們把目光拉回到剛剛過(guò)去的春節(jié)，國(guó)內(nèi)幾家頭部大模型平臺(tái)無(wú)一例外地推出了AI助手的激勵(lì)政策。
無(wú)論是元寶派的現(xiàn)金紅包，還是千問(wèn)的免費(fèi)奶茶，幾家平臺(tái)砸下數(shù)十億現(xiàn)金的猛烈營(yíng)銷使得其產(chǎn)品在春節(jié)期間的日活數(shù)據(jù)飆升，但假期一過(guò)，留存率卻相當(dāng)慘淡。
按照過(guò)往的互聯(lián)網(wǎng)運(yùn)營(yíng)思維來(lái)看，這當(dāng)然談不上是什么成功的拉新活動(dòng)。各家的錢都沒(méi)少燒，ROI卻不見起色，用戶薅完羊毛心滿意足地轉(zhuǎn)身離去，產(chǎn)品還是沒(méi)多少人主動(dòng)用。
但是，看完這篇論文，我卻感到細(xì)思極恐。
或許，這不是一次失敗的拉新營(yíng)銷，而是一場(chǎng)披著春節(jié)外衣的大規(guī)模微數(shù)據(jù)收割行動(dòng)。
回想一下春節(jié)假期里人們都用AI做了什么？
了解拜年話術(shù)、查詢年夜飯菜譜、制定旅行規(guī)劃、訂購(gòu)?fù)赓u奶茶、甚至是編寫復(fù)工請(qǐng)假理由。
這些非結(jié)構(gòu)化的自然語(yǔ)言，在用戶看來(lái)只是閑聊，在傳統(tǒng)算法面前只是幾句廢話。
但在普遍擁有ESRC能力的AI公司看來(lái)，這些信息就意味著價(jià)值，而大語(yǔ)言模型正是發(fā)現(xiàn)價(jià)值的顯微鏡。
AI公司并不需要用戶高度留存，相反，只要用戶點(diǎn)開對(duì)話框，哪怕只用了幾分鐘聊了幾句，大語(yǔ)言模型就能從簡(jiǎn)短而模糊的需求中精確提取出年齡、常住地、職業(yè)、家庭結(jié)構(gòu)、消費(fèi)能力甚至性格等高價(jià)值信息。
在AI公司手里，ESRC框架的攻擊手段正是精準(zhǔn)描繪用戶畫像的最強(qiáng)武器。
過(guò)去，字節(jié)可能需要分析過(guò)去一個(gè)月用戶看過(guò)的抖音短視頻、騰訊可能要分析用戶在微信看過(guò)的一千篇?dú)v史文章、阿里可能要分析用戶在淘寶購(gòu)買的上百個(gè)產(chǎn)品，才能模模糊糊拼湊出用戶大概是個(gè)什么樣的人。
而如今，憑借著大語(yǔ)言模型已經(jīng)溢出的語(yǔ)義理解和推理能力，僅靠幾次不經(jīng)意之間的對(duì)話碎片，AI就可以輕松在海量數(shù)據(jù)中完成精準(zhǔn)的“去匿名化”定位。
這些被提取出來(lái)的高質(zhì)量用戶標(biāo)簽，正是實(shí)現(xiàn)精準(zhǔn)的廣告投流、跨平臺(tái)數(shù)據(jù)變現(xiàn)以及未來(lái)模型的訓(xùn)練最寶貴的資產(chǎn)。
而我們，沒(méi)有反抗的余地。
總之，無(wú)論如何我們都只能接受一個(gè)事實(shí)：長(zhǎng)期以來(lái)，支撐互聯(lián)網(wǎng)自由表達(dá)的匿名機(jī)制，在LLM面前已經(jīng)失去了意義。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論