文 | 大灣區(qū)人工智能應(yīng)用研究院
最近幾年，AI大模型的發(fā)展具有革命性，帶來了在眾多方面達(dá)到甚至超過人類智能水平的能力。其中，諸如ChatGPT或DeepSeek等大模型更是迅速積累了眾多個人用戶。
但最近美國麻省理工學(xué)院（MIT）的一項(xiàng)研究發(fā)現(xiàn)，在企業(yè)管理和運(yùn)營層面，真正能成功利用AI的企業(yè)少之又少，超過95%的企業(yè)在AI的試點(diǎn)運(yùn)用中失敗了。在與中國企業(yè)的溝通中，我們發(fā)現(xiàn)情況也非常類似。
為什么企業(yè)運(yùn)用AI大模型這么難？因?yàn)槠髽I(yè)一方面要利用大模型帶來的能力和效率，另一方面要控制它的應(yīng)用成本以及給企業(yè)帶來的風(fēng)險。本文忽略成本問題，而專注于大模型的風(fēng)險，因?yàn)檫@是主要矛盾。
01 AI風(fēng)險的微觀面
AI的風(fēng)險包含宏觀風(fēng)險和微觀風(fēng)險。前者涉及技術(shù)安全、社會倫理到人類未來生存等諸多維度，比如算法偏見帶來的社會不平等加劇，AGI將來取代人類工作造成的大范圍失業(yè)問題，甚至科幻電影熱衷描繪的超級智能AI“覺醒”后失控，視人類為威脅，引發(fā)末日浩劫。這種宏觀風(fēng)險需要社會和國家通過制度和監(jiān)管來解決，我們暫不討論。
本文主要聚焦微觀風(fēng)險，即企業(yè)在部署和應(yīng)用大模型過程中面臨的具體、迫切的問題：是否會帶來業(yè)務(wù)效果不佳、客戶體驗(yàn)惡化、品牌聲譽(yù)受損、數(shù)據(jù)安全威脅、知識產(chǎn)權(quán)侵蝕、法律合規(guī)出問題等風(fēng)險。這種微觀風(fēng)險可以概括為四個方面。
首先是大模型的幻覺問題，即大模型生成看似邏輯通順，實(shí)則錯誤、虛構(gòu)或不符合指令要求的內(nèi)容。在訓(xùn)練數(shù)據(jù)覆蓋不足、輸入信息模糊或需要最新知識等情境下，大模型尤其容易產(chǎn)生幻覺。但這些情境只是誘因，更根本的原因在于其核心工作機(jī)制的固有特性。
大模型本質(zhì)上是統(tǒng)計(jì)模型而非知識庫，其核心機(jī)制是基于統(tǒng)計(jì)的模式匹配——一個復(fù)雜的“自動補(bǔ)全”過程。例如，當(dāng)用戶輸入“下班回家路上，我去超市買了一瓶”時，模型會基于統(tǒng)計(jì)規(guī)律輸出“水”或“飲料”，因?yàn)檫@在數(shù)據(jù)中遠(yuǎn)比“書”更常見。這種設(shè)計(jì)決定了它只追求統(tǒng)計(jì)意義上的“合理”，而無法自主追求或驗(yàn)證內(nèi)容的真實(shí)性。
正因?yàn)榛糜X是大模型核心機(jī)制的直接產(chǎn)物，所以在現(xiàn)階段的技術(shù)范式下，無論如何嘗試改變模型的結(jié)構(gòu)、優(yōu)化輸入數(shù)據(jù)或調(diào)整提示詞，幻覺問題都無法被根除。因此，幻覺對于企業(yè)運(yùn)營中精度要求高的場景是個巨大挑戰(zhàn)，也是大模型在企業(yè)級應(yīng)用中最關(guān)鍵的風(fēng)險之一。
其次是輸出安全與價值對齊的挑戰(zhàn)。大模型的海量預(yù)訓(xùn)練數(shù)據(jù)主要來自互聯(lián)網(wǎng)，模型在學(xué)習(xí)海量知識的同時，也吸收了數(shù)據(jù)中可能存在的偏見、歧視性言論或有害信息。在與客戶或公眾的交互中，模型可能會生成不當(dāng)、冒犯性或與企業(yè)價值觀相悖的內(nèi)容。這種“言論失當(dāng)”會直接損害企業(yè)的品牌聲譽(yù)和公眾信任。
另一方面，大模型可能被惡意用戶誘導(dǎo)或利用，生成虛假信息、仇恨言論、違法內(nèi)容或其他有害文本，使企業(yè)平臺成為不良內(nèi)容的滋生土壤，并可能引發(fā)監(jiān)管問題。
三是隱私與數(shù)據(jù)合規(guī)的風(fēng)險。當(dāng)員工使用公開的第三方大模型服務(wù)時，輸入的任何信息，例如會議紀(jì)要、財務(wù)數(shù)據(jù)、技術(shù)代碼或公司戰(zhàn)略，都可能在用戶協(xié)議的默認(rèn)條款下被服務(wù)商收集、存儲并用于其模型的后續(xù)訓(xùn)練。這相當(dāng)于將企業(yè)的內(nèi)部敏感數(shù)據(jù)拱手相讓。
更進(jìn)一步，大模型在訓(xùn)練過程中有可能會“記住”訓(xùn)練數(shù)據(jù)中的具體信息片段。在后續(xù)的交互中，模型可能在無意或被惡意提示詞引導(dǎo)的情況下，復(fù)現(xiàn)其“記住”的敏感信息（如個人身份信息、醫(yī)療記錄等），造成企業(yè)或客戶的隱私泄露。
最后是可解釋性的挑戰(zhàn)。大模型的決策過程很大程度上是一個“黑箱”，它無法提供一個人類可以理解的清晰歸因和解釋。其根源在于大模型的極端復(fù)雜性，輸入的信息首先被編碼為計(jì)算機(jī)能夠處理的高維向量，這些向量在萬億級參數(shù)構(gòu)成的深層神經(jīng)網(wǎng)絡(luò)中，經(jīng)過大量的矩陣運(yùn)算和非線性變換得到輸出，很難從中倒推出一條清晰、可供人類理解的決策路徑來回答“為什么是這個結(jié)果”。
這在高風(fēng)險、高合規(guī)的領(lǐng)域構(gòu)成了嚴(yán)峻挑戰(zhàn)。在金融風(fēng)控、醫(yī)療診斷等需要嚴(yán)格審計(jì)和問責(zé)的場景中，一個無法解釋其背后邏輯的決策，無論結(jié)果多么精準(zhǔn)，都可能因其合規(guī)性與可靠性存疑而成為一顆“定時炸彈”，無法被真正信任和部署。
02 應(yīng)對風(fēng)險的兩個方向
針對這些風(fēng)險，企業(yè)可以通過兩個方向做出努力：一是大模型的開發(fā)者從技術(shù)源頭提高模型本身的性能，減少幻覺、做好價值對齊，保護(hù)隱私，提高可解釋性。二是大模型的使用企業(yè)開展應(yīng)用層治理，通過提示詞工程、檢索增強(qiáng)生成（RAG）、內(nèi)容過濾器、可解釋性AI（XAI）等工具和方法，以及嚴(yán)格的管理手段和流程，主動將風(fēng)險控制在可接受范圍內(nèi)。
目前，市場上的大模型都在快速迭代中。針對幻覺問題，模型推理能力的持續(xù)提升、通過強(qiáng)化學(xué)習(xí)訓(xùn)練模型在面對不確定性時主動承認(rèn)其知識邊界等做法，都有助于緩解這一問題。OpenAI新發(fā)布的GPT-5的深度推理模型相比前代o3，幻覺率已大幅降低65%。
針對輸出安全問題，更精細(xì)的指令微調(diào)（Instruction Tuning）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）等對齊技術(shù)，可以更好地引導(dǎo)模型遵循人類設(shè)定的規(guī)范與價值觀，減少有害內(nèi)容的生成。
針對模型數(shù)據(jù)潛在的隱私泄露問題，開發(fā)者正結(jié)合差分隱私（Differential Privacy）技術(shù)，在訓(xùn)練數(shù)據(jù)中加入“噪聲”以保護(hù)個體信息。
在可解釋性領(lǐng)域，以DeepSeek R1為代表的引導(dǎo)模型以思維鏈展示其推理過程的做法，是提升決策透明度的重要進(jìn)展。而Anthropic等公司研究的“機(jī)制可解釋性”等方法，正在嘗試從底層“看透”AI的內(nèi)部工作機(jī)理，理解其決策的根本原理。
需要注意的是，受限于大模型的底層技術(shù)原理——基于概率預(yù)測的統(tǒng)計(jì)特性、深度神經(jīng)網(wǎng)絡(luò)的黑箱本質(zhì)，以及海量非結(jié)構(gòu)化數(shù)據(jù)訓(xùn)練的復(fù)雜性——這些風(fēng)險可能始終無法被徹底根除。因此，大模型應(yīng)用企業(yè)需要長期關(guān)注，在部署和應(yīng)用時進(jìn)行優(yōu)化工作，進(jìn)一步降低其風(fēng)險。
在大模型應(yīng)用的企業(yè)層面，企業(yè)的整體思路可以是將大模型或由其驅(qū)動的AI智能體（AI Agent），想象成一位新入職的數(shù)字化員工。這位特殊的AI員工可能像一個急于表現(xiàn)的實(shí)習(xí)生，在知識盲區(qū)時一本正經(jīng)地編造信息（幻覺問題）；像一個缺乏經(jīng)驗(yàn)的新人，不經(jīng)意說出冒犯性或不合規(guī)言論（輸出安全性問題）；像一個保密意識薄弱的助理，無意泄露公司機(jī)密（隱私合規(guī)問題）；甚至像一個有很好的商業(yè)直覺的高管，卻讓人無法理解其決策邏輯（可解釋性問題）。AI能犯的錯誤，人類都有前科。企業(yè)可以把管理員工的豐富經(jīng)驗(yàn)遷移到管理AI上來。
對于防范幻覺（虛假信息）問題，企業(yè)是如何減少員工犯此類錯誤的？無非是一方面選對人，聘任有真才實(shí)學(xué)、穩(wěn)重謹(jǐn)慎的員工；另一方面通過組織和流程減小或中和個人犯錯的概率。
對于AI，我們可以選擇基礎(chǔ)能力更強(qiáng)的大模型。這一點(diǎn)很容易做到，大模型公司很多，但做得最好的就幾家。此外，像要求員工“用數(shù)據(jù)說話”一樣，我們可以為AI提供參考資料，并要求它引用來源。例如，使用檢索增強(qiáng)生成（RAG）技術(shù)，讓AI基于企業(yè)內(nèi)部知識庫生成回答；通過提示詞工程（即精心設(shè)計(jì)指令），設(shè)定明確的任務(wù)邊界、工作范圍和行為準(zhǔn)則；同時，借鑒“開評審會”的思路，進(jìn)行交叉驗(yàn)證：讓多個模型處理同一問題，用集體智慧識別和修正個體錯誤。
對于輸出安全（不當(dāng)言論）風(fēng)險，企業(yè)會對員工發(fā)放員工手冊，進(jìn)行大量崗位培訓(xùn)和企業(yè)文化教育，并且嚴(yán)格審核對外發(fā)布的內(nèi)容。對于AI員工，企業(yè)也可以定制一份數(shù)字員工手冊：為模型設(shè)置系統(tǒng)提示詞，定義其角色和行為紅線，進(jìn)行崗前培訓(xùn)；通過專門設(shè)計(jì)的安全問答數(shù)據(jù)集進(jìn)行微調(diào)來做持續(xù)的企業(yè)文化熏陶；在內(nèi)容把關(guān)上，在輸入和輸出端部署過濾器，實(shí)時攔截不當(dāng)內(nèi)容，確保對外發(fā)布前嚴(yán)格檢查。
對于隱私合規(guī)、數(shù)據(jù)泄露風(fēng)險，企業(yè)會要求關(guān)鍵員工簽署嚴(yán)格的保密協(xié)議（NDA），制定分層的數(shù)據(jù)訪問權(quán)限，以“最小權(quán)限原則”等來降低數(shù)據(jù)泄露的風(fēng)險。對于AI可以用類似的邏輯來操作：選擇云服務(wù)商時，簽署數(shù)據(jù)處理協(xié)議（DPA），確保輸入數(shù)據(jù)不用于模型再訓(xùn)練；遵循最小權(quán)限，非必要不提供敏感信息，必要時先脫敏處理（如替換姓名、金額）；在數(shù)據(jù)敏感行業(yè)（如金融、軍工），還可采用私有化部署（自有服務(wù)器）或可信執(zhí)行環(huán)境（TEE）技術(shù)，后者像在云端租用加密“保險箱”，防止任何人窺探數(shù)據(jù)處理過程，兼顧安全與靈活性。
對于可解釋性風(fēng)險，有些經(jīng)驗(yàn)豐富的員工基于優(yōu)秀的業(yè)務(wù)直覺做出判斷，但要說服領(lǐng)導(dǎo)、同事支持該決策，還需要補(bǔ)全背后的思考，拆解清楚其中的邏輯。
對于AI員工，可以要求模型在給出最終答案前，先輸出一步步的推理過程，即“思維鏈”，這有助于理解模型的決策邏輯。這就好比讓諸葛亮把草船借箭的整個推演過程——從觀察天氣到揣摩人心——邊想邊寫下來以便我們理解。
此外，借助注意力可視化技術(shù)，能通過熱力圖中顏色的深淺，直觀看出LLM（大語言模型）在生成回應(yīng)時對各輸入詞匯的關(guān)注程度，也有助于直觀理解決策依據(jù)。這就好比通過熱力圖，我們能看出諸葛亮定下空城計(jì)，其判斷依據(jù)正是高度集中于“司馬懿生性多疑”與“我方無兵”這兩條關(guān)鍵情報。
除了這些直觀的解釋方法外，企業(yè)還需要在管理上對AI員工有限授權(quán)、控制風(fēng)險。在創(chuàng)意、文案初稿等主觀性強(qiáng)、風(fēng)險低的領(lǐng)域，允許大模型相對自由發(fā)揮；但在金融風(fēng)控、醫(yī)療診斷等事關(guān)企業(yè)命脈的高風(fēng)險領(lǐng)域，它的“錦囊妙計(jì)”只能作為人類專家的參考。
需要注意的是，我們必須清醒地認(rèn)識到上述解釋方法的局限性。例如，思維鏈本身也是模型生成的文本，是模型對人類推理過程的一種事后模擬或合理化的表達(dá)，并不能完全客觀地反映模型內(nèi)在的真實(shí)推理邏輯。同樣，注意力可視化等技術(shù)也大多屬于局部解釋，只能讓我們管中窺豹。真正深入、全面的大模型可解釋性，還有待研究人員進(jìn)一步探索。
03 企業(yè)問責(zé)需明確
以上是通過類比管理人類員工來借鑒性地理解和啟發(fā)應(yīng)對大模型的風(fēng)險。但AI員工和人類員工仍然有一個重要區(qū)別：大模型無法“背鍋”，責(zé)任永遠(yuǎn)在人。
如果模型出錯導(dǎo)致客戶損失或公司聲譽(yù)受損，企業(yè)不能簡單“開除”它來解決問題，大模型目前還無法成為責(zé)任主體。責(zé)任只能追溯到人類，如批準(zhǔn)使用的業(yè)務(wù)負(fù)責(zé)人、部署維護(hù)的技術(shù)團(tuán)隊(duì)，或制定規(guī)則的管理層。因此，企業(yè)在引入大模型時，需設(shè)計(jì)清晰的問責(zé)框架，將部署、使用和效果等納入具體員工或團(tuán)隊(duì)的KPI。
AI大模型的發(fā)明給企業(yè)帶來了前所未有的機(jī)會和風(fēng)險。AI在很多方面趕上了甚至超過了人類，但也在其他方面給企業(yè)帶來了比人類更大的風(fēng)險。
在現(xiàn)在這種狀態(tài)下，AI和人類各有優(yōu)缺點(diǎn)。所以，企業(yè)管理的最優(yōu)解是讓人和AI協(xié)同作戰(zhàn)，通過組織、流程發(fā)揮各自的長處，屏蔽各自的短處。
這是一個變化飛快的動態(tài)過程，隨著AI的進(jìn)步，企業(yè)的組織和流程也需要隨之調(diào)整。企業(yè)需要加快步伐，跟上變化的節(jié)奏才不會被淘汰。
快報
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請綁定手機(jī)號后發(fā)表評論