張文宏醫(yī)生說了什么
張文宏醫(yī)生擔(dān)心的核心是AI過早進(jìn)入一線訓(xùn)練路徑后,會不會改寫醫(yī)生的成長方式。資深醫(yī)生把AI當(dāng)預(yù)審工具,前提是他具備糾錯能力:能看出哪里不對,能講清為什么不對,也能在關(guān)鍵時刻把結(jié)論重新拉回證據(jù)鏈。新人則相反:如果在基本功尚未完成時就把AI當(dāng)作默認(rèn)答案生成器,短期當(dāng)然更快,長期卻可能出現(xiàn)一種更隱蔽的退化:做得出來,但說不清原因;對得上答案,但不理解邊界;一旦遇到“看起來像對”的錯誤,就缺乏識別能力。
這其實(shí)是一種非常典型的技術(shù)副作用:工具越強(qiáng),人越容易跳過艱難但必要的內(nèi)化過程。訓(xùn)練路徑一旦被改寫,最終會回到系統(tǒng)層面的三個問題:邊界怎么劃、責(zé)任怎么落、錯誤如何被發(fā)現(xiàn)與追溯。張文宏醫(yī)生把話說得很克制,但指向的是同一件事:AI改變的往往不是某一次決策的效率,而是一代人的能力形成方式。
把張文宏醫(yī)生的發(fā)言放到更大的社會議題里,它直指AI邊界與治理的核心:社會如何接受AI、如何防止過度使用、如何把風(fēng)險管成可控。這里的關(guān)鍵不是道德口號,而是三件很工程化的事。
第一件事是邊界。哪些環(huán)節(jié)必須由人拍板,哪些環(huán)節(jié)AI只能做候選、提示、預(yù)審。醫(yī)療病歷系統(tǒng)不僅是記錄工具,更是責(zé)任鏈條的一部分:誰下結(jié)論、誰簽字、誰擔(dān)責(zé),必須清晰可追溯。AI一旦被寫進(jìn)“系統(tǒng)默認(rèn)流程”,它就不再只是工具,而開始參與責(zé)任的分配方式。
第二件事是糾錯。高風(fēng)險行業(yè)里,最危險的往往不是離譜錯誤,而是“看起來像對”的錯誤:結(jié)構(gòu)完整、語氣篤定、路徑似乎合理。缺少復(fù)核、抽檢、回放與反例庫,錯誤會以很合理的姿態(tài)潛入流程,最后變成組織的系統(tǒng)性盲區(qū)。真正可靠的安全,不是靠資深個人兜底,而是靠系統(tǒng)能持續(xù)發(fā)現(xiàn)錯誤、定位錯誤、復(fù)盤錯誤。
第三件事是責(zé)任。AI成為默認(rèn)環(huán)節(jié)后,責(zé)任最容易被稀釋:出錯時更容易歸因給“系統(tǒng)建議”或“模型偏差”,而不是回到最樸素的問題——這是誰的判斷,誰應(yīng)該為它負(fù)責(zé)。張文宏醫(yī)生把AI擋在病歷系統(tǒng)之外,本質(zhì)上是在守住責(zé)任的可追溯性:結(jié)論回到人,責(zé)任也回到人。
圍繞AI如何被負(fù)責(zé)任地部署,行業(yè)里常見三種力量。它們并不互斥,更像三種關(guān)注重點(diǎn):有人盯入口,有人盯閉環(huán),有人盯速度。
第一種是守門:先守住高風(fēng)險入口,再談規(guī)?;?。以醫(yī)療為例,世界衛(wèi)生組織在醫(yī)療AI治理相關(guān)文件中反復(fù)強(qiáng)調(diào)風(fēng)險評估、人類監(jiān)督、透明與責(zé)任等原則,核心邏輯就是高風(fēng)險場景必須把安全與治理前置,而不是先接入、后補(bǔ)規(guī)則。
第二種是治理:把風(fēng)險變成流程和指標(biāo)。美國NIST的AI風(fēng)險管理框架(AIRMF1.0)提供了一套更可落地的結(jié)構(gòu),把可信AI拆成治理、映射、度量、管理等環(huán)節(jié),本質(zhì)是在告訴組織:AI不是裝上去就算完,必須進(jìn)入可審計(jì)、可持續(xù)的風(fēng)控閉環(huán)。
第三種是能力:AI會重塑競爭格局,關(guān)鍵是盡快用起來。企業(yè)界最典型的表達(dá)是“要發(fā)展,也要管住”。例如路透社報道中,馬斯克提出需要某種AI“裁判/監(jiān)管者”的觀點(diǎn),一方面承認(rèn)AI的競爭性與不可逆,另一方面強(qiáng)調(diào)必須建立規(guī)則來避免失控與濫用。
這三種立場的分歧,看起來在爭快與慢,本質(zhì)在爭系統(tǒng)默認(rèn)值:默認(rèn)AI正確,還是默認(rèn)AI只是候選。
AI能否被社會接受,最終取決于默認(rèn)值怎么寫進(jìn)系統(tǒng)。如果默認(rèn)AI正確,人就更容易變成確認(rèn)者,訓(xùn)練會萎縮;如果默認(rèn)AI是候選,人就必須推理、復(fù)核、解釋,訓(xùn)練反而會增強(qiáng)。張文宏醫(yī)生的邊界,實(shí)際上是在推動后者:AI可以輔助,但不能替代訓(xùn)練,更不能替代責(zé)任。要把這件事落地,行業(yè)層面至少要做到幾件硬動作:
一是角色清晰。AI在流程里到底做檢索整理、做候選生成、做提示預(yù)警,還是直接給結(jié)論。越靠近結(jié)論,越需要更強(qiáng)驗(yàn)證與更嚴(yán)格的人類監(jiān)督(醫(yī)療場景尤其如此)。
二是可發(fā)現(xiàn)、可回放。必須有復(fù)核、抽檢、回放、反例庫、升級機(jī)制,確保錯誤能被系統(tǒng)性發(fā)現(xiàn),而不是靠個別資深人員“憑經(jīng)驗(yàn)兜底”。
三是責(zé)任閉環(huán)。誰啟用、誰審批上線、誰簽字、誰對輸出負(fù)責(zé),必須可追溯、可問責(zé);否則“倫理”會退化成口號。
四是監(jiān)測的不只是模型,也包括人的能力變化。這個點(diǎn)常被忽略,但決定風(fēng)險上限:復(fù)核率、糾錯率、獨(dú)立完成率、異常處置時長等,應(yīng)該被當(dāng)成和模型指標(biāo)同等重要的治理指標(biāo)。
![]()
可控前提:把風(fēng)險寫進(jìn)默認(rèn)值
張文宏醫(yī)生提到的“先看一遍”,其實(shí)提供了一種可遷移的方法:AI是第一讀者,不是最終裁判。這背后有一個更一般性的規(guī)律,AI會顯著降低生成答案的成本,但不會自動生成判斷力。判斷力來自訓(xùn)練,而訓(xùn)練最怕的就是被跳過。
一項(xiàng)關(guān)于知識工作者的研究給了更硬的證據(jù)線索:使用生成式AI時,個體對AI越有信心,越可能減少批判性思考;而對自身能力更自信的人,反而更傾向于做批判性評估與整合。它與張文宏醫(yī)生的擔(dān)憂在結(jié)構(gòu)上是同一個問題:答案更快出現(xiàn),不等于判斷鏈更扎實(shí)。
把AI用成訓(xùn)練裝置,一個可執(zhí)行的路徑是:先自己完成推理鏈,再讓AI挑錯;再讓AI給出相互沖突的兩套路徑,由你來裁決并解釋;最后用AI做交叉質(zhì)詢,追問依據(jù)、邊界條件和反例,讓自己始終站在“解釋與審查”的位置上。
張文宏醫(yī)生的提醒,表面在談病歷系統(tǒng),實(shí)質(zhì)在問一個更大的社會問題:當(dāng)工具越來越強(qiáng),我們到底要把什么留給人,留給職業(yè)共同體,留給下一代的訓(xùn)練體系。
也歡迎你把答案寫在評論區(qū):在你所在行業(yè)里,AI最該進(jìn)入哪一段流程,最不該進(jìn)入哪一段流程?哪些能力一旦丟了,很難補(bǔ)回來?如果給新人立一條規(guī)矩,哪些任務(wù)必須先不用AI做一遍?
快報
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求,請綁定手機(jī)號后發(fā)表評論
AI現(xiàn)在有些方面方便了,但是錯誤和幻覺太多了,還得完善!
技術(shù)研發(fā)之外,AI倫理問題也是很重要的問題