這起事件的“吹哨人”，正是學(xué)校重金部署的AI實(shí)時(shí)監(jiān)控安防系統(tǒng)。它那“洞察一切”的算法之眼，將那包薯片“看”成了一把槍。隨著執(zhí)法記錄儀的視頻公之于眾，真相大白：AI的“眼睛”看錯了。
系統(tǒng)的提供商Omnilert公司隨后發(fā)表了一份耐人尋味的致歉聲明。在“深感遺憾”的表面文章之下，是“整體流程運(yùn)作如設(shè)計(jì)”的強(qiáng)硬辯護(hù)，以及“真實(shí)世界的槍支偵測相當(dāng)混亂，難免出現(xiàn)誤報(bào)”的行業(yè)性慨嘆。
這起事件，如同一枚刺眼的信號彈，瞬間照亮了當(dāng)前AI安防領(lǐng)域——尤其是高風(fēng)險(xiǎn)場景應(yīng)用中，技術(shù)與信任、算法與現(xiàn)實(shí)之間那道深不見底的鴻溝。當(dāng)算法的置信度與人類的生命安全被粗暴地直接掛鉤，一場“誤判”的代價(jià)，絕不僅僅是經(jīng)濟(jì)成本的增加，更是對整個(gè)技術(shù)范式可用性的質(zhì)疑。
在這場風(fēng)波中，Omnilert公司被無可避免地推上了風(fēng)口浪尖。這家在安防領(lǐng)域，尤其是校園安全市場，一直以其核心產(chǎn)品“AI實(shí)時(shí)槍支偵測”而聞名的企業(yè)，遭遇了最富諷刺意味的“黑天鵝”：恰恰是其引以為傲的核心技術(shù)，一手制造了這場“薯片驚魂”。
Omnilert的系統(tǒng)，在技術(shù)棧上正是基于計(jì)算機(jī)視覺（CV）技術(shù)。它們聲稱用海量的槍支圖像數(shù)據(jù)訓(xùn)練其深度學(xué)習(xí)模型，使其能夠從實(shí)時(shí)視頻流中“辨認(rèn)”出武器。然而，AI視覺識別在真實(shí)的、非結(jié)構(gòu)化的校園場景中，正面臨著嚴(yán)峻的魯棒性考驗(yàn)和技術(shù)極限。
目前，多數(shù)AI安防系統(tǒng)依賴深度學(xué)習(xí)進(jìn)行目標(biāo)檢測。系統(tǒng)通過海量的、經(jīng)過標(biāo)注的槍支圖像進(jìn)行監(jiān)督式學(xué)習(xí)，試圖提取并固化槍支的紋理特征、輪廓特征和幾何特征。然而，這正是“黑盒”的阿喀琉斯之踵。一個(gè)折疊的薯片袋，在特定的光影、角度、甚至是低分辨率監(jiān)控畫質(zhì)下，其邊緣、褶皺和口袋凸起的輪廓，恰好可能與訓(xùn)練數(shù)據(jù)集中某些被遮擋或非典型的“槍支”局部特征在像素級別上高度相似。算法并不理解“這是薯片袋”，它只知道“這個(gè)特征組合匹配了數(shù)據(jù)庫中‘槍支’的概率”。
事件發(fā)生后，Omnilert的聲明在致歉之余，也透露出一絲無力與“甩鍋”：“真實(shí)世界的槍支偵測相當(dāng)混亂，難免出現(xiàn)誤報(bào)。”這句辯護(hù)，與其說是解釋，不如說暴露了當(dāng)前安防AI的一個(gè)殘酷現(xiàn)實(shí)：在追求“零漏報(bào)”的巨大壓力下，系統(tǒng)不可避免地滑向了“高誤報(bào)”的深淵。
這在技術(shù)上是一個(gè)典型的‘Hard Case’（困難樣本），”一家國內(nèi)AI安防頭部企業(yè)的解決方案負(fù)責(zé)人向我們分析道，“美國市場對槍支的極度敏感，甚至可以說是一種社會性的‘驚弓之鳥’心態(tài)，這必然導(dǎo)致他們的算法在訓(xùn)練目標(biāo)上被調(diào)校得異常‘激進(jìn)’。相比之下，國內(nèi)的安防場景更側(cè)重于公共秩序、人流密度和特定行為分析，威脅模型完全不同。”
他進(jìn)一步指出，美國復(fù)雜的“隱蔽持槍”文化，迫使算法必須去識別那些被部分遮擋、形態(tài)扭曲、藏在衣物下的可疑物體。“一個(gè)揉皺的薯片袋，在低分辨率或特定光線下，其輪廓和反光特征確實(shí)可能‘騙過’一個(gè)被過度優(yōu)化的分類器。算法只是給出了一個(gè)基于概率的‘疑似’判斷，但系統(tǒng)卻將其等同于‘事實(shí)’，并觸發(fā)了最高優(yōu)先級的警報(bào)。”
可以說，無論是Omnilert還是其背后的技術(shù)提供商，他們所采用的AI模型，很可能為了追求極高的召回率而不得不犧牲一定的準(zhǔn)確率。在校園安防這種“寧可信其有”的極端場景，過高的召回率是廠商默認(rèn)的技術(shù)傾向，因?yàn)槁﹫?bào)一把真槍的后果往往是災(zāi)難性的。
這種技術(shù)取舍，使得模型在某種程度上形成了一種“偏執(zhí)”：它看到的是像素點(diǎn)的組合，而不是物體的真實(shí)語義。一旦輸入的視覺信號使其內(nèi)部的置信度達(dá)到某個(gè)預(yù)設(shè)的、可能偏低的閾值，即便只是一個(gè)外形神似的薯片袋，算法也會毫不猶豫地按下“警報(bào)”的扳機(jī)。
“寧可錯殺一千，不可漏掉一個(gè)。”
這句古老的信條，在AI安防領(lǐng)域，尤其是槍支檢測這樣的高危場景下，似乎成了某種政治正確。畢竟漏報(bào)的代價(jià)是任何學(xué)校和系統(tǒng)供應(yīng)商都無法承受的。因此，行業(yè)默認(rèn)了一種“高誤報(bào)”的妥協(xié)。
難道CV的準(zhǔn)確率真的“無解”嗎？
“國內(nèi)頭部廠商早已意識到，單純依賴‘物體識別’是一條死胡同。”國內(nèi)某視覺AI公司的技術(shù)負(fù)責(zé)人向大模型之家表示，“特別是在人流密集的公共空間，高風(fēng)險(xiǎn)決策絕不能依賴單一維度的信息。”
他所提到的，是一種在設(shè)計(jì)理念上就與“激進(jìn)”算法截然不同的路徑——“穩(wěn)”與“準(zhǔn)”。
“我們不會只依賴一個(gè)AI模型給出的結(jié)論，尤其是涉及到槍支、明火這類極高危的檢測。”他解釋道“首先是多模型投票。我們通常會部署至少兩種不同架構(gòu)的檢測模型并行工作，只有當(dāng)它們給出的置信度都高于一個(gè)動態(tài)調(diào)整的高水位線時(shí)，才會觸發(fā)預(yù)警。這在一定程度上能過濾掉單一模型的結(jié)構(gòu)性缺陷。”
另外，更重要的是多模態(tài)融合。
“單純的視覺AI就像一個(gè)盲人摸象，缺乏上下文信息。”一個(gè)薯片袋的輪廓像槍，但它的材質(zhì)、反光度、以及目標(biāo)行為的上下文（比如是隨意塞進(jìn)口袋而不是緊緊握持）都無法與真槍匹配。先進(jìn)的系統(tǒng)會結(jié)合紅外熱成像、深度傳感器，甚至行為分析模型，形成一個(gè)復(fù)合判斷。真槍的金屬材質(zhì)和非金屬的薯片袋，在特定的傳感器下會呈現(xiàn)完全不同的光譜或熱力特征。這在單純的CV層面是‘Hard Case’，但在多模態(tài)層面可能就迎刃而解。”
最后，也是最關(guān)鍵的，是設(shè)計(jì)一個(gè)真正有效的“安全剎車”和“信息回流機(jī)制”。即一個(gè)高效、閉環(huán)的“人機(jī)回路”。
國內(nèi)企業(yè)在安防領(lǐng)域?qū)θ藱C(jī)協(xié)同的流程設(shè)計(jì)往往更為苛刻，這位工程師表示“在我們的方案中，AI僅僅是提供一個(gè)高優(yōu)先級警示，它絕不能是決策的終點(diǎn)。警報(bào)必須實(shí)時(shí)推送給邊緣端或云端的專業(yè)人審團(tuán)隊(duì)。這個(gè)團(tuán)隊(duì)有嚴(yán)格的SOP，必須在限定的黃金時(shí)間內(nèi)完成二次確認(rèn)并打上標(biāo)簽。如果人工已明確‘無威脅’，系統(tǒng)必須在指令鏈上強(qiáng)制終止報(bào)警的升級路徑，而不是讓信息卡在某個(gè)環(huán)節(jié)。”
回看塔基·艾倫的事件，其悲劇性恰恰在于，這不只是一個(gè)算法的失敗，更是一個(gè)“人機(jī)協(xié)作”流程的失效。雖然塔基·艾倫最終被解開了手銬，警察也確認(rèn)了那只是一包薯片，但這場技術(shù)引發(fā)的鬧劇，留給這個(gè)16歲男孩的，是難以磨滅的心理陰影。留給公眾的，則是對AI監(jiān)控系統(tǒng)深深的警覺與不信任。
而Omnilert在聲明中提到的“人工審查員已更新為‘沒有威脅’”，卻未能阻止校方的最終報(bào)警行動，更徹底暴露出這套“人機(jī)協(xié)同”流程在緊急情況下的斷裂與滯后。技術(shù)已然前置，但流程的冗余、信息的延遲與人為的疏忽卻成了這最后一道防線的致命漏洞。一個(gè)設(shè)計(jì)拙劣的人機(jī)協(xié)同系統(tǒng)，其危害性甚至大于一個(gè)單純高誤報(bào)的AI模型，因?yàn)樗圃炝艘环N“有人在看”的安全假象，卻在關(guān)鍵時(shí)刻掉了鏈子。
“人要有Check AI生成結(jié)果的能力。”
這句看似正確的“廢話”，在“薯片驚魂”事件中，卻顯得尤為重要。
這起事件為全球所有狂奔在AI落地浪潮中的企業(yè)敲響了警鐘。技術(shù)的光環(huán)再耀眼，也不能掩蓋其在“最后一公里”部署時(shí)的脆弱性。一個(gè)AI系統(tǒng)，其價(jià)值不僅在于算法的先進(jìn)性，更在于它與現(xiàn)實(shí)世界交互的“接口”——那些冗長、繁瑣、卻至關(guān)重要的人機(jī)協(xié)同SOP。
從馬里蘭州的校園到我們身邊的每一個(gè)攝像頭，AI正在以前所未有的深度介入公共安全。我們需要的，絕不是一個(gè)“偏執(zhí)”的、追求高召回率的算法哨兵，也不應(yīng)不是一個(gè)在警報(bào)拉響后就“袖手旁觀”的甩手掌柜。它應(yīng)該在“效率”與“公平”的天平上，找到那個(gè)微妙的平衡點(diǎn)。
對于行業(yè)而言，這不再是一個(gè)單純的技術(shù)問題，而是一個(gè)關(guān)乎信任、責(zé)任與倫理的系統(tǒng)工程。如果不能設(shè)計(jì)出一個(gè)真正可靠的“人機(jī)閉環(huán)”，如果不能明確“AI犯錯，誰來負(fù)責(zé)”的歸屬問題，那么今天被“誤判”的是一包薯片，明天就可能是任何一個(gè)無辜的個(gè)體。
畢竟，這是人工智能走向AGI的道路上，必須邁過的一道坎。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請綁定手機(jī)號后發(fā)表評論