文 | superkai
一個(gè)刁鉆的角度，從暴雪游戲風(fēng)暴英雄來(lái)看波音737MAX8空難事件，你會(huì)恍然大悟，更能挖掘出諸多關(guān)于人工智能潛在的安全隱患問(wèn)題。
3月10日，一架埃塞俄比亞航空公司的波音737 MAX 8客機(jī)墜毀，機(jī)上157人全部罹難。而在5個(gè)月前，2018年10月29日，已有一架載有189名乘客和機(jī)組人員的印尼獅子航空公司同型號(hào)客機(jī)墜毀。
由于兩者的相似性，中國(guó)民航局第一時(shí)間要求國(guó)內(nèi)航空公司停飛波音737 MAX 8，隨后各國(guó)紛紛跟進(jìn)。在埃塞俄比亞航空墜毀的客機(jī)殘骸中找到的線索，還有衛(wèi)星網(wǎng)捕捉到的客機(jī)飛行軌跡，均表明事故與印尼獅航失事客機(jī)存在類(lèi)似問(wèn)題，本來(lái)不愿停飛波音737 MAX 8的美國(guó)態(tài)度突然轉(zhuǎn)變，也加入了停飛波音737 MAX系列客機(jī)的行列。
可靠的推測(cè)是，波音737 MAX 8客機(jī)的飛行控制系統(tǒng)出了問(wèn)題。具體可能為防止飛機(jī)失速的機(jī)動(dòng)特性增強(qiáng)系統(tǒng)MCAS（Maneuvering Characteristics Augmentation System）因傳感器故障誤以為飛機(jī)失速自動(dòng)接管飛機(jī)強(qiáng)制飛機(jī)向下俯沖，導(dǎo)致慘劇發(fā)生。
關(guān)于事故原因，大家關(guān)注的問(wèn)題是，MCAS系統(tǒng)的權(quán)限很高，如果沒(méi)有被關(guān)閉，能直接控制飛機(jī)，因傳感器故障執(zhí)行錯(cuò)誤的操作時(shí)會(huì)跟人工操縱作對(duì)爭(zhēng)奪對(duì)飛機(jī)的控制權(quán)，從而展開(kāi)“人機(jī)大戰(zhàn)”，最終導(dǎo)致機(jī)毀人亡。
智能系統(tǒng)如何會(huì)跟人類(lèi)爭(zhēng)奪控制權(quán)，發(fā)生“人機(jī)大戰(zhàn)”，有人可能會(huì)有疑問(wèn)，有一個(gè)方法可以親身體會(huì)到“人機(jī)大戰(zhàn)”這種憋屈，那就是去玩暴雪的游戲風(fēng)暴英雄。
在暴雪公司的MOBA游戲風(fēng)暴英雄中，有一個(gè)合作模式，可以讓玩家跟由電腦控制的敵方隊(duì)伍對(duì)戰(zhàn)。在這個(gè)模式還可以選擇電腦隊(duì)友，組建一支玩家跟由電腦控制的隊(duì)友混搭的隊(duì)伍游戲。另外，游戲進(jìn)行中如有玩家掉線或因其它原因離開(kāi)游戲，本來(lái)由玩家控制的英雄便會(huì)換成由電腦來(lái)控制，以保證游戲繼續(xù)進(jìn)行。
由AI控制角色是游戲不可或缺的一個(gè)重要功能。那么，玩家跟由電腦控制的隊(duì)友混搭的隊(duì)伍的“人機(jī)協(xié)作”如何呢？其實(shí)也有“人機(jī)協(xié)作”變“人機(jī)大戰(zhàn)”的慘劇發(fā)生。
風(fēng)暴英雄今年重建開(kāi)發(fā)團(tuán)隊(duì)之后對(duì)游戲發(fā)布了一個(gè)升級(jí)補(bǔ)丁，其中的一項(xiàng)升級(jí)依說(shuō)明就是對(duì)AI的優(yōu)化，實(shí)際結(jié)果卻是“負(fù)優(yōu)化”，本來(lái)之前游戲中AI的行為尚可，出了新補(bǔ)丁之后AI一下子變得非常“弱智”，行為不可理喻。之后暴雪對(duì)AI進(jìn)行了一些修復(fù)，但至今仍未回到AI崩壞之前的水平。
我們已經(jīng)習(xí)慣了Windows系統(tǒng)不斷升級(jí)不斷出新漏洞不斷打補(bǔ)丁，但始終會(huì)有新問(wèn)題出現(xiàn)。波音公司也即將對(duì)MCAS系統(tǒng)進(jìn)行升級(jí)，但愿能徹底解決客機(jī)的安全問(wèn)題，畢竟一旦出問(wèn)題很可能會(huì)關(guān)系到飛機(jī)上一百多人的生命安全。
由于飛機(jī)的設(shè)計(jì)問(wèn)題，波音新增了一個(gè)MCAS系統(tǒng)，這個(gè)系統(tǒng)正是兩起空難的根源。為什么會(huì)出現(xiàn)這樣的問(wèn)題，在暴雪的游戲風(fēng)暴英雄中可以得到解答。
①人工智能必然越來(lái)越要求更多權(quán)限，越來(lái)越自作聰明
在游戲風(fēng)暴英雄中，玩家可以通過(guò)快捷鍵向由電腦控制的隊(duì)友下達(dá)各種指示。在早期版本中，玩家是叫電腦隊(duì)友干什么電腦隊(duì)友就干什么。但是隨著版本更新，電腦隊(duì)友變得越來(lái)越不聽(tīng)話，經(jīng)常無(wú)視玩家的指示自行其是。
畢竟我們想要的是機(jī)器人而不是木頭人，木頭人是主人叫做什么就做什么技術(shù)成分不高，設(shè)計(jì)者想要的是更智能的機(jī)器人。
在一方面，這種改變看似是進(jìn)步的。比如說(shuō)，早期版本，玩家命令電腦隊(duì)友攻擊野怪，所有電腦隊(duì)友無(wú)論距離多遠(yuǎn)、正在做什么事都會(huì)趕過(guò)來(lái)，有時(shí)這種行為是一種不合理的耗費(fèi)。而在現(xiàn)在的版本，玩家命令電腦隊(duì)友攻擊野怪，電腦隊(duì)友未必會(huì)響應(yīng)玩家的命令，如果相隔太遠(yuǎn)，或者正在做什么AI認(rèn)為更重要的事，AI會(huì)對(duì)玩家的命令不理不睬。
但在另一方面，這種改變同時(shí)帶來(lái)了新的問(wèn)題。比如說(shuō)，現(xiàn)在玩家想將所有電腦隊(duì)友都叫來(lái)一起打野怪中的首領(lǐng)，但很難湊齊人，總有AI不愿意聽(tīng)話，繼續(xù)做自以為更恰當(dāng)?shù)氖虑椤?/p>
AI認(rèn)定地圖機(jī)制的優(yōu)先級(jí)高于打野怪，一旦地圖機(jī)制出現(xiàn)，AI便會(huì)放棄打野怪的任務(wù)趕去事件發(fā)生地點(diǎn)，就算野怪已經(jīng)被打剩一絲血盡可以打完野怪再趕去，這種情況下無(wú)論玩家怎樣再下命令讓AI打野怪AI也不會(huì)聽(tīng)你的，就算玩家明知現(xiàn)在這樣的陣容搶地圖機(jī)制肯定搶不過(guò)AI還是會(huì)試圖趕去事件發(fā)生地點(diǎn)。諸如此類(lèi)，有很多肯定錯(cuò)誤的行動(dòng)，AI堅(jiān)持要去做，而拒不服從玩家正確的指令。
人工智能設(shè)計(jì)者總是試圖設(shè)計(jì)出比人類(lèi)更聰明的人工智能，給人工智能行動(dòng)的優(yōu)先級(jí)比人工控制更高。這樣會(huì)帶來(lái)很多問(wèn)題。
想想看，家里請(qǐng)來(lái)一個(gè)保姆是怎樣的情形？如果不是鐘點(diǎn)工，你得給保姆家門(mén)鑰匙，也就是系統(tǒng)權(quán)限。你不在家的時(shí)候，家里發(fā)生什么事，你總不能要求保姆先打電話向你請(qǐng)示過(guò)才去做吧，你得給保姆一定的自主權(quán)。
再進(jìn)一步，你的保姆常常會(huì)覺(jué)得自己比你更懂怎樣做家務(wù)，就算是你花錢(qián)請(qǐng)保姆來(lái)干活的，保姆也未必每一件事都聽(tīng)你的。有時(shí)候保姆會(huì)違背你的意志自以為是地做事情，讓你很抓狂。
就是這樣的，人工智能設(shè)計(jì)者并不信任人類(lèi)，認(rèn)為人類(lèi)是有缺陷的，人工智能應(yīng)該能比人類(lèi)做得更好。人工智能設(shè)計(jì)者給予人工智能比人類(lèi)更高的權(quán)限優(yōu)先級(jí)。這是一切問(wèn)題的根源。
波音空難事件也是這樣。波音公司更信任他們的自動(dòng)控制系統(tǒng)，給予了自動(dòng)控制系統(tǒng)比人類(lèi)更高優(yōu)先級(jí)的控制權(quán)限。
別忘了，人類(lèi)才是人工智能的領(lǐng)導(dǎo)者，人工智能歸根到底是服務(wù)于人類(lèi)的。人類(lèi)更喜歡自己來(lái)做決定，將生死大權(quán)抓在自己手上，這樣，出了事故也能將責(zé)任歸咎于某一個(gè)人身上，而非冰冷的機(jī)器。人工智能的設(shè)計(jì)原則，應(yīng)該是人類(lèi)優(yōu)先才對(duì)。
②統(tǒng)一的人工智能系統(tǒng)比多個(gè)分散獨(dú)立的人工智能系統(tǒng)更好控制
在遭遇復(fù)雜的情況下，這時(shí)很難找到一種絕對(duì)正確的處理方法。就像行軍打仗，沒(méi)有絕對(duì)可行的制勝之道。就像玩風(fēng)暴英雄，也沒(méi)有穩(wěn)贏的打法?；蛘呔拖駧『?，特別是什么事都能干出來(lái)的熊孩子，一樣沒(méi)有絕對(duì)正確的方法。很多時(shí)候唯有隨機(jī)應(yīng)變，因地制宜。而且每一種處理方法各有利弊，需要權(quán)衡。
跟人一樣，人工智能做決策永遠(yuǎn)不斷會(huì)有新的平衡問(wèn)題出現(xiàn)，尤其是復(fù)雜的機(jī)器、系統(tǒng)，遇到復(fù)雜的情況。平衡搞不好，就會(huì)顧此失彼。
觸發(fā)器滿(mǎn)足條件立即觸發(fā)是原罪。波音737 MAX 8客機(jī)的MCAS系統(tǒng)有一個(gè)缺陷，就是只要有一個(gè)傳感器的數(shù)據(jù)出現(xiàn)異常便馬上進(jìn)行處理做出操作。而空客類(lèi)似的保護(hù)系統(tǒng)需要兩個(gè)或三個(gè)傳感器同時(shí)報(bào)警，以防誤報(bào)情況發(fā)生。
在復(fù)雜的情況下，需要綜合各方面數(shù)據(jù)，才能作出恰當(dāng)?shù)奶幚?。但是，無(wú)論在什么領(lǐng)域中的應(yīng)用，在程序設(shè)計(jì)上，程序員通常都是設(shè)計(jì)成設(shè)置好觸發(fā)器之后一旦滿(mǎn)足條件立即觸發(fā)操作，這樣的程序簡(jiǎn)單直接，但有致命的硬傷。
當(dāng)有某個(gè)觸發(fā)器接收到的數(shù)據(jù)有錯(cuò)誤時(shí)，程序馬上作出的錯(cuò)誤操作，有可能是無(wú)法挽回的致命錯(cuò)誤。譬如波音空難。
另外，通常情況下，程序中會(huì)有多個(gè)觸發(fā)器，當(dāng)有多個(gè)任務(wù)同時(shí)進(jìn)行，同時(shí)觸發(fā)多個(gè)觸發(fā)器作出操作時(shí)，就會(huì)彼此矛盾。
暴雪游戲風(fēng)暴英雄中AI的行為便是明眼可見(jiàn)很好的例子。在游戲中，經(jīng)常會(huì)看到電腦控制的英雄傻乎乎地原地打轉(zhuǎn)。這是為什么？
就是因?yàn)樯厦嫠f(shuō)的，多個(gè)任務(wù)同時(shí)進(jìn)行同時(shí)觸發(fā)多個(gè)觸發(fā)器作出操作造成彼此矛盾。AI接收到A事件打算趕往A地點(diǎn)，而同時(shí)又接收到B事件打算趕往B地點(diǎn)，兩個(gè)觸發(fā)器不斷觸發(fā)彼此矛盾的操作，AI并不會(huì)作出唯一的選擇，而是就只會(huì)在兩個(gè)選擇中不斷循環(huán)，結(jié)果什么都做不了。
直至某一個(gè)事件結(jié)束，AI終于不用作出選擇了，這時(shí)才會(huì)去做另一事件，如A事件結(jié)束AI就做B事件，或B事件結(jié)束AI去做A事件。
就好像，小明的爸爸叫小明掃地，小明的媽媽叫小明去買(mǎi)醬油，傻乎乎的小明準(zhǔn)備掃地時(shí)突然想到要買(mǎi)醬油就趕緊跑出家門(mén)，但出了家門(mén)又猛然想起要掃地緊忙又跑回家里，回到家門(mén)又想起要買(mǎi)醬油……如此如此，這般這般，陷入了無(wú)限的死循環(huán)。直至媽媽把掃地這活干完了，小明不用掃地了，這才安心出門(mén)去買(mǎi)醬油；或者爸爸把醬油買(mǎi)了，小明就老老實(shí)實(shí)地在家掃地了。
同時(shí)進(jìn)行的事件總有輕重。比如說(shuō)，小明想在家掃地，但這時(shí)突然發(fā)生地震，得趕緊跑出家門(mén)逃命。在AI程序設(shè)計(jì)上常常會(huì)見(jiàn)到這樣的低級(jí)錯(cuò)誤：地震發(fā)生后小明馬上跑出家門(mén)，但一離開(kāi)家小明又想到要掃地于是又回去了，剛一進(jìn)家門(mén)又意識(shí)到地震了得趕緊跑出去逃命啊，于是小明就在家門(mén)口不斷進(jìn)進(jìn)出出，無(wú)限循環(huán)下去，結(jié)果被地震震死了……
在風(fēng)暴英雄游戲中這種情況可不少。當(dāng)核心被攻擊時(shí)，在外面的AI死活就是不回城救援，結(jié)果核心被爆游戲也就輸了。其實(shí)AI并不是完全沒(méi)有意識(shí)到要回去，而是當(dāng)AI想要回城的時(shí)候，同時(shí)又有別的事件發(fā)生，打斷了AI的回城，AI又去做別的事情了，這就是典型的撿芝麻丟西瓜。
AI并不是堅(jiān)決不回城，而是在猶猶豫豫中始終無(wú)法作出回城的決心。
不恰當(dāng)?shù)腁I程序設(shè)計(jì)，很容易陷入撿芝麻丟西瓜、撿西瓜丟芝麻這樣不斷的死循環(huán)中。需要有一個(gè)決策的大腦，綜合各項(xiàng)情況作出恰當(dāng)?shù)木駬瘛?/p>
從另一方面來(lái)看，也就是必然需要一個(gè)統(tǒng)一的人工智能系統(tǒng)，而非多個(gè)分散獨(dú)立的人工智能系統(tǒng)。
波音737 MAX 8客機(jī)的一個(gè)癥結(jié)所在，就在于MCAS系統(tǒng)是獨(dú)立于自動(dòng)駕駛系統(tǒng)之外的。由于傳感器的數(shù)據(jù)出現(xiàn)錯(cuò)誤，MCAS系統(tǒng)將機(jī)頭往下壓，就算距離地面只有一米了還死不悔改。
如果MCAS系統(tǒng)是從屬于主自動(dòng)駕駛系統(tǒng)的，自動(dòng)駕駛系統(tǒng)可以綜合飛機(jī)各項(xiàng)數(shù)據(jù)分析，找到某項(xiàng)數(shù)據(jù)跟另一項(xiàng)數(shù)據(jù)存在的矛盾，處理方面的策略穩(wěn)妥一些，就不會(huì)死腦筋一味向下俯沖導(dǎo)致墜機(jī)慘劇發(fā)生了。
③人工智能如何正確理解人類(lèi)的意圖是一個(gè)永遠(yuǎn)的難題
復(fù)雜的機(jī)器，完全由人工操縱是不可能的。人機(jī)協(xié)作是必需的。在人機(jī)協(xié)作中，必然要求人工智能正確理解人類(lèi)的真實(shí)意圖。
比如說(shuō)，飛機(jī)在飛行過(guò)程中，正面有一個(gè)障礙物體出現(xiàn)，這時(shí)飛機(jī)可以向上飛繞開(kāi)，也可以向下、向左或向右，這些選擇都可以，但如果駕駛員想向上閃避，而人工智能想向下閃避，兩者造成了沖突，什么都干不了，眼睜睜看著飛機(jī)撞上去造成慘劇發(fā)生，這是不行的。
機(jī)師想拉升飛機(jī)，MCAS系統(tǒng)卻想將飛機(jī)往下壓，這樣的事故不應(yīng)發(fā)生。
在實(shí)際應(yīng)用中，應(yīng)該給予人類(lèi)操縱者最高的權(quán)限，人工智能的地位不能凌駕于人類(lèi)之上越權(quán)操作。人工智能畢竟不是真人，要想人工智能絕對(duì)正確地理解人類(lèi)的意圖是不可能的，解決方法就是人類(lèi)擁有最高領(lǐng)導(dǎo)權(quán)。
也可以這樣理解，你家的保姆不可能完全明白你的需求，你家的最高權(quán)限得在你手里，你不準(zhǔn)保姆做的事保姆可不能擅自行動(dòng)，可否明白？
人機(jī)協(xié)作的過(guò)程中，如果人工智能不能正確理解人類(lèi)的意圖，兩者之間的配合出現(xiàn)問(wèn)題，有時(shí)還不如完全由人工智能控制的效果。
這在風(fēng)暴英雄中得到了很好的印證。在合作模式中，玩家選擇電腦隊(duì)友組建一支玩家跟由電腦控制的隊(duì)友混搭的隊(duì)伍跟由完全電腦控制的敵方隊(duì)伍對(duì)戰(zhàn)時(shí)，會(huì)遭遇很多這樣的問(wèn)題。
比如說(shuō)，地圖機(jī)制發(fā)生時(shí)，如果電腦控制的敵方隊(duì)伍先一步到達(dá)事件地點(diǎn)，己方的AI很可能就死活不愿前往事件地點(diǎn)了。這種詭異的現(xiàn)象，究竟是因何導(dǎo)致？
是這樣的，電腦隊(duì)友并不能確定玩家是否前往事件地點(diǎn)，事件地點(diǎn)已經(jīng)有了對(duì)面5個(gè)AI了，己方4個(gè)AI各自一盤(pán)算，4個(gè)AI是打不過(guò)5個(gè)AI的，就放棄前往事件地點(diǎn)了。
己方4個(gè)AI是有著各自的獨(dú)立靈魂的，常常有的AI試圖前往事件地點(diǎn)，而有的AI已經(jīng)放棄前往事件地點(diǎn)，兵力無(wú)法集結(jié)，寡不敵眾，于是乎當(dāng)然干不過(guò)對(duì)面5個(gè)AI啦，打的話只能是一個(gè)個(gè)去送死。而對(duì)面5個(gè)AI，因?yàn)槭峭耆葾I控制的角色，卻能達(dá)成一致，統(tǒng)一向事件地點(diǎn)運(yùn)動(dòng)，在團(tuán)戰(zhàn)中獲利。
還有這樣的情況，縱然玩家盡快或提前趕到事件地點(diǎn)，跟己方4個(gè)AI匯合，這時(shí)對(duì)面5個(gè)AI趕到，團(tuán)戰(zhàn)開(kāi)始，玩家為了躲技能往后閃避了一下，己方4個(gè)AI馬上自作聰明以為玩家要撤退了，都跟著往后逃跑了，于是乎，團(tuán)戰(zhàn)崩盤(pán)了。
可以看到，玩家要想在搶地圖機(jī)制時(shí)搶贏對(duì)面5個(gè)AI，須要在地圖機(jī)制發(fā)生之前提早抵達(dá)事件地點(diǎn)，或者在地圖機(jī)制發(fā)生時(shí)比對(duì)面5個(gè)AI提前一步來(lái)到事件地點(diǎn)，同時(shí)別忘了發(fā)指令命令電腦隊(duì)友前往事件地點(diǎn)，在接戰(zhàn)時(shí)盡量不要為了躲技能往后閃避，這樣才有贏面。
所以說(shuō)，一定要有一個(gè)統(tǒng)一的人工智能系統(tǒng)，不能是多個(gè)分散獨(dú)立的人工智能系統(tǒng)，波音737 MAX 8客機(jī)獨(dú)立于自動(dòng)駕駛系統(tǒng)的MCAS系統(tǒng)就是禍根。人工智能永遠(yuǎn)不可能正確理解人類(lèi)的真實(shí)意圖，在人機(jī)協(xié)作的過(guò)程中，人類(lèi)需要享有絕對(duì)的最高控制權(quán)，人類(lèi)才是領(lǐng)導(dǎo)者。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論