中國作家協會主管

“我讓語音助手把燈關了，結果它不僅把燈開個不停，還發出冷笑。”

3年前，全球各地不少人被亞馬遜智能音箱接到指令后發出的冷笑嚇得夠嗆。今天，又有不少人拍下家里兩臺智能音箱煞有介事互相聊天的視頻，加上“笑哭”配樂發到社交網站。

如果再有人驚恐提出這是機器的覺醒，可能會被不以為然、嗤之以鼻——我們自認已經非常熟悉人工智能的運作原理。

我們對AI的未來，真這么胸有成竹嗎?

(一)

在最近熱播的電視劇《你好，安怡》中，2035年，與人類極為相似但并不具備自主意識的“芯機人”走入千家萬戶，絕對服從人類的他們變成了保姆、服務員和工人。同時，幾個“芯機人”異類也開始出現在人類社會，他們擁有和人類一樣的情感、意識與思考能力，一系列機器人與人類家庭、社會的復雜糾葛隨之而來。

與宮斗、穿越、職場斗爭等戲碼不同，《你好，安怡》將目光放在類人機器人與人類共存的倫理問題上：機器人自我意識覺醒后的一系列挑戰，機器人與人類之間的情感摩擦，比人類更加專業、智慧的機器人一旦具備了破壞性我們該如何應對……

在古裝、言情、家庭劇占據電視劇主流的今天，討論科技倫理似乎并不討巧。提起中國的科幻影視作品，人們津津樂道的似乎只有《流浪地球》《瘋狂的外星人》等寥寥幾部。盡管有幾部國產科幻大片正在路上，但科幻題材的電視劇“出圈”作品則少之又少。這似乎與中國突飛猛進的科技發展水平并不相稱。

不提拍攝手法、創作水準等見仁見智的評價，可以肯定的是，《你好，安怡》對鼓勵中國觀眾接觸并思考科技倫理頗有益處。以往人們熟知的科技倫理大片總以西方社會為背景，通過歐美的話語體系與思維方式展開，如《西部世界》《黑鏡》《蒼穹浩瀚》等。對于中國觀眾來說，當故事背景轉向熟悉的人群與生活，無疑會有更強的代入感，對機器人倫理問題也會有更深的危機感和探究動力。

(二)

放眼互聯網世界，關于科技倫理的討論，正以一種更有趣的方式走進人們視野。

前不久，一條關于人工智能奇妙“腦回路”的微博曾吸引數萬網友轉發關注。

這位網友分享了在開發游戲AI中的一件趣事：技術人員在一個“狼抓羊”游戲中設定的邏輯是，如果狼抓到了羊就獎勵10分，撞到障礙物就扣1分，而為了保證盡快完成任務，每秒鐘狼都會被扣0.1分，結束時得分越高獎勵越多。

聽上去合理的訓練規則，卻收獲了越來越差的訓練結果。工程師們仔細檢查后才明白，原來扮演狼角色的AI發現，狼在大部分情況下都很難抓住羊，而追逐的時間越久扣分就越多，因此AI分析后，決定在游戲一開始便一頭撞死自己，這樣反而能獲得最高分。

雖然不少網友指出了算法設計中的問題，但這也暴露了人類為AI設定“終極目標”時極易出現的漏洞：我們往往忽視了一些人性中默認的最高準則。

盡管有人認為阿西莫夫的“機器人三定律”或類似法則可以解決這一問題，認為只要設定機器人不得傷害人類，在這一前提下保護自身，就能有效避免機器冷酷無情達到目的時可能帶來的風險。

然而，僅以自動駕駛為例，就可以發現最高準則不一定能解決復雜的倫理困境。

各國在制定自動駕駛倫理法則時，就曾面臨經典的“電車難題”：假如車輛的終極任務是保證人員安全，那么當街角出現一群小學生，在沒有更多選擇的情況下，是應該撞上去保全駕駛員，還是不顧駕駛員安危避讓以保護更多行人?如果僅以傷害人數多少來決策，那么人的年齡、職業、社會地位和親屬關系是否就應完全不加考慮?

退一步說，即使AI能完美實現人的最高目標與偏好，但人類社會的價值體系本身就存在陰暗面。

從人工智能的實際應用來看，歧視、逐利、低俗等人性弱點，都逐漸在算法運行過程中一一顯露。線上聊天機器人變成說臟話、種族歧視的不良少女;應用于招聘、保險、司法審判等領域的算法可能存在職業、性別、種族歧視;人臉識別技術也不斷被曝出應用于售樓處、衛浴門店等，收集顧客信息用于牟利。

技術本身無善惡，但寫在人性中的貪婪、欲望，讓我們無法保證每名開發者、每個商業主體都能善用技術。而技術愈精進壯大，其身后的陰影也會隨之擴張蔓延。

這并非杞人憂天。事實上，在技術不斷創新試錯的今天，大部分人對智能科技濫用的警惕性還遠遠不夠。

(三)

一個人類與強智能機器共存的未來似乎無可避免，而只有把AI倫理議題以平易近人、深入淺出的方式豐富呈現，放到社會輿論場中央，才能討論得更全面、更透徹，我們也才能越來越接近一個完善的人工智能體系，才能公平給予社會成員全面參與、自主抉擇的權利。

關注AI倫理的不再只是AI工程師們，哲學、倫理學、法學等各學科力量都在被吸引進來。這一關系每個人未來命運的話題，無疑還需要社會公眾提升參與意識，積極討論和監督。

與此同時，除了描繪人類與智能機器共舞的未來，大眾傳媒也應積極引入更多倫理議題，提升人們的警惕性和辨別技術風險的能力。

這并非鼓勵人們抗拒技術、因噎廢食，而是一份邀約，邀請每個人知情、參與，共同完善技術體系。在機器人覺醒之前，我們本身應當覺醒。

（刊于《半月談內部版》2021年第4期）