在美國科幻小說家艾薩克.阿西莫夫的短篇小說《Run around》中，機器人Speedy被科學(xué)家派去執(zhí)行危險任務(wù)，幾個小時之后卻被發(fā)現(xiàn)在原地繞圈圈，口中重復(fù)無用的指令。原來是Speedy遇到了“道德危機”，根據(jù)機器人三大法則，機器人必須服從人類的命令，而又不得造成自己的傷害。法則三讓他折回，而法則二促使他前進，在進還是退這個問題上陷入了兩難。

故事背景設(shè)定在2015年，雖然看起來好像擔心還為時過早，但實際上，無人駕駛汽車的出現(xiàn)、軍用機器人的到來，家用機器人即將投入使用都預(yù)示著我們即將迎來一個人機合作的時代。隨之而來的是必須要面對的機器人道德沖突難題。在不久的未來，無人駕駛汽車會面臨這樣的道德選擇：在無法避免事故的情況下，是選擇撞行人還是撞墻壁?

這個問題沒有正確答案。機器人專家認為即使有，要根據(jù)復(fù)雜實況設(shè)定機器人要采取的方案和計劃也是不切實際的。

Tufts大學(xué)的計算機科學(xué)教授，MatthiasScheutz說，要根據(jù)所有可能出現(xiàn)的情況設(shè)計出“if，then，else”的復(fù)雜系統(tǒng)幾乎是不可能的。這也是問題的困難所在：你不能列出所有的情況和應(yīng)對措施。相反，Scheutz試圖將機器人的大腦設(shè)計得能像人腦做出理性的道德判斷。其團隊獲得由美國海軍研究辦公室(ONR)撥放的750萬美元資助，對人道德選擇時的思考過程進行深入研究，并將嘗試在機器人身上進行模擬推理過程。

在為期五年的項目結(jié)束時，科學(xué)家們必須對機器人的道德決定做出演示。其中一個例子是機器人醫(yī)生接受命令為醫(yī)院提供緊急救援物資，路上遇到一個受重傷的士兵，機器人應(yīng)該停止任務(wù)幫助士兵嗎?對于Scheutz的團隊來講，機器人所做的決定是對還是錯，遠沒有他做決定的過程重要。機器人是否可以權(quán)衡各方面因素進行選擇，并對選擇進行解釋。“我們可以看到機器人變得越來越成熟，越來越復(fù)雜，越來越自主”，他說，“我們不希望在未來社會里看到這些機器人對道德選擇無動于衷。”

RonArkin，曾與軍方合作過的喬治亞理工學(xué)院著名倫理學(xué)家，寫出了機器人的第一個道德體系。對于ONR的資助，Arkin和他的團隊提出了一種新方法。不同于為機器人設(shè)定道德約束，Arkin的團隊研究嬰兒的道德發(fā)展。這些經(jīng)驗將被運用到Soararchitecture(一種機器人認知系統(tǒng))中。他們希望機器人在道德問題上可以比人類做出更好的選擇，駕駛員可沒時間在撞車一瞬間計算潛在的傷害。

在這之前，機器人還要面對另外一個挑戰(zhàn)，即如何從環(huán)境中收集大量的信息，比如，有多少人在場，每人所扮演的角色。目前機器人的感知十分有限，如何在戰(zhàn)場分清敵友，以及評估災(zāi)難受害者的身體和精神狀況都仍是一個難題。