极端决策的AI悖论：快慢思维的融合与风险
核心观点
- 在极端环境下做出最佳决策，需要有效结合快速与慢速两种思维模式。
- 人工智能（AI）有潜力提升生死攸关情境下的决策速度与准确性。
- 在此类情境下使用AI也伴随着显著的风险。
极端环境下的决策挑战
在高压、危险情境下的决策极具挑战性。时间压力、信息有限、混乱、疲劳以及对死亡的强烈意识，共同构成了决策失误的温床，有时会导致严重后果。
- 典型案例：1988年，美国海军“文森斯”号巡洋舰误将伊朗航空655号班机识别为敌对战机并将其击落，导致290名乘客和机组人员丧生。
- 决策背景：当时美伊关系紧张，舰长在时间紧迫、信息快速演变的情况下，必须做出瞬间判断。
两种思维模式与决策
诺贝尔奖得主丹尼尔·卡尼曼阐述了决策所基于的两种思维系统：
- 系统一思维（快思考）：快速、自动、直觉式。
- 系统二思维（慢思考）：缓慢、有意识、审慎式。
“文森斯号”事件是系统一思维失误的例证。舰长没有时间进行深入分析，必须依赖直觉做出瞬间决策。
同时，系统二思维也影响了该决策。舰长对当前政治军事态势以及海军应对潜在攻击教义的深入了解，共同促成了其开火的决定。
- 在实际决策中，系统一的快速反应发生在系统二的知识与思维背景之下，两者共同作用。
极端决策的传统优化方法
极端决策不仅存在于军事领域，也常见于执法、消防和急诊医疗等行业。传统优化方法旨在结合训练来提升两种思维能力：
- 系统二思维训练：通过课堂学习（如历史、政治科学）来加强知识储备与分析能力。
- 系统一思维训练：通过大量、逼真的实地训练和在职训练来磨练直觉与快速反应能力。
- 应用领域：西点军校学员、执法人员、消防员和医护人员都接受此类结合性训练。
人工智能对极端决策的潜在助益
鉴于极端决策的严重后果，AI正成为一种工具，旨在增加正确决策几率，同时减少错误决策几率。
- 核心优势：AI的速度和处理能力，能在几秒钟内综合海量知识库，从而将系统二思维转化为系统一思维的速度。
应用场景：
- 军事：在“文森斯号”事件中，AI或能更快、更全面地处理信息，避免认知过载，从而挽救生命。
- 医疗：帮助医生更准确地进行疾病诊断和治疗决策。
- 执法：协助更有效地调配警力打击犯罪。
人工智能辅助极端决策的潜在风险与挑战
尽管存在潜力，但在生死决策中使用AI辅助存在诸多潜在陷阱：
人类控制度：
- 当前AI辅助通常默认由人类做最终判断（如医生诊断、指挥官决策）。
- 未来AI系统可能演变为自主决策，这在技术上可行，但在伦理上存疑。
文化差异与政策：
- 不同国家和非国家行为体可能有截然不同的AI使用原则。
- 恐怖组织等可能更少受战争法约束，滥用AI武器系统，危及平民或违反国际准则。
道德与伦理考量：
- AI系统在设计时必须考虑道德与伦理因素，尤其是在涉及战术、行动或战略决策时。
- 未来的AI系统在做出自主决策或向人类提供建议时，应能反映这些因素。
信息甄别挑战：
- 在有效信息与错误信息（虚假信息、误导信息）混杂的环境中，AI需要具备强大的信息甄别能力，这对优化决策至关重要。
AI的恶意使用：
- 不应假设AI必然被善意使用。威权政权可能利用AI面部识别等技术监控、压制持不同政见者。
信任度差异：
- 对AI的信任受国籍和职业背景影响。人们可能在某些情境（如解读常规MRI扫描）中更接受AI，而在其他情境（如警察使用致命武力）中则不然。
结论
问题的关键不在于AI是否会被用于辅助或做出极端决策——它必将迅速且不可避免地在此领域及其他领域普及。真正的核心在于：军队、执法机构、医疗团队等必须做出生死决策的部门，应如何负责任地运用这项技术。尽管存在潜在益处，但在此类目的和严峻情境下，严重的滥用风险同样不容忽视。