系统故障的三种维度：如何为失败做好设计

核心观点

• 在高风险、高混乱的环境中，必须主动规划故障。斯多葛学派称之为“预想邪恶”，现代系统科学则称之为“故障模式”。
• 故障并非千篇一律，可以从三个维度进行区分：故障方向（朝向 vs 背离）、故障时机（早期 vs 晚期）和故障程度（局部 vs 完全）。
• 针对每种故障模式进行前瞻性设计，能提升系统在危机中的韧性，确保即使偏离原计划，也能达成核心目标或避免灾难性后果。

故障方向：朝向 vs 背离

故障朝向（Failing Toward） 指系统主动识别了一个次要稳定点，并在主模式失效时向该点靠拢。这种故障模式能确保系统在降级状态下继续运作。例如，在人类-AI协作系统中，当AI组件发生故障时，系统会自然地过渡到人类独立决策模式，后者作为次要稳定点，可以维持任务推进。

故障背离（Failing Away） 指系统识别出特定风险，并设计成在故障时朝着远离该风险的方向失效。这就好比在悬崖边行走，宁可向内摔倒，也绝不向外跌落。飞机着陆时，如果着陆序列出现偏差，飞行员会优先选择复飞，这并非启动紧急备份，而是先远离灾难性故障（触地）。

原文参考："The more precisely you understand your system's secondary points of stability and its areas of concentrated risk, the more deliberately you can design which way it falls."（你越精确地理解系统的次要稳定点和风险集中区域，就越能有意识地设计其失效方向。）

故障时机：早期 vs 晚期

故障早期（Failing Early） 允许系统在陷入不可逆后果之前放弃当前路径。这往往需要主动识别并利用早期信号，判断某方案是否必然导致失败。创业公司常采用此策略，通过低成本实验（子弹） 快速试错，再决定是否投入重资源（炮弹）。这被称为“先打子弹，再打炮弹”。

故障晚期（Failing Late） 则意味着系统会尽可能延长现有方案的运行寿命，直至资源耗尽。关键在于，“延迟失败”绝不等于“默默失败”。例如，医院的氧气瓶会一直供氧直到耗尽，但同时配备仪表和警报器来提示剩余量，以便团队提前规划，最大化资源利用率。

故障程度：局部 vs 完全

局部故障（Failing Partially） 发生在系统虽已失效，但仍保留部分核心功能时。例如，许多视频喉镜在设计上模仿了传统非视频喉镜的刀片结构，即使视频系统失灵，它仍可作为普通喉镜继续完成插管操作。

完全故障（Failing Completely） 则适用于系统看似还能运行，实则隐患巨大的情况，或继续运行可能引发级联灾难的风险。地震后的桥梁虽未倒塌，却可能因结构性损伤而随时坍塌。此时关闭桥梁（彻底失效）是为了避免人员伤亡和财产损失的连锁反应。

原文参考："Complete failure is useful when a failed system might still appear operational but actually is not, or when continuing to operate risks cascading or catastrophic consequences."（当故障系统看似还能运行但实际上已经不行，或者继续运营有级联或灾难性后果的风险时，完全故障是有用的。）

总结：建立共享心智模型

无论采用哪种故障模式，关键在于团队内部要建立关于系统失效方式的共享心智模型。危机发生时，如果成员在“是放弃还是坚守”上存在分歧，将产生严重内耗。为此，必须在危机来临前就故障方向达成共识，并随条件变化持续更新。这并非悲观，而是准备。对于人类-AI协作团队而言，由于人与AI对故障结构的直觉可能完全不同，建立明确的事先约定，不仅有益，更是必不可少的。