应用每一次掉败来进修，汲取主要的教训。采取过后剖析办法，在故障较少的情况中推想故障。运用来由:我们从掉败中能力获得最深入的教训，而不是从胜利中。不要让任何掉败糟蹋失落。从每次掉败中进修，发明须要纠正的技巧、人员和流程上的问题。

在聚首中，每当谈到世界年夜事时，我们中的很多人都可能会说“我们似乎从未汲取汗青上的教训”。但又有几小我能真正在工作中对我们本身、我们发明的器械和我们的团队履行这个尺度呢?在这个具有高可用性和高可扩大性的技巧平台上，存在一个有趣的悖论，即最初构建的体系最好，不常产生故障，是以让团队进修的机遇不多。这个悖论的内涵寄义就是，流程、体系某人员定负载的前提下测试剧本，确保在运用法式应用数据库时，它仍然可以或许履行。

口对运用中的SQL查询进行束缚。开辟团队须要清除所有SQL语句中的歧义，删除所有SELECT*查询，而且给UPDATE语句加上要更新的列的名字。

口数据的语义修正。在宣布版本中，开辟团队不克不及修正数据的界说。举个例子。票务表中的一列用于寄存状况旌旗灯号，个中有三个值assigned、fixed和closed。在运用的新版本中，假如没有宣布处置新状况的代码，就不克不及添加第四个状况。

口WireOn/ireOff』。应当让运用构造化，使其能依据外部设置装备摆设，让有些用户可以或许拜访某个代码路径和功效，而有的用户则不克不及拜访。这种设置可以寄存在设置装备摆设文件中，也可以寄存在数据库表中既可以或许依据脚色付与拜访权限，也可以或许依据随机百分比分派权限。有了这种构造，就可以或许让有限的用户对新功效进行beta测试，并且可以或许敏捷地删除重要bug的代码路径，从而不必回退全部代码。我们获得的教训固然惨痛，然则很有价值，有了此次教训，我们再也不会宣布不克不及回退的代码了。即使今后和其他团队一路工作，我们也会如许请求本身的。可见，这些原则并不庞杂，而是相当简略，仟何团队都可以或许运用它们，都能具备回退的才能。方面的每一次掉败都给我们供给了履行过后剖析的机遇，从而让我们可以或许有所长进并修正体系。若不克不及把握好这些名贵的机遇来进步自身程度、改良流程并改良技巧，我们就不克不及像今天如许正常运转下去，从而导致又一次掉败。假如这种情形产生在超高速友虔而要积被进付抄的冏业现，那一足公惨遭经當掉败。当我们在快速成长时，会产生太多工作，两年甚至一年前设计的解决计划是无法支撑相当于构建体系时10倍的营业量的。

核电时期我们可以更深刻地懂得为什么要从掉败中汲取教训。1979年，三里岛核电站第2组反响堆的部门熔毁，成为美国汗青上最重年夜的核电变乱。这一变乱为多本书和至少一部片子供给了素材，还发生了两个主要理论，涉及的是在很少产生变乱但一旦产生价值很高的情况中进修的需要性。

CharlesPerrow提出了正常变乱理论。该理论揣摸，现代耦合的体系的内涵庞杂性使得变乱弗成避免。这些体系的内涵耦合性会使交互急剧进级，致使人或掌握体系基本没有机遇进行胜利的交互。回忆一下，你是不是经常碰到这种情形，正在监控的解决计划忽然从“绿色”全体酿成了“红色”，而在此之前，你甚至来不及对第一个警告信息作出反响ToddLaporte提出了高靠得住性组织的理论。他信任，即使没有产生可以或许让一个组织进修的变乱，也会有一些组织策略可以或许实现高靠得住性。2)固然这些理论的作者没有就这些理论是否能共存杀青共鸣，他们照样有一些配合点的。起首，掉败过的组织有更多的机遇进修，平日比没有掉败过的组织成长得更快，当然，这里假设他们会应用这些机遇从中进修其次，和前者类似，很少出故障的体系供给的进修机遇少，假如没有其他的办法，那么相干的团队和体系就难以成长和进步。

评论辩论完从掉败中汲取教训从而获得进步这个主题后，我们简略介绍一个轻量级的流程，经由过程这个流程我们可以进修和进步。对于阅历过的每个重年夜问题，我们以为相干组织都应当对这些问题进行过后剖析，可用如下三个阶段来解决问题。

口阶段1，时光轴。为造成问题或危机的事宜生成一个时光轴。这阶段只评论辩论时光轴。我们经常发明，即使已经完成了时光轴，鄙人一个阶段，人们照样会想起或者发明值得标注到时光轴上的事宜。

口阶段2，发明问题。该流程的主持者会与相干的团队一路工作，依照时光轴一一检讨，发明个中的问题。第一个监控器在凌晨8点发明了客户故障，然则直到正午都没有人对其进行响应，如许可以接收吗?为什么数据库没有进行主动故障恢复?为什么我们以为删除用户授权表会使运用从新开端运行?从时光轴中发明每一个问题，然则在问题辨认阶段停止之前，不克不及履行任何修正或其他操作。当然，团队成员要提出建议履行的操作，但让团队在阶段2专注于问题辨认是该流程的主持者的义务

口阶段3，解释操作。对于发明的每一个问题，至少要有一个与之联系关系的操作。该流程的主持者会与相干的团队一路遍历问题清单，标识出要履行的操作、这个问题的负责人以及预期的成果和应当完成操作的时光。依据SMART轨则，每个操作应当是具体的、可权衡的、可实现的、实际的且实时的。即使一个操作须要一组人来完成，也须要标识出一个负责人。

直到造成故障的人员、流程和技巧方面的问题都解决了，一次过后剖析才算完成。我们]经常发明，客户会把“办事器逝世机”作为一个有时事宜的基本原因。任何一个有时事宜的基本原因，都不克不及归罪于单一的掉败，无论是硬件故障，照样人员和流程的掉误。任何扩大性和可用性方面的掉败，真正的问题都是“为什么全部体系不克不及运行得更好呢”。假如数据库掉败是因为负载问题，那么为什么相干组织不克不及早点儿发明负载需求呢?应当采取什么样的流程或监控办法，能力赞助组织发明问题呢?为什么须要消费这么长时光从故障中恢复呢?为什么没有划分数据库，让故障对客户或办事的影响小小一些呢?为什么没有一个数据库的读副本敏捷地被晋升为写人副本呢?依据我们的经验，至少要答复五个笼罩分歧偏向的“为什么”的甚

既然已经评论辩论过了应当做什么，那么下面来看看没若干出故障机遇的例子。有些组织荣幸地拥有可以或许有用扩大且很少出故障的平台，Weick和Sutcliffe为如许的组织供给了一个解决计划。我们依据需求对他们的计划稍加修正，改后的计划如下所示。

口存眷故障。这个实践就是监控产物和体系，及时地申报产生的毛病。他们以为，胜利会麻木感到，滋长自信心理。要与这种骄傲情感作奋斗，组织须要坚持体系故障和掉败彻底透明。监控申报要普遍地分发下去，而且要在每日例会如许的情况中频仍评论辩论平台的运维。

口谢绝简化说明。对一切都不要失落以轻心，追求多种弓惹人问题的可能。不消以为故障是正常的，是体系固有的。人们习惯把小小的波动说明为“正常的”，其实它们可能是即将产生的故障的最早指导旌旗灯号。

口存眷运维。査看分钟级其余具体数据，包含及时数据的应用，赓续进行评估，并连续更新这些数据。

口培训多技巧员工。让员工在分歧的岗亭上轮换，给他们培训新技巧，可以让他们具备额外的才能。eBay以前的运维人员可以或许证实这一点，它的DBA、SA和和收集工程师都曾经在运维中间做过运维工作。此外，一旦给体系打了补丁，相干组织就应当敏捷为下一次涌现状态做好预备。

口尊敬专家。在危机事宜中，要把引导权交给处置该问题最专业的人。可以斟酌在运维中间的危机治理机制中创立一个新职位，如“技巧义务人”。

绝对不要糟蹋从网站制造掉误中进修的机遇，因为这是对体系或平台进行准确修正的最佳机遇。把一种流程(例如过后剖析的流程)落实到位，确A所有年夜中字的机公。假如你的条统设计得很好，即便超负荷作，也不常出故障，那么可以实践一下预警才能，细心不雅察数据，以便发明未来可能涌现的故障。在这种情形下，人们很轻易骄傲，你可以组织脑筋风暴或者推理运动，发明可能产生的各类故障事宜。