一个代码拼写错误引发微软Azure故障，17个生产级数据库被删-德赢Vwin官网网

5 月 24 日，微软 Azure DevOps 在巴西南部地区的一处 scale-unit 发生故障，导致宕机约 10.5 个小时。近日，微软首席软件工程经理 Eric Mattingly 出面针对此次故障事件道歉，并透露了导致中断的原因：即，一个简单的拼写错误致使 17 个生产级数据库被删除。

事件背景起源于，Azure DevOps 工程师有时需要对生产数据库的快照进行保存，以调查报告的问题或测试性能改进。为了确保这些快照数据库得到清理，会有一个专门的后台每天运行，系统会在设定的时间段后删除旧快照。

在 Sprint 222 期间，Azure DevOps 工程师升级了代码库，将已弃用的 Microsoft.Azure.Managment.* 包替换为受支持的 Azure.ResourceManager.* NuGet 包。此举连带了大量的 pull request 变更请求，以寻求将旧包中的 API 调用替换为新包中的 API 调用。而其中就隐藏了有关快照删除作业中的一个拼写错误，它将删除 Azure SQL 数据库的调用换成了删除托管数据库的 Azure SQL Server 的调用。

Eric 称，运行此代码的条件很少见，因此测试机制没有很好地覆盖。

我们使用我们的安全部署实践（SDP）将 Sprint 222 部署到 Ring 0（我们的内部 Azure DevOps 组织），其中不存在快照数据库，因此作业没有执行。在 Ring 0 部署了几天之后，我们接下来部署到 Ring 1，那里是受影响的巴西南部 scale-unit 所在的地方。其中快照数据库的存在时间足以触发错误代码，当作业删除 Azure SQL Server 时，它还删除了 scale-unit 中的所有 17 个生产数据库。从那时起，该 scale unit 就无法处理任何客户流量。

Azure DevOps 工程师在数据库删除开始后 20 分钟内检测到中断，并开始着手修复。目前数据已经全部恢复，但却花费了长达十个小时。对此 Mattingly 则解释了几个原因：

首先，客户无法自己恢复 Azure SQL Server，因此必须由 Azure SQL 团队来恢复 Azure SQL Server。“确定我们需要 Azure SQL 的值班工程师，让他们参与进来并恢复服务器，这个过程大约需要一个小时。”

其次，数据库有不同的备份配置，一些被配置为 Zone 冗余备份，另一些则被配置为较新的 Geo-zone 冗余备份。协调这种不匹配情况给恢复过程增添了不少时间。

最后，在数据库开始重新上线后，由于 Web 服务器出现了一系列复杂的问题，即使是数据位于这些数据库中的客户，也无法访问整个 scale-unit。

根据介绍，这些问题源于服务器预热任务，该任务通过测试调用遍历可用数据库列表。在恢复过程中的数据库出现了一个错误，导致预热测试 “执行指数级的 backoff retry，使得正常情况下只需不到 1 秒的预热平均耗时了 90 分钟。”

更复杂的是，这个恢复过程是交错进行的，一旦有一两台服务器开始重新接受客户的流量，它们就会过载并出现故障。最终，恢复服务需要工程师阻断所有流向巴西南部 scale-unit 的流量，直到一切都准备就绪后再重新加入负载平衡器和处理流量。

微软方面表示，已经实施各种修复和重新配置，以防止问题再次发生。

已经修复了快照删除作业中的错误。

为快照删除作业创建了一个新测试，它针对真实的 Azure 资源充分执行快照数据库删除方案。

正在为关键资源添加 Azure 资源管理器锁，以防止意外删除。

确保所有的 Azure SQL 数据库备份都配置为 Geo-zone-redundant。

确保所有未来的快照数据库都在生产数据库的不同 Azure SQL Server 实例上创建。

正在修复 Web 服务器预热任务中的逻辑，以便即使数据库处于 offline 状态也能成功启动。

正在创建一个新的 cmdlet 来恢复已删除的数据库，以确保恢复使用与删除之前相同的设置（包括备份冗余）。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

数据库

数据库

+关注

关注
7

文章
3794

浏览量
64360
资源管理

资源管理

+关注

关注
0

文章
22

浏览量
7870
微软Azure

微软Azure

+关注

关注
0

文章
11

浏览量
4542

原文标题：一个代码拼写错误引发微软Azure故障，17 个生产级数据库被删

文章出处：【微信号：OSC开源社区，微信公众号：OSC开源社区】欢迎添加关注！文章转载请注明出处。

数据库数据恢复—Mysql数据库表记录丢失的数据恢复流程

Mysql数据库故障： Mysql数据库表记录丢失。 Mysql数据库故障表现： 1、Mysql

发表于 12-16 11:05 •104次阅读

<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—Mysql<b class='flag-5'>数据库</b>表记录丢失的<b class='flag-5'>数据</b>恢复流程

数据库事件触发的设置和应用

数据库无论对于生产管理还是很多的实际应用都非常重要。小编这次聊一下数据库事件触发的应用。示例使用了postgresql和Python。

发表于 12-13 15:14 •101次阅读

数据库数据恢复—MYSQL数据库ibdata1文件损坏的数据恢复案例

mysql数据库故障： mysql数据库文件ibdata1、MYI、MYD损坏。故障表现：1、数据库无法进行查询等操作；2、使用my

发表于 12-09 11:05 •127次阅读

SQL错误代码及解决方案

在SQL数据库开发和管理中，常见的错误代码及其解决方案可以归纳如下：一、语法错误（Syntax Errors） 错误代码 ：无特定

发表于 11-19 10:21 •1336次阅读

数据库数据恢复—通过拼接数据库碎片恢复SQLserver数据库

一个运行在存储上的SQLServer数据库，有1000多个文件，大小几十TB。数据库每10天生成一个

发表于 10-31 13:21 •198次阅读

Oracle数据恢复—异常断电后Oracle数据库启库报错的数据恢复案例

Oracle数据库故障：机房异常断电后，Oracle数据库启库报错：“system01.dbf需要更多的恢复来保持一致性，

发表于 09-30 13:31 •298次阅读

企业级数据库的配置和管理要求汇总

企业级数据库配置需高性能硬件支撑，包括服务器、存储、网络及电源冗余，选用稳定DBMS与操作系统，注重索引与查询优化。管理上，强调数据安全，实施加密、访问控制与审计；确保高可用，配置容错机制与备份恢复；监控调优性能，规划容量与扩展性；追求易用性，简化日常管理与维护，确保

发表于 09-27 10:50 •194次阅读

数据库数据恢复—SQL Server数据库出现823错误的数据恢复案例

SQL Server数据库故障： SQL Server附加数据库出现错误823，附加数据库失败。数据库

发表于 09-20 11:46 •338次阅读

数据库数据恢复—SQL Server数据库所在分区空间不足报错的数据恢复案例

Server数据库故障：存放SQL Server数据库的D盘分区容量不足，管理员在E盘中生成了一个.ndf的文件并且将

发表于 07-10 13:54 •478次阅读

数据库数据恢复—数据库所在分区空间不足导致sqlserver故障的数据恢复案例

数据。服务器上部署sql server数据库，数据库存放在C盘。 数据库故障：工作人员发现服务器的C盘容量即将耗尽，于是将sql

发表于 05-22 13:16 •450次阅读

数据库数据恢复—raid5阵列上层Sql Server数据库数据恢复案例

数据库数据恢复环境： 5块硬盘组建一组RAID5阵列，划分LUN供windows系统服务器使用。windows系统服务器内运行了Sql Server数据库，存储空间在操作系统层面划分

发表于 05-08 11:43 •503次阅读

数据库数据恢复—ndf文件大小变为0KB的数据恢复案例

存储设备损坏导致存储中SQL Server数据库崩溃。对数据库文件进行恢复后，用户发现有4个ndf文件的大小变为0KB。该SQL Server数据库每10天生成

发表于 05-07 11:19 •416次阅读

微软将为Win 10/11系统的记事本加入拼写检查与自动纠正功能

此外，仅少数参与Windowsinsider测试计划的用户有机会体验到此版本应用。新的记事本可使出现在文本中的拼写错误字符突出显示并给出相应修正意见，同时，使用者亦可启用自动校正功能以避免错别字出现。

发表于 03-21 10:02 •497次阅读

PostgreSQL数据库连接报错故障分析

数据库的密码设置错误或未设置，在连接到本地服务后，重新设置即可。本次错误就是大意将密码错打了一个字母。

发表于 03-15 10:00 •1507次阅读

mysql怎么新建一个数据库

mysql怎么新建一个数据库 如何新建一个数据库在MySQL中创建一个数据库是MySQL中的基

发表于 12-28 10:01 •885次阅读