NovaVMware/Minesweeper/Status
< NovaVMware | Minesweeper
HypervisorSupportMatrix | NovaVMware
当前服务状态
阻止性 Bug
这些 bug 可能会导致 Minesweeper 以测试失败的形式出现故障。如果存在修复,则需要尽快合并,以便 Minesweeper 能够正确运行。
| 严重程度 | Bug | 修复(需要评审关注) |
|---|
服务中断历史
所有时间均为 PST。
| 事件时间 | 描述 |
|---|---|
| 2 月 18 日,晚上 10:12 | 硬件问题已解决,并且已修复失败的测试。Minesweeper 正在重新投票。失败的补丁集也可能需要重新基于以通过测试。 |
| 2 月 12 日,下午 1:57 | 我们目前正在遇到一些物理硬件问题。 |
| 9 月 16 日,下午 4:00 | Minesweeper 正在重新投票。 |
| 9 月 16 日,下午 2:54 | Minesweeper 正在评论但目前未投票。我们正在处理中。 |
| 8 月 1 日,下午 3:06 | Minesweeper 在云问题解决后已恢复运行。 |
| 7 月 29 日,下午 4:07 | 我们的云正在进行维护。维护完成后将更新此页面。 |
| 7 月 31 日,晚上 11:03 | 升级后我们遇到了一些网络问题,目前正在努力修复这些问题,以便恢复 CI。请继续关注。 |
| 7 月 28 日,晚上 9:54 | 我们的云团队能够修复基础设施,Minesweeper 已恢复在线。由于我们正在努力从积累的大量队列中恢复,因此评审可能会比较慢,请耐心等待。 |
| 7 月 17 日,晚上 10:34 | 我们的测试基础设施正在遇到重大问题,导致大多数构建失败和/或排队。我们暂时暂停 Minesweeper,并正在努力查找和修复问题。 |
| 6 月 25 日,晚上 9:45 | 由于升级到最新的 Gerrit Trigger 后出现问题,目前无法使用重新检查功能。正在修复,重新检查应该明天可以正常工作。 |
| 6 月 25 日,晚上 9:40 | 在与一些基础设施问题和另一个 Tempest bug 纠缠之后,Minesweeper 已恢复运行。 |
| 6 月 24 日,下午 3:34 | SqlAlchemy 提交破坏了 tempest。正在等待 来自全局需求的更新 以重新启用 Minesweeper。 |
| 4 月 28 日,上午 9:00 | Gerrit 升级后我们失去了对评审服务器的访问权限。我们目前正在努力恢复对服务器的访问权限。 |
| 4 月 24 日,下午 3:53 | HV 问题已解决,今天早上看到的网络问题也已解决。构建已恢复在线。 |
| 4 月 23 日,下午 5:05 | 自昨天以来,我们一直在看到间歇性的 HV 问题。我们正在调查中。 |
| 4 月 18 日,晚上 8:00。 | 与基础设施相关的所有问题均已解决,Minesweeper 已启动并正在运行。 |
| 3 月 28 日,凌晨 1:30 | 升级完成,但我们正在云中遇到 neutron 超时问题。我们的工程团队正在调查,CI 将在问题解决后恢复在线。 |
| 3 月 27 日,下午 4:00 | 正在将我们的云升级到 havana。CI 将在升级完成后恢复在线 |
| 3 月 24 日,上午 8:00 | Minesweeper 重新检查已修复。 |
| 3 月 20 日,中午 12:10 | Minesweeper 重新检查目前无法正常工作。我们正在努力修复此问题。 |
| 3 月 18 日,上午 11:48 | 基础设施问题阻止我们生成测试环境。CI 在我们调查时已关闭。 |
| 3 月 14 日,下午 3:31 | 网络问题阻止我们访问 git.openstack.org。CI 目前已关闭,因为我们正在调查。 |
| 3 月 6 日,凌晨 12:29 | CI 从上午 9:38 开始已恢复在线。 |
| 3 月 6 日,晚上 9:45 | 影响 CI 的配额问题。昨晚的构建可能已失败。我们正在修复配额问题,CI 应该很快恢复在线。 |
| 3 月 5 日,下午 1:12 | 物理交换机问题已解决。CI 已恢复,我们正在继续监控构建。 |
| 3 月 5 日,中午 12:02 | 物理交换机已失效。CI 将在修复后恢复。 |
| 3 月 5 日,上午 11:30 | 由于基础设施问题,服务已关闭。我们正在调查中。 |
| 3 月 5 日,上午 10:56 | 服务已恢复,CI 已恢复在线。 |
| 3 月 5 日,上午 10:54 | 物理网络硬件已失效。CI 目前已暂停,因为我们正在尽快努力修复问题。 |
| 3 月 4 日,下午 4:26 | 我们已解决网络问题。CI 已恢复在线。 |
| 3 月 4 日,下午 2:47 | 基础设施问题导致网络问题,因此 CI 目前已暂停。正在调查中。 |
| 2 月 28 日,下午 3:48 | CI 因基础设施维护和升级而关闭。我们预计升级将持续 4 小时。 |
| 2 月 2:17 PM | 我们已将我们的 Devstack 回滚到早期的提交,同时修复退出问题。与此同时,出现了一个新的问题 - Devstack 在连接到 git.openstack.org 时会随机失败。正在调查中。 |
| 2 月 27 日,上午 11:54 | Devstack 提交 正在破坏测试环境配置。我们正在努力修复此问题。 |
| 2 月 26 日,下午 4:00 | GPG 问题已解决。 |
| 2 月 26 日,下午 2:06 | GPG 问题未解决。已确定根本原因,构建应该很快恢复。 |
| 2 月 26 日,下午 1:17 | GPG 密钥问题导致过去一小时内的一些构建失败。构建已恢复在线。 |
| 2 月 26 日,上午 11:59 | 原因是 RAID 适配器故障。构建应该现在已恢复在线。 |
| 2 月 26 日,上午 11:46 | 我们正在调查可能的磁盘故障导致构建失败。 |
| 2 月 20 日,下午 2:46 | 一个 提交 添加了 cinder 备份的测试,导致一些测试失败。这些测试不受支持,并已添加到排除列表中。 |
| 2 月 18 日,上午 11:10 | 一个 提交 在 Tempest 中添加了 2 个新测试,导致昨天构建失败。这些测试不受 VMware Cinder 驱动程序的支持,并已添加到排除列表中。 |
| 2 月 14 日,上午 10:38 | 昨晚,Minesweeper 耗尽了浮动 IP,导致构建失败。已恢复在线,但仅运行 2 个执行器。 |
| 2 月 10 日,晚上 8:48 | Rescue bug 已合并。基础设施问题仍在解决中。CI 目前离线。 |
| 2 月 10 日,下午 2:58 | 已解决一个与代理失败有关的基础设施问题。Minesweeper 仍在运行 1 个执行器,同时正在解决其他基础设施问题。 |
| 2 月 10 日,下午 2:33 | Rescue 补丁现在已进入 gate,但是基础设施问题仍在处理中。 |
| 2 月 9 日,上午 10:47 | 正在处理基础设施问题。Minesweeper 也在遇到一个 Rescue bug,导致一些测试失败。 |
| 2 月 7 日,下午 2:46 | 根据 此 bug,Keystone 要求问题已解决。CI 仍处于离线状态,因为存在基础设施问题。 |
| 2 月 7 日,下午 1:30 | 基础设施问题仍在影响构建。构建也开始受到 keystone 要求 bug 的影响。Minesweeper 将在这些问题解决之前离线。 |
| 2 月 6 日,上午 10:53 | 超visor 崩溃导致构建失败,目前正在修复。配额数据库问题仍在影响构建,正在尝试手动修复数据库中的条目。 |
| 2 月 5 日,下午 4:07 | 已识别 Concurrent requests to quotas reserve sometimes lock db table 作为基础设施问题的可能原因。仍在调查中。 |
| 2 月 5 日,凌晨 1:47 | 一小部分构建由于基础设施问题而失败。正在调查中。 |
| 2 月 4 日,下午 5:00 | 基础设施问题已解决。 |
| 2 月 3 日,上午 8:29 | 涉及测试环境配置的基础设施问题。一小部分构建可能已失败。 |