神戸市の基幹業務系システムで2021年4月30日、3時間半にわたり障害が発生した。業務端末のネットワーク接続を制御するサーバーに異常が起きた結果、区役所などにある1000台以上の端末がネットワークに接続不能になり住民記録システムなど14種類のシステムが窓口業務で使えなくなった。ストレージ装置の一時的なI/O速度低下が根本原因だった。
神戸市内の複数の区役所や支所などが窓口業務で使う基幹業務系システムで障害が発生したのは2021年4月30日午後2時30分ごろのことだった。住民記録システムや市民税システム、戸籍システム、国民年金システム、国民健康保険システムなど14種類ある基幹業務系システムが午後6時ごろまで約3時間半、利用できなくなった。
窓口業務に支障を来したのは区役所や支所など25拠点。基幹業務系システムが利用できなくなった時間帯は各拠点の窓口で市民からの申請書類を一時的に預かり、システム復旧後に処理を進めて後から市民へ連絡したり書類を郵送したりするなど、可能な範囲で対応した。しかしその場での手続きなどができなくなったため、窓口に来た市民があきらめて帰るケースも少なくなかったという。
神戸市の基幹業務系システムは、データセンターなどで運用するサーバーと、区役所や支所など各拠点とを専用回線で結ぶネットワークなどで構成する。各拠点の職員は業務端末のパソコンからサーバー上で稼働する様々な業務システムを利用する。端末は1000台以上を各拠点に配置する。データセンターなどと拠点を結ぶネットワークはLGWAN（総合行政ネットワーク）とは独立したもので、神戸市が独自に運用する。
ネットワークも仮想化基盤も無事
神戸市のIT部門である企画調整局デジタル戦略部がシステム障害を把握したのは、障害発生とほぼ同時の午後2時30分ごろだった。各業務システムを利用する区役所などから「端末がつながらない」「システムが利用できない」といった連絡があった。
障害に関する連絡が入る中、「区役所など複数の拠点に影響が及んでいる」「利用できない業務システムが複数ある」ことが分かった。この状況を踏まえてデジタル戦略部は、保守ベンダーであるNECと連携して調査を始めた。
調査はネットワークとシステムの両面から進めた。影響が及ぶ拠点が複数あることからはネットワークの不具合が、複数の業務システムが利用できない状況からはシステム障害の可能性が考えられたからだ。
ネットワークについては回線や機器を対象に調査を始めた。一方、複数ある業務システムは、仮想化基盤システムに集約して運用していた。仮想化基盤は複数台の物理サーバーとストレージ装置、米ヴイエムウェアの仮想化ソフトで構成する。そこでデジタル戦略部は業務システムに関して、仮想化基盤にも問題が無いか調査した。
ネットワークの調査では、回線の不調やネットワーク機器の故障といった異常は見当たらなかった。ネットワークの疎通も確認できた。業務システムに関しても、仮想化基盤のハードウエアに障害は無かった。
そこでデジタル戦略部は調査対象を広げた。ネットワークについては、ネットワーク監視をはじめとする複数のネットワークサービス用のサーバーも調べ始めた。ネットワークサービス用のサーバーも仮想化基盤上で運用する。仮想化基盤上で稼働する各仮想サーバーについて死活状況を確認したところ、問題は検知されなかった。
ただし、仮想化基盤においては障害が発生する少し前のタイミングで、ストレージ装置のディスクI/Oスピードが一時的に低下していたと分かった。ストレージ装置へのデータの読み書き処理が集中したとみられる。そこで仮想化基盤に大きな障害が発生していないか調べたが、調べた時点では正常に戻っていたという。
