2022年6月27日、東京・立川市役所で大規模な通信障害が発生した。出先機関を含めた1000台以上のパソコンで終日、窓口作業ができなくなった。庁内LANの心臓部となるコアスイッチの障害が原因だった。コアスイッチに向けて大量の通信が発生し、メモリー不足に陥った。原因特定に時間がかかり、完全復旧に1週間を要した。
グループウエアの挙動がどうもおかしい――。東京都立川市役所の本庁舎内がざわつき始めたのは2022年6月27日、始業時刻である午前8時半ごろのことだ。ほどなく市役所のITインフラストラクチャー運営を担う総合政策部情報推進課のもとに、「窓口業務用の情報システムにアクセスしづらい」「内線電話が通じなくなった」といった職員らの困惑した声が続々と寄せられるようになった。
情報推進課はただちに障害箇所の特定に乗り出した。庁内ネットワークのメンテナンスを委託している保守事業者と連絡を取り合い、担当者同士をビデオ会議ツールでつないで現場の映像を共有しながら、本庁舎にある機器1台1台の動作状況を確認した。
その結果、判明したのは庁内ネットワークの心臓部を担う通信機器「コアスイッチ」の障害という深刻な事態だった。立川市が運用していたコアスイッチは7台構成で冗長化してあったがバックアップは機能せず、スイッチ全体が停止していた。
立川市は2022年1月から、同じ東京都の三鷹市や日野市と住民情報システムを共同利用している。住民記録や税などのデータを各市単独のシステムではなく外部のデータセンターでまとめて管理・運用し、3市の本庁舎や出先機関にある職員のパソコンから利用する仕組みになっている。
今回はコアスイッチに障害が発生したことによって、庁内ネットワークが利用できなくなり、データセンターにある住民情報システムも使えなくなった。IP電話機も使えず内線通話が通じなくなったほか、市民からの外線電話の受付もできなくなった。
一連のトラブルによって6月27日は終日、住民票や印鑑証明書の発行、転出入届の受理、国民健康保険や国民年金、納税・課税に関する手続き、福祉系の手続きなど、窓口業務の大半がストップした。同日に処理できなかった行政手続きは約380人分に及んだ。窓口の担当者は来庁した住民への対応に追われた。住民からはから申請書だけを受理して書類は後日郵送することにしたり、コンビニでの交付を依頼するといった対応をした。
ネットワークの復旧作業は難航
一方、庁内ネットワークの復旧作業は難航した。実は立川市では2022年5月31日にも同じコアスイッチに障害が発生し、約4時間にわたって全庁的に業務がストップする事態に陥ったことがあった。その際はコアスイッチを再起動することで復旧した。そのため今回もまずコアスイッチを再起動したが、復旧しなかった。
そこで立川市は通信ログなどを解析し、異常な通信トラフィックを発生させた可能性のある端末を見つけては停止させた。さらに各システムやネットワーク機器の動作確認などを夜を徹して行った。しかし翌朝、始業時間になって職員がパソコンを使い始めると、再びコアスイッチに障害が発生した――。こうした一進一退の状況が5日間続いた。
立川市は通信障害が続く間、市民サービスの継続を最優先するためにシステムやネットワークの縮退運用を行った。例えば窓口業務に関わる部署や出先機関ではパソコンやIP電話機の使用台数を絞ったり、内部業務に携わる部署ではパソコンやIP電話の通信を遮断するなどして、コアスイッチの処理負荷を抑えながら稼働させた。
立川市が最終的に障害の原因を特定して抜本的な対策を講じたのは、7月1日の業務終了後のことだ。完全復旧を対外的に公表したのは7月4日で、通信障害が発覚してから1週間を要したことになる。
マルチキャストのパケットが大量発生
今回の大規模通信障害はなぜ発生したのか。
立川市総合政策部情報推進課の田中公雅課長は「庁内の複数の端末からコアスイッチに対して特定の通信が大量に流入した。そのためにコアスイッチのメモリーが不足し、機能が停止して庁内ネットワーク全体が通信できなくなった」と説明する。
立川市が述べる「特定の通信」とは、特定の複数の端末に情報を同報する「マルチキャスト」のことである。これは通信パケットをネットワーク内で必要な数だけコピーしていき、受信を必要としている端末だけに送り届ける通信技術だ。
同市では部署単位や業務スペースごとに設置したLANスイッチやフロアごとに設置した「フロアスイッチ」を、最終的にコアスイッチに集約する一般的なネットワーク構成をとっている。こうした構成では、大量の通信パケットがコアスイッチに集中して処理負荷が高まらないよう、そもそもマルチキャストを制限しているケースが少なくない。
