全3407文字

福島県の46市町村で2020年6月、大規模なシステム障害が発生し、メールの送受信やコンビニエンスストアでの住民票交付などができなくなった。市町村の通信回線とLGWAN(総合行政ネットワーク)が接続不能になったためだ。原因はネットワークスイッチの故障にあったが、スイッチ機器とネットワークはそれぞれ異なる事業者が運用保守を担っていたため、原因究明に時間を要した。

 福島県は2020年6月17日、自治体間で情報を共有するLGWAN(総合行政ネットワーク)につながる通信ネットワークに障害が発生したと発表した。一時、県内の46市町村で接続ができなくなり、自治体職員はLGWAN経由でのメール送受信ができなくなったほか、コンビニエンスストアで住民票などを交付するサービスが停止した。障害は同日の午後10時まで続き、多くの市町村でLGWANによる業務が滞る事態となった。

 障害の原因は、市町村の通信回線とLGWANをつなぐ米シスコシステムズ製のネットワークスイッチの故障だった。スイッチと通信ネットワークの運用保守を異なる事業者が担当していることや、機器を交換する判断が遅れたことなどが復旧の遅れを招いた。

図 福島県で起きたLGWANの通信障害の概要
図 福島県で起きたLGWANの通信障害の概要
スタック構成のネットワークスイッチが故障(出所:福島県の資料を基に日経コンピュータ作成)
[画像のクリックで拡大表示]

 最初に異常が判明したのは、16日の午後11時頃。福島県企画調整部情報政策課の渡辺広孝主幹らのもとに、収容スイッチの保守を委託しているNTT東日本から異常発生の連絡が届いた。福島県は各市町村の回線を4台のスイッチに集約してLGWANにつないでいる。4台のうちの1台でLANケーブルの接続ポートが自動的に閉じてしまうエラーを検出したという。

 ネットワークスイッチは、ネットワークループなどの異常を検出すると障害を防ぐために自動的に接続ポートを閉じる機能を備える。しかし直近では、ネットワーク構成を変更するなどの作業は行っていない。NTT東の担当者が現場で確認したところ、1台のポートが閉じているだけでなく、4台すべてのCPUが高負荷になっていた。

 LGWANの収容スイッチは、複数台を専用ケーブルでつないで仮想的に1台のスイッチとして動作させる「スタック構成」と呼ばれる仕組みで管理している。1台に異常が発生して他のスイッチが引きずられるように問題が起きた可能性はあるが、原因は分からなかった。接続ポートを手動で開閉するなどしてみたものの状態は改善しなかったので、日付をまたいだ17日の午前2時頃に4台すべてを再起動した。その結果、各スイッチのステータスはすべて「正常」に戻った。これで問題はとりあえず収束したかに見えた。