PR

建物内のあるフロアだけネットワークにつながらなくなるトラブルが発生した。原因は、フロアスイッチに電力を供給していた電源の電圧が不安定だったこと。そのため電源とスイッチの間に設置したUPSが蓄積電力を断続的に供給し、やがて枯渇して電力を供給できなくなった。

 特定のエリアだけがネットワークにつながらなくなった場合、原因として真っ先に疑われるのは、そのエリアを受け持つスイッチの故障や設定ミスだろう。しかし、今回のトラブルの原因は機器ではなかった。スイッチに電力を供給する電源設備の不具合が引き起こした珍しいトラブルだった。

スイッチを収納するシステムラックにUPSを介して電力を供給する自家発電系統の電源コンセント。この系統の電圧が不安定になったことがトラブルを引き起こした。
スイッチを収納するシステムラックにUPSを介して電力を供給する自家発電系統の電源コンセント。この系統の電圧が不安定になったことがトラブルを引き起こした。
[画像のクリックで拡大表示]
[画像のクリックで拡大表示]

フロアごとにUPSとラックを設置

 トラブルが起こったのは、滋賀県長浜市にある市立長浜病院のネットワークである(図1)。電子カルテシステムなどを利用するために設置した院内ネットワークだ。インターネットアクセス用のネットワークは別に用意しており、院内ネットワークはインターネットには接続されていない。

図1●トラブル発生時の市立長浜病院のネットワーク構成
図1●トラブル発生時の市立長浜病院のネットワーク構成
電子カルテシステムなどを利用するための院内ネットワークにおいて、4階のフロア全体のパソコンがネットワークにつながらないトラブルが発生した。インターネットアクセス用のネットワークは別に用意している。
[画像のクリックで拡大表示]

 院内ネットワークには、病院の建物の3階から7階にある病棟のナースステーションのパソコンをつないでいる。便宜上、病棟の西側部分を西棟、東側部分を東棟と呼んでおり、それぞれの棟にナースステーションがある。

 同じフロアの西棟と東棟はそれぞれ別のフロアスイッチが担当しているが、これら2台のスイッチは、フロアごとに設置されている一つのシステムラックにまとめて収納している(図2)。システムラックは、停電に備えるために無停電電源装置(UPS)を介して電源につないでいる。

図2●フロアごとに設置したシステムラック
図2●フロアごとに設置したシステムラック
病棟のフロアごとに、フロアスイッチを収納するシステムラックとUPSを置いている。なお、ここに示したのは現在の機器であり、トラブル発生当時の機器とは異なる。
[画像のクリックで拡大表示]

 病院が今の場所に新築移転した1996年にはネットワークはなく、電子カルテなどの院内システムや院内ネットワークはあとから導入した。ネットワーク機器は、院内システムを構築したベンダーの製品を使用している。院内システム/ネットワークを導入した際の工事で、病院内の壁面にLANケーブル接続口(情報コンセント)が設置された(図3)。こうした接続口はフロアスイッチに直接つながっており、ここにパソコンを接続する。

図3●壁に設置されたLANケーブル接続口
図3●壁に設置されたLANケーブル接続口
この接続口にパソコンを接続して院内ネットワークを利用する。これらはフロアスイッチに直接つながっている。
[画像のクリックで拡大表示]

 フロアスイッチ配下には無線LANのアクセスポイントも接続している。これにより、看護師が病室に持ち込んだノートパソコンなどのモバイル端末から院内ネットワークを利用できるようにしている。

UPSの挙動がおかしい

 2015年初夏のある日、システム管理者の川村 裕彦さんは「病棟の4階フロアにあるすべてのパソコンが院内ネットワークに接続できなくなった」という連絡を受けた(図4)。電話で確認したところ、複数のパソコンが同時に接続できなくなったというので、特定のパソコンやLANケーブルのトラブルではないと判断。「フロアスイッチの不具合ではないか」と思い、4階フロアに設置されているシステムラックを確認しに行った。ところが、現場に到着したときには既にネットワークは復旧していた。システムラック周りを確認しても特に異常は見られなかった。

図4●最初のトラブルは自然に解消
図4●最初のトラブルは自然に解消
ある日、病棟4階フロアのすべてのパソコンがネットワークに接続できなくなるトラブルが起こった。川村さんがフロアスイッチを格納したシステムラックを調べたが特に問題はなく、ネットワークは自然に復旧した。
[画像のクリックで拡大表示]

 それから数日後、4階フロアのネットワークにまたつながらなくなった。前回と同じ症状だ。4階フロアに設置されているシステムラックを再び確認すると、今度はUPSが異常な挙動を示していた(図5)。UPSが約5秒おきに「カチカチ」という音を立て、そのたびにラックへの電力供給が通常電源と蓄積電力の間で切り替わっていたのだ。

図5●数日後に起きた同様のトラブルではUPSが異常な動作をしていた
図5●数日後に起きた同様のトラブルではUPSが異常な動作をしていた
システムラックを確認したところ、UPSからラックへの電力供給が通常電源と蓄積電力の間で約5秒おきに切り替わっていた。UPSの蓄積電力を使い切った時点で電力不足になり、フロアスイッチが動作しなくなったと考えられる。
[画像のクリックで拡大表示]

 このUPSの容量は500VAだった。蓄積電力に切り替わっているときに徐々に電力を消耗し、電力を使い切った時点でラックに電力を供給できなくなったと考えられる。これによりフロアスイッチが動作しなくなり、フロア全体のパソコンがネットワークにつながらなくなったのだ。

 川村さんはUPSに何らかの問題が起こっていると判断し、予備のUPSに交換して様子を見ることにした。「買い換えたばかりのUPSなのになぜだろう。初期不良だろうか」といぶかしんだ。

 その数日後、今度は病棟の5階フロアのネットワークがつながらなくなった(図6)。川村さんは「立て続けにUPSが故障するのはおかしい」と思い、違う原因を探し始めた。それまで病院の設備は信頼して疑っていなかったが、UPSの挙動から考えて病院の電源設備に何か問題があるのではないかと考え始めた。

図6●病棟の5階フロアでも同様のトラブルが発生
図6●病棟の5階フロアでも同様のトラブルが発生
数日後に今度は別のフロアで同様の問題が発生した。立て続けにUPSが故障するとは考えにくいため、川村さんは電源設備の異常を疑った。応急処置として、UPSを接続する電力系統を「自家発電系統」から「商用電源系統」に切り替えた。
[画像のクリックで拡大表示]

 そこで、市立長浜病院の電源設備を管理している市役所の電気技師に相談してみた。すると「使っているUPSがちょっとした電圧変動にも反応しているのではないか。設定がどうなっているかを確認してほしい」とアドバイスされた。UPSの設定を確認してみたが、問題はなかった。むしろ、蓄積電力に切り替わりにくい設定になっていたという。

 とりあえずUPSの設定を変更してみたものの、やはり挙動は安定しなかった。そこで応急処置として、UPSの電源ケーブルの接続先を別の電力系統の電源コンセントに変更した。後述するように病院には複数の電力系統があり、「自家発電系統」から「商用電源系統」に替えたのである。自家発電系統が不安定になっているのが原因だと考えたためだ。この応急処置で、とりあえずトラブルは収まった。

停止が許されない装置がある

 市立長浜病院の内部の電力系統は、接続する機器の重要度に応じて三つに分かれている(図7)。電力会社から供給された電力の系統を、病院内の電源設備で分けているのだ。

図7●病院内の電力系統は三つに分かれている
図7●病院内の電力系統は三つに分かれている
病院内の電力系統は、停電時でも電力を連続して供給する「UPS系統」、停電時は約1分間、電力提供が止まる「自家発電系統」、電力会社からの電力系統そのままの「商用電源系統」の三つに分かれている。機器の重要性に応じて使う電力系統を分けている。
[画像のクリックで拡大表示]

 理由は、病院内には「絶対に止まってはならない装置」があるためである。手術室の機器や患者につないでいる生命維持装置は、たとえ電力会社からの給電が止まっても継続して動作しなければならない。このために、病院内には「大型UPS」とディーゼルエンジンで駆動する「自家発電装置」の2種類の装置を設置している。

 ただし、これらの装置で供給できる電力容量には限界がある。このため、これらの装置を利用するかどうかで電力系統が分かれている。

 両方の装置を利用する電力系統が「UPS系統」だ。前述した手術室や生命維持装置のように絶対に止まってはならない機器を接続する電力系統である。

 電力会社側が停電すると、自家発電装置が稼働して電力を供給する。ただし、自家発電装置の稼働には約1分かかる。そこで、それまでは大型UPSで電力を供給する。これにより、電力の供給が途絶えない系統を実現している。サーバーもこの電力系統に接続している。サーバーは絶対に止まってはならない装置ではないが、いったん止まってしまうと再起動に時間がかかるためだ。

 自家発電装置だけを利用するのが「自家発電系統」だ。電力会社側で停電が起こった場合は自家発電装置が稼働するまでの約1分間、電力の供給が止まる。一般の医療機器やネットワーク機器は、ここに接続している。ただしネットワーク機器はシステムラックに設置した小型のUPSで電力断に対処している。このことが今回のトラブルではあだになった。

 大型UPSと自家発電装置のどちらも利用しないのが「商用電源系統」である。電力会社からの電力系統そのものなので、電力会社側が停電すれば電力を供給できなくなる。パソコンやプリンターなどのIT機器は医療機器に比べて重要度が低いので、この電力系統に接続している。

 病室などでは、電力系統に応じて電源コンセントの色を変えているという。これは一般職員が医療機器を電源コンセントに接続する際に、電力系統を区別できるようにするためだ。

全体の電力不足と電圧設定

 自家発電系統が不安定になった原因は大きく二つ考えられるという(図8)。

図8●自家発電系統が不安定になっていた要因
図8●自家発電系統が不安定になっていた要因
当時は「診療支援棟」という新しい建物を建設中であり、その建設のためにも電力を使っていたことで、全体の電力供給が不安定になったと考えられる。また、自家発電系統は他の電源系統よりも電圧が低めに設定されており、これがトラブルの原因になった可能性もある。電気技師が電源設備を調整することで電圧が安定し、UPSが異常動作することもなくなった。
[画像のクリックで拡大表示]

 一つめが、新棟の建設による病院全体の電力の不足だ。当時は「診療支援棟」という新しい建物の建設工事の最中だった。トラブルが起こったのが2015年初夏であり、この建物が完成したのは2015年10月だ。建設工事に使う機器に電力を使っていたため、病院全体の電力が不足し、電圧が不安定になった可能性がある。

 二つめが、自家発電系統の電圧だけが低めに設定されていたことだ。各電力系統の電圧は、病院内の電源設備で決めている。他の電力系統が100Vよりもやや高めの電圧に設定されていたのに対し、自家発電系統は100Vよりもやや低めの電圧に設定されていた。医療機器の中に動作電圧の条件が厳格なものがあったためだという。

 川村さんは電力系統の管理は管轄外なので、これらの原因が実際にどう影響したのかはよくわからない。ただ、ある程度の推測はできる。まず、病院全体の電力の不足により、恐らく電圧が大きく上下していたのだろう。これに、自家発電系統の電圧が低めという要因が加わることで、自家発電系統の電圧が安定せず、UPSの異常動作につながったと川村さんは考えている。

 市役所の電気技師は、病院の電力系統を日常的に点検している。そこで、自家発電系統の電圧を少し高めにするように設定を見直してもらった。この結果、電圧が安定したという。システムラックのUPSを接続する電力系統を商用電源系統から自家発電系統に戻しても、それ以降はUPSが異常動作することはなかった。こうしてトラブルが解決した。

 川村さんは「このトラブルの前にも、ときどきフロアごとネットワークにつながらなくなることはありました。ただ、こんなに頻繁に起こったことはありませんでした。工事の影響があったのかもしれません」と振り返る。

UPSのせいでトラブルを見落とす

 その後、更新時期となったフロアスイッチとUPSを新しい製品にリプレースした。UPSは500VAの製品から1500VAのラックマウント型の製品に切り替えた。

 この新しいUPSに関して、川村さんには苦い思い出がある(図9)。

図9●「電力系統の異常に気づけなくなる」のがUPSの落とし穴
図9●「電力系統の異常に気づけなくなる」のがUPSの落とし穴
今回のトラブルの約1年後となるある休日、病院の電源設備に異常が発生したが、ネットワークは正常に動作し続けていた。このため、川村さんはスイッチに電力を供給している系統には異常がないと判断した。しかし実はUPSが電力を供給していた。UPSが電力を使い果たした2~3時間後にネットワークも停止した。
[画像のクリックで拡大表示]

 今回のトラブルが起こって約1年後となる2016年のある休日、職員から「階段の電灯が消えている」という報告を受けた。病院の電力系統の一部に異常が発生していたようだった。もっとも「ネットワークには接続できる」とのことだった。このため、川村さんはフロアスイッチに電力を供給している系統には異常がないと判断。休日だったため病院には行かず、システムラックやUPSの状況を確認しなかった。

 ところが、それから2~3時間後に「ネットワークにつながらなくなった」という報告を受け、あわてて病院に向かった。実はUPSが電力を供給していたため、蓄積電力が残っている間はフロアスイッチが動作していたのだ。このことから川村さんは「1500VAのUPSなら、フロアスイッチに2~3時間電力を供給できる」という経験を得たという。

▼UPS
Uninterruptible Power Supplyの略。
▼VA
Volt-Ampereの略。電源電圧と電流を単純にかけ算した値。皮相電力と呼ぶ。
トラブルを振り返って

今回のトラブルを振り返り、川村さんは次のような感想を話してくれた。
◆これまでも様々な原因で起こったネットワークのトラブルを経験しましたが、電源設備が原因になるケースは全く想定していませんでした。「ここまで考慮する必要があるのか」というのが正直な感想です。
◆このトラブルのように、自分の職務の範囲外で問題が起こることもあります。それに対処するには別の部署との連携が重要だと感じました。