DCとの通信速度が大幅に低下　予想外のスイッチが故障

　ある社内ネットワークから、データセンター（DC）内のサーバーへの通信速度が遅くなった場合、まず疑うのはDC内の機器やネットワーク、経路の異常だろう。その社内ネットワークの利用者がDC事業者に助けを求めるのはうなずける。

　だがトラブルの原因がDC側にあるとは限らない。社内ネットワーク側にある場合もある。そのようなケースでは、DC事業者が原因を究明するのは難しい。通常、社内ネットワークは別のインテグレーターが構築しているからだ。

　今回紹介するトラブルはまさにこのようなケースだった。トラブルに遭遇したインテックの白井裕さんはわずかなヒントから、管理下にはないネットワーク機器の故障を見抜いた。一体どのようにして見抜いたのか。トラブル解決までの道のりを見ていこう。

監視センターにトラブルの報告

　トラブルが発生したのは、インテックの顧客であるメーカーのA社である。A社は全国に数十の拠点を展開し、インテックなどのDCを利用している。

　A社は本社や拠点、DCを広域イーサネットで接続。さらにA社は、障害に備えて経路を冗長化していた。2社の通信事業者と契約し、2つの広域イーサネット網を利用。ポートVLANを使って2系統の通信経路を確保した。これらのネットワークは、A社の依頼を受けてインテックが構築した。

トラブル発生したときのネットワーク構成

インテックのデータセンターの顧客であるA社は、データセンターと本社、その他の拠点を広域イーサネットで接続していた。A社はネットワークを冗長化し、障害に備えていた。

[画像のクリックで拡大表示]

　2011年11月1日、A本社のネットワーク管理者から、インテックの監視センターにトラブルの報告が入った。「データセンターとの通信が遅くなっている」という。DCとの通信速度が低下すると、A本社だけでなく他拠点の業務にも支障を来す。

通信速度が低下するトラブルが発生

監視センターがA本社のネットワーク管理者から連絡を受ける。A本社とデータセンター間の通信速度が低下しているという。そこで監視センターのオペレーターは初期対応を実施した。

[画像のクリックで拡大表示]

　A社で発生していたトラブルは、インテックが提供するDCへの通信だけでなく、他のDCへの通信でも発生していた。しかしA本社のネットワーク管理者は、広域イーサネット網のネットワークやインテックのDCに何かしらの不具合が発生したと判断。インテックの監視センターに対応を依頼したのだった。

　インテックは監視センターを用意し、ネットワークや機器を24時間365日体制で監視。トラブルのほとんどは、監視センターに常駐する専門のオペレーターが解決する。

　トラブルの報告を受けたオペレーターは初期対応を実施した。具体的には、A社が設置したサーバー群やネットワーク機器などの状態を確認した。監視センターでは、ネットワークのトラフィック量や機器の状態、CPU使用率などを専用サーバーで監視している。

ネットワークや機器を確認するが問題は見当たらず

オペレーターが調査したが、トラブルの原因は分からなかった。2次対応としてネットワークサービス部長の白井さんにエスカレーションすることにした。

[画像のクリックで拡大表示]

　ところがA社のサーバー群やネットワーク機器に異常はなかった。通信ログなども確認したが問題はなかった。A社の機器が正常に動作しているのであれば、DCの設備に問題が発生しているかもしれない。そこでオペレーターはA社のサーバー群につながるDC内の機器やネットワークも確認した。だが、これらについても問題は見つからなかった。

　オペレーターが調査している間も、DCとの通信速度は遅いままだった。そこでオペレーターは、より詳しい調査をするため白井さんに2次対応を依頼した。