PR

 日本電気(NEC)は,例えば大量のセンサからデータを収集するときのように,連続して大量に発生する比較的小さなサイズのデータ(大規模データ・ストリーム)を高速に収集し分析するための処理技術を開発した(発表資料)。今回の技術を用いることで,10万個規模のセンサを対象として,1台の汎用パソコンで1分当たり150万件以上のデータ処理が可能という。例えばITS(高度道路交通システム)における道路交通状況の監視や,大規模サーバー群のログ・データの収集・分析といった用途を想定する。

 今回開発した技術は,(1)データの収集過程で流れ作業的に分析処理を行う「分散データ・ストリーム処理方式」,(2)処理プロセス間で高速にデータを受け渡しする「共有メモリ型フロー制御方式」から成る。

 (1)では,センサ・データを複数のサーバー機が受け渡しながら,中核となるサーバー機に順次集めるように,サーバー群を階層的に構成した。中核となるサーバー機にデータが到着する前に,中間層のサーバー機が流れ作業の一部に当たる処理を分担する。これにより,すべてのセンサ・データをいったんデータ・ベースに蓄積してから分析する通常の場合に比べて,データ量が増大した場合にも応答性の低下を抑えられるとする。

 (2)では,処理を行うコンピュータの主メモリ内に,小さなサイズのデータを流れ作業的に処理することに特化したメモリ区画を用意した。処理プロセス間で高速にデータを受け渡すとともに,処理状況に応じて計算機資源(リソース)を振り分ける。メモリ確保と解放の管理を自動化し,計算機資源の利用効率を高めたことで,高性能なサーバー機ではなく,一般的なパソコンで大量のセンサ・データが処理できるようになったとする。

 NECは道路交通状況の監視を例として,模擬(シミュレーション)データと実際のフィールド・データを使って,開発した技術の有効性を確認した。シミュレーションでは,自動車の走行データを擬似的に生成して,6万の道路区間の渋滞状況を計算した。開発した方式では,10万台分を超えるデータを1分以内に処理できたとする。従来方式では,1万台程度の自動車を対象とした場合でも,計算結果を得るのに数分から数十分の時間がかかったという。また,実験運用している渋滞情報提供システムに今回の方式を適用した場合には,渋滞状況の計算に要する時間を約1/6に短縮できたとする。さらに最適化することで,1台の汎用パソコンで,毎分150万台を超える車両の走行データを処理できることを確認したという。

 NECは今後,開発した技術を取り込んだサービスの早期実現を目指して研究開発を強化していくという。

この記事を英語で読む