ニュースリリース

ビッグデータ時代の大量トラフィック処理実現に向け
インメモリ型分散KVS技術を応用した超高速メッセージング技術を開発

携帯電話向けに適用し、サーバ1台あたり1,300万通/時のメール配信性能を達成

  株式会社日立製作所(執行役社長 : 中西 宏明／以下、日立)は、このたび、ビッグデータ時代に求められる大量トラフィック処理を実現する超高速メッセージング技術を開発しました。この技術は、高速データ処理技術として注目されるインメモリ型のKVS*1技術を応用したもので、携帯電話やSNS*2といったメッセージ配信サービス、あるいは、センサ端末から生成される情報といった大量データ処理システムの基盤技術となります。
  今回、この技術を携帯電話向けメールシステムに適用したところ、サーバ1台あたり1時間に1,300万通のメール配信性能を実現したほか、情報量の増加に合わせたサーバ増設が容易になることを確認しました。

  近年、ネットワークに接続されたモノ同士が情報交換を行う通信形態(M2M*3)の普及やクラウドコンピューティングの浸透などにともない、ネットワークを介して膨大なデータ(ビックデータ)を送受信する時代が到来するものと予測されています。特に、コミュニケーション手段として欠かせないものとなっている携帯電話のメールサービスや、SNSのメッセージサービスによって生成されるデータ量は、既に膨大になっています。
  これまで、メッセージの配信処理を担うメッセージングサーバは、受信したメッセージを一度キューと呼ばれる格納領域に蓄積してから順次配信処理を行うことで、システムへ流入する情報量の平準化や、ユーザーを待たせない即時応答を実現してきました。しかし、ビッグデータ時代における膨大かつ増え続ける情報量に対応するためには、サーバ1台あたりのさらなるメッセージ配信性能の向上が必要です。また、情報量の増加に合わせた柔軟なシステム拡張性も求められます。既存のシステムでは、外部ストレージ(ディスク)へアクセスしなければキューへ情報を蓄積することができず、これがさらなる配信性能向上の妨げとなっていました。また、外部ストレージとサーバを連携させながらシステムを拡張するためには、サーバの他に外部ストレージと連携するためのネットワークの構築、およびそれら個別の設定作業がその都度発生し、サーバの増設を困難にしていました。

  そこで今回日立は、インメモリ型分散KVS技術を応用することで、内蔵メモリ上だけでキューの機能を実現する技術と、メッセージングサーバがKVSと高速・高信頼の通信方式で連携する技術を開発しました。これにより、外部ストレージが不要となり、メッセージング技術の配信性能向上と高い拡張性を実現しました。
  今回開発した技術の詳細は、以下の通りです。

(1) キュー機能を実現するインメモリ型分散KVS技術

  一般的なKVSとは異なりキュー構造型のデータモデルを採用するとともに、キューへのバックアップのための通信を多重化し効率的に処理するインメモリ型分散KVS技術を開発しました。これにより、高速性と高信頼性を両立したメッセージング処理を実現しました。今回開発したKVSは、大規模システムで広く利用されているインメモリ型KVSのmemcached*4と比較し、最大2倍の処理性能を達成します。

(2) メッセージングサーバとインメモリ型分散KVS間の連携技術

  メッセージングサーバのソフトウェアとKVSのソフトウェアを同一サーバ内に設置し、メッセージングサーバとKVS間でキュー毎の、分散処理、障害監視、障害切替えを行う連携技術を開発しました。これにより、サーバ増設が容易な構成と、サーバ障害やネットワーク障害が発生しても安定サービスを提供できるシステムを実現しました。本技術を携帯電話向けメールシステムへ適用したところ、実機評価において、メールサーバ1台あたり1時間に1,300万通のメール配信を達成することが確認できました。これは、メール配信サーバとして企業等で広く利用されているオープンソースのsendmail*5の180倍の配信性能であり、当社の従来技術の4倍の配信性能です。

  本技術は、膨大なトラフィックを処理するシステムの構築を容易にし、携帯電話のメールサービスにおいては、災害時や年末年始といった特異日に発生する膨大な情報量でも安定稼動を可能にします。また今後、M2Mに代表されるビッグデータ処理基盤への活用を進めていきます。
  なお、今回開発した技術については、6月24日からイタリアのベネチアで開催される「The Eighth International Conference on Wireless and Mobile Communications」(ICWMC 2012)で発表する予定です。

*1

KVS : Key-Value Store、 従来のデータベースを補完するシンプルな構造のデータ保存方式。拡張性に優れている。

*2

SNS : Social Networking Service、人と人とのつながりをインターネット上で促進・サポートするサービス。

*3

M2M : Machine-to-Machine、ネットワークに接続されたモノ(Machine)同士が情報交換を行う通信形態。

*4

memcached : オープンソースのインメモリ型KVSソフトウェア。高速処理性能を特長としており、多くの大規模サイトでキャッシュとして利用されている。

*5

sendmail : オープンソースのメールサーバソフトウェア。デファクトスタンダードとして、インターネットや企業システム等で広く利用されている。

今回開発した技術の概要(メールシステムへの適用例)

お問い合わせ先

株式会社日立製作所 横浜研究所 企画室 [担当 : 塚越]
〒244-0817 神奈川県横浜市戸塚区吉田町292番地
電話 045-860-3092(直通)

以上