過去に紹介した通り、「ビッグデータビジネスの時代」はバズワードと思われがちな「ビッグデータ」をむしろ現役コンサルタントの冷静なビジネスの視点と著者のユーモアで切り取った良書だと思うのですが、ここで紹介されなかったもうちょっと技術的なトピックを取り上げたいと思います。
 | ビッグデータビジネスの時代 堅実にイノベーションを生み出すポスト・クラウドの戦略 鈴木 良介 翔泳社 2011-11-09 売り上げランキング : 898 Amazonで詳しく見る by G-Tools |
CPUなども同じで各社が128コアなどのCPUを提供する一方、ついにARMを搭載したサーバが投入されようとしています。
ARMサーバーの方はまだまだ先は長そうですが、それでも例えばGoogleが採用したりしたら一気にツールがそろって市場を抑える可能性があるでしょうし、省電力という観点から考えたらARMサーバーは非常に魅力的。スマートフォンがテクノロジーのドライバーになり、一定のコストパフォーマンスに達したら一気にARMサーバのシェアが広がる可能性は常にあると思います。
さて、このよりHPC(ハイパフォーマンスコンピューティング)よりのサーバ技術とスマートフォンがビッグデータの技術にどのような影響を与えるかを考えて見ましょう。「ビッグデータビジネスの時代」の時代に記載されているように、ビッグデータの処理系の技術は大きく分けて3種類あります。
- オンメモリ系の技術がカバーする超高速処理のための領域
- SQL/DB系の技術がカバーする構造化データの高速処理のための領域
- Hadoopがカバーする大量の非正規データを並列に処理するための領域
これらを時間と分析可能なデータサイズにマッピングし、それに上記のトレンドを記載してみるとだいたいこんな感じです。
「オンメモリ系の技術がカバーする超高速処理のための領域」は1msec単位での応答で処理できるデータサイズをさらに増やしてくると思います。ここはおもにHPC(ハイパフォーマンスコンピューティング)よりのサーバ技術が牽引するでしょう。あと、GPGPUのようなストリーミング型の処理とも相性がよいと思うのでいろいろおもしろい発展が期待できる分野だと思います。個人的にはオンメモリ系はメモリ上にどのようにデータをパックするかという点とそれをどのようにストリーミング処理するかって部分が若干ゲームプログラミングにも似ておりおもしろいです。
「SQL/DB系の技術がカバーする構造化データの高速処理のための領域」はどのみちHadoop系の技術と競いあってもしょうがないので、どちらかというとより短時間で処理ができる方の技術に伸びてくるんじゃないかと思います。オンメモリSQLとかそっち方面ですね。あと、単純により簡単にSQLを運用、メンテナンスしたいというニーズは常に存在しているので、性能というよりはオペレーションコストの方面の伸びもいいでしょうね。ここはぶっちゃけあまりくわしくないのですが。
最後に「Hadoopがカバーする大量の非正規データを並列に処理するための領域」ですが、ここに関してはペタバイト級のデータを扱うとなるとあまり選択肢がないので、ここの強みをより活かす方向になると思います。ここで5年後くらいにはARM系の１ラックに3000CPUを積んだようなサーバーが猛威を振るうのかなーと。以前、kawatanとも話しましたがこれから5年間のIntelとARMのガチな戦いは本当に見ものだと思います。
こんな感じで技術系のトレンドを眺めてみると、いろいろおもしろい発展が今後もありそうな分野です。もう一個のトレンドは最近話題のセキュリティの突っ込んだ話ですが、ちょっと長くなってきたので、また時間を見つけて書きたいと思います。