Amazon Elastic MapReduceが公開

　クラウドで先頭を走るAmazonがEC2上で利用できるHadoopの分散処理サービスである「Amazon Elastic MapReduce」のベータ版を公開した。もともとHadooop MapReduceはGoogleのMapReduce互換のオープンソースであり、Apacheプロジェクトから公開されているものである。Amazonのクラウドには初めからHadoopが使われているはずだから、今回の公開はAmazonによってカスタマイズされたHadoop MapReduceの機能が、ユーザも一部自由にカスタマイズして使えるようになるということなのなのだろうか。

Amazon、Hadoop利用の大規模分散処理サービス「Elastic MapReduce」公開(ITmedia)
Amazon Elastic MapReduce(Amazon Web Services)
Welcome to Apache Hadoop Core!(Apache)

　MapReduceは１つのJobが複数のTaskに分割され、複数の仮想サーバーで分散処理されるような、クラウドの本質的な部分のアルゴリズムを実現する部分である。分散するサーバー（スレーブ）の数はスケーラブルに増加させることができる。意外なことは、複数LinuxサーバーにJavaとSSHがインストールされていれば、ユーザ環境だけで分散処理が可能になることである。原理的には自前のクラウドも、比較的容易に実現できてしまう。

　あくまでAmazon EC2上でのサービスとのことであるから、分散処理するサーバーの台数とか条件を指定したりすることができるようになるのだろうか。それによってクラウドでの処理の効率とかパフォーマンスを解析できるということなのだろうか。だとすれば、開発する側にとってはアプリケーションによって、どの程度の規模のサーバー数が適当かなどが評価できるようになるだろう。

　そして将来的に期待することは、Amazonのクラウドだけに閉じない他のクラウドとの連携や、自前のサーバーとの連携が可能になることである。マスターのサーバーはAmazonを利用するとして、処理の規模によっては自前のサーバー群をスレーブとして参加できるようになることである。クラウド間の連携、ローカルサーバーのクラウドへの参加は、今後の大きなテーマになっていくかもしれない。