Amazon、Google、MapRのクラウドのHadoop

2012年6月はクラウドにとって大きな月でした。 Microsoftは6月7日、Windows Azureクラウドプラットフォームを再開しました。Windows Azureクラウドプラットフォームは、WindowsとLinuxの両方に対応する本格的なインフラストラクチャをIaaSとして提供しています。その後、6月28日、GoogleはI / Oカンファレンスで、独自のIaaSクラウドプラットフォームであるGoogle Compute Engineを立ち上げました。

6月はHadoopにとっても大きな月でした。 Hadoop Summitは6月13日と14日にカリフォルニア州サンノゼで開催されました。 YahooのオフショアであるHortonworksは、このイベントをHortonworksデータプラットフォーム(HDP)と呼ばれる独自のHadoopディストリビューションのためのラウンチパッドとして使用しました。 HortonworksはClouderaがApache Hadoop(CDH)を含むClouderaディストリビューションで達成したのと同じように、HDPの重要性を達成するように機能します。

MapRを忘れないでください; Hadoopの世界はCDHとHDPのすべてではありません。 Hadoop Distributed File SystemをNetwork File Storageボリュームとして扱いやすいようにするMapRのもう一つの重要なディストリビューションがあります。このHDFSからNFSへの変換により、HDFSファイルに従来のファイルシステムで許可されていた読み取り/書き込みランダムアクセスが与えられます。

しかし、MapRはClouderaの分布を非常に多く追跡します。そして、Hortonworksのディストリビューションはおそらくそれをすぐに追い越すでしょう。ここ数週間でHadoopクラウドパズルの重要な部分として登場したので、MapRをまだオフにしないでください。

Amazonは6月16日、独自のHadoopディストリビューションに加えて、Elastic Compute Cloud(EC2)の中でホストされているElastic MapReduceサービスを介してプロビジョニングされた一時的なクラスタにMapRのディストリビューションを使用するオプションを提供すると発表しました。 。お客様は、「M5」と呼ばれるMapRまたはEnterpriseエディションの「M3」オープンソースコミュニティ版を使用することができます。 M5は軽微な追加料金はかかりませんが、ミラーリングされたクラスタなどのエンタープライズ機能や、クラスタのスナップショット形式のバックアップを作成する機能を提供します。

MapRはそこで止まらなかった。代わりに、6月28日にGoogle I / OでGoogle Compute Engineクラウド上で動作するHadoopディストリビューションの非公開ベータを発表することで、6月のクラウド推進を継続しました。突然、多くの人が偶然とみなしたHadoopディストリビューションは、クラウドのビッグデータのポスターの子になりました。

マイクロソフトによるクラウドHadoop、またはあなた自身でさえ、クラウドには十分なHadoopがありますか?そうでない場合は、Windows用のMicrosoft-Hortonworks Hadoopディストリビューションを忘れないようにしてください。Azureクラウド上の招待のみのベータ版から入手できます。それでも満足できない場合は、Apache Whirrプロジェクトを参照してください。このプロジェクトでは、Amazon Web ServicesまたはRackspace Cloud Server上のクラウドサーバーから構築されたクラスタに実質的にHadoopディストリビューションを展開できます。

クラウド内のHadoopは常に容易ではありません。特に、ほとんどのクラウドプラットフォームには、クラウドベンダーが調整したディストリビューションのみが通常扱えるBLOBストレージ機能があるためです。しかし、クラウドコンピューティングが前提としている弾性資源配分は、さまざまな分析や不確定なサイズのデータ​​セットで使用されるクラスタベースのデータ処理インフラストラクチャでうまく機能します。

クラウド内のHadoopはますます人気が高くなるでしょう。将来的には、Hadoopディストリビューションベンダーかクラウドプラットフォームベンダーが担当するかどうかを確認することは面白いでしょう。

LinkedInが新しいブログプラットフォームを発表

これはBig OLAPの時代ですか?

DataRobotは、データサイエンスの果実を自動化することを目指しています

MapRの創設者John Schroederが辞任し、COOが辞任

ビッグデータ分析、Big Data Analytics、DataRobotはデータサイエンスの欠点を自動化することを目指している、Big Data Analytics、MapR創設者のJohn Schroederが辞任し、交換するCOO