データ量は爆発的に増加しています。増え続けるモバイルデバイス、インテリジェントセンサー、スマートエンドポイントにより、データの種類や量は増加し、そして速いスピードが求められています。IDC社の調査では、接続デバイスやスマートシステムの急増に伴い、世界の年間データ生成量は、2018年の33ゼタバイト（ZB）から急増し、2025年には175ZBに達すると予測しています。(1ZB = 1兆GB）。

この膨大な生データから実用的な洞察を得ることで、企業はビジネスを加速させ、従業員の生産性を高め、業務を合理化することができます。企業は、データから得た洞察をもとに、ビジネスを最適化し、販売やマーケティング活動、広告キャンペーンを調整することができます。自治体や公益事業者は、公共の安全とサービスの向上、交通とエネルギーシステムの最適化、経費や廃棄物の削減を実現できるでしょう。研究者や科学者は、宇宙に対する理解を深め、病気の治療法を開発し、天気予報や気候モデルを改善できるかもしれません。

ビッグデータは、産業全体を大きく変革する可能性を秘めています。しかし、時代遅れの高価なデータストレージソリューションがその変革の邪魔をしています。多くの企業は従来のオンプレミス型ストレージや、第一世代クラウドストレージ ベンダーは、膨大なデータ量を長期にわたり保管できていないという実情があります。多くの企業は、主要なビジネスアプリケーションや、規制要件を順守するために必要なデータのみを保存しています。顧客の行動や市場の動向に関して、貴重な洞察を得られるかもしれない過去のデータは、廃棄されていることもしばしばあります。

しかし、この現状は変わりつつあります。新世代のクラウドストレージが登場し、シンプルなクラウドストレージを低価格で使用できるようになりました。Cloud 2.0のストレージでは、データの種類や目的、期間を問わず、WasabiのHot Cloud Storageに低価格で保存することができます。また、どのデータを収集し、どこに保存し、どの程度の期間保持するかといった煩わしい判断をする必要もなくなります。

この次世代のクラウドストレージは、データレイクの構築に理想的だと言えます。TDWIが250人以上のデータ管理の専門家を対象に行った調査では、回答者の約半数が、既にデータレイクを運用している（23％）、または１年以内に運用を開始する予定（24％）であると回答しています。

企業のデータセンターでは、一般的なサーバーとローカル（内部）ストレージを使用してデータレイクを実装しています。現在、多くのオンプレミス型データレイクでは、データプラットフォームとして、一般的なハイパフォーマンスコンピューティングフレームワークであるHadoopの商用版またはオープンソース版が使用されています。 (TDWIの調査では、回答者の53%がデータプラットフォームとしてHadoopを使用しており、リレーショナルデータベース管理システムを使用しているのは6%のみでした)。

数百台、数千台のサーバーを組み合わせて、拡張可能で耐障害性の高いHadoopクラスターを構築し、膨大なデータを保存・処理することができます。下図は、Apache Hadoop上でオンプレミスのデータレイクを実現するための技術スタックを示しています。

技術スタックは以下の通りです。

Hadoop MapReduce
一般的なハードウェアを使用した大規模クラスター上で、膨大なデータを並列処理するアプリケーションを、信頼性と耐障害性に優れた方法で簡単に記述するためのソフトウェアフレームワーク。
詳細はこちら

Hadoop YARN
ジョブスケジューリングとクラスタリソース管理のためのフレームワーク。
詳細はこちら

Hadoop 分散ファイルシステム(HDFS)
安価なディスクドライブを内蔵した低コストのサーバーで動作するように設計された高性能ファイルシステム。
詳細はこちら

オンプレミス型のデータレイクは、高いパフォーマンスと強固なセキュリティを提供するものの、導入、管理、保守、拡張が複雑であり、また高い費用が必要であることで知られています。オンプレミス型データレイクのデメリットは以下の通りです。

長期に渡るインストール
自社でデータレイクを構築するには、膨大な時間、労力、費用が必要です。システムの設計、アーキテクチャー、セキュリティ、管理システム、ベストプラクティスの定義と制定、コンピューティング、ストレージ、ネットワークインフラの調達、立ち上げ、テスト、全てのソフトウェアの選定、インストール、コンフィギュレーションが必要です。オンプレミスのデータレイクを本番環境で稼働させるには、一般的に数か月（多くの場合1年以上）かかると言われています。

高額なCAPEX
多額の設備投資により、ROIが低く、投資回収期間が長いビジネスモデルになっています。サーバー、ディスク、ネットワークなどのインフラは、ピーク時のトラフィック需要や将来の容量要件を満たすような過剰な設計となって、その結果、アイドル状態の計算リソース、未使用のストレージやネットワーク容量に対して常に不要なコストが発生しています。

高額なOPEX
電気代、空調代、ラックスペースにかかる費用、毎月のハードウェアメンテナンス費用、ソフトウェアサポート費用、ハードウェア管理費用などにより、機器の運用費用が高額になっています。

ハイリスク
事業の継続性を確保するためにセカンダリデータセンターにデータを複製することは、費用の観点から多くの企業にとっては難しい選択です。多くの企業は、費用を抑えるためにデータをテープやディスクにバックアップしています。大災害が発生した場合、システムを再構築し、業務を復旧させるのに通常数日から数週間かかります。

複雑なシステム管理
オンプレミスでのデータレイクの運用は複雑で難しいため、貴重で高価なITスタッフの労力を使用する必要があります。その結果、ITスタッフは戦略的な事業上の取り組みに注力することが難しくなります。

クラウドベースのデータレイクは、オンプレミスのデータレイクと比較すると、導入、拡張、運用がはるかに簡単で、費用も抑えることができます。しかし、第一世代のクラウドストレージは、本質的に高価であり（多くの場合、オンプレミスのストレージと同程度の費用が必要）、加えて複雑でもあります。多くの企業は、データレイクを導入するために、シンプルで低価格のストレージサービスを求めています。第一世代のクラウドストレージサービスのデメリットとして、以下が挙げられます。

高価で複雑なストレージ階層
レガシーなクラウドベンダーは、異なるタイプ（階層）のストレージサービスを提供しています。例えば、アクティブデータのためのプライマリストレージ、ディザスタリカバリのためのアクティブアーカイブストレージ、長期に渡ってデータを保存するための非アクティブアーカイブストレージなど、各階層は使用目的に応じて分かれています。それぞれの階層には、独自のパフォーマンス性能と耐障害性、SLA、価格設定があります。複数の価格変動要因を持つ複雑な料金体系では、適切なサービスの選択、費用予測、予算管理が困難です。

ベンダーのロックイン
各サービスプロバイダーは、独自のAPIをサポートしています。サービスを切り替えるには、既存のストレージ管理ツールやアプリケーションを書き換えや入れ替えが必要であり、時間と費用がかかります。さらに、レガシー・ベンダーはデータをクラウドから移動させるたびに、過剰なデータ転送（イグレス）料金を請求するため、プロバイダーを変更したり、複数のプロバイダーを組み合わせて利用したりすると高額な費用が発生します。

Apache Hadoopでデータレイクを運用する場合、下図のように、HDFSの手頃な代替品としてWasabi を利用することができます。Wasabiは、AWS S3 APIと完全な互換性があります。オープンソースのApache Hadoopディストリビューションの一部であるHadoop Amazon S3Aコネクタを使用して、WasabiのようなS3およびS3互換のストレージクラウドを様々なMapReduceフローに統合することができます。

マルチクラウドでのデータレイク実装の一部としてWasabi を使用することで、サービスの選択肢を増やし、ベンダーロックインを回避することができます。マルチクラウドアプローチでは、データレイクのコンピュートリソースとストレージリソースは別々に拡張することが可能であり、最適なプロバイダーを利用することができます。

Wasabiは、Equinix、Flexential、Limelight Networksなどの大手コロケーション、キャリアホテル、エクスチェンジプロバイダーとの提携により、様々なクラウドコンピューティングサービスへのダイレクトで高速な接続を提供しています。これらのプライベートネットワーク接続は、インターネットの遅延やボトルネックを回避し、高速で予測可能なパフォーマンスを提供します。また、お客様のプライベートクラウドを直接Wasabiに接続することも可能です。 第一世代のクラウドストレージプロバイダーとは異なり、Wasabiダイレクトコネクトでは、データ転送（イグレス）料金は不要です。つまり、Wasabiから自由にデータを持ち出すこと可能なのです。