データレイク

データレイクは、元の未加工の形式で多様なデータを格納する大規模なリポジトリです。

定義

データレイクは、構造化、準構造化、非構造化データを事前変換やスキーマの強制を必要とせずに大量に格納する中央集約型ストレージシステムです。データをネイティブ形式で保持し、分析、機械学習、リアルタイムワークロードのための柔軟なアクセスと処理を可能にします。読み時にスキーマを適用するアプローチにより、データが読み込まれる際にではなく消費される際に構造が適用されるため、柔軟性とスケーラビリティをサポートします。データレイクは、大規模なデータ量を効率的に処理するために分散ファイルシステムやクラウドオブジェクトストレージで実装されることが一般的です。このアーキテクチャにより、さまざまなデータタイプを収集・探索する現代のデータプラットフォームに適しています。

優点

• あらゆる種類のデータを未加工の形式で大量に格納し、柔軟性を最大化します。
• 元のデータの正確性を保持することで、高度な分析や機械学習をサポートします。
• 事前スキーマ設計なしに多様なソースからの迅速なインジェストを可能にします。
• 分散またはクラウドストレージソリューションで非常にスケーラブルです。
• 伝統的な構造化システムと比べて大規模なストレージにコスト効果的です。

劣点

• 適切なガバナンスがないと、散らかりや「データスワンプ」になる可能性があります。
• 特定のワークロードでは、最適化された構造化システムよりもクエリ性能が遅くなることがあります。
• 効率的な発見を可能にするために、堅牢なメタデータとカタログが必要です。
• スケールアップすると、セキュリティとアクセス制御が複雑になることがあります。
• 多様なデータタイプの処理には専門的なツールとスキルが必要になる場合があります。

使用ケース

• ラウンドデータセットで機械学習モデルのトレーニングの基盤として機能します。
• 分析パイプライン用にクリックストリーム、ログ、イベントデータを収集・保存します。
• ビッグデータアーキテクチャでのリアルタイムおよびバッチ処理をサポートします。
• 複数のソースからの企業データを中央集約し、クロスドメイン分析をサポートします。
• 構造化および非構造化フォーマット間での探索的データ分析を可能にします。