目次
3.4.2 チャンクのリバランシング . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.4.3 アクセスコントロール . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.4.4 ロギング . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.5 性能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.5.1 最寄サーバーからの読み込み . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.6 耐障害性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.6.1 チャンクのバージョン管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.6.2 チャンクのチェックサム機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.6.3 バックグラウンドでの自動チェックサム検査 . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.6.4 チャンク・サーバ障害時のチャンク自動レプリケーション . . . . . . . . . . . . . . . . . . . . 22
3.6.5 レプリケーション時の複数サーバーへの書き込み . . . . . . . . . . . . . . . . . . . . . . . . 22
3.6.6 接続・読み・書きエラー時のリトライ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.6.7 マスターによるオペレーションログの保持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.6.8 オペレーションログのスレーブへの保持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.6.9 オペレーションログからのマスターの復旧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.6.10 シャドウマスター (Read-Only なマスター) . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.7 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
第 4 章 Google MapReduce と Hadoop MapReduce の比較 26
4.1 Google MapReduce の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.1.1 特徴 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.1.2 アーキテクチャ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.1.3 Hadoop MapReduce との関係 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2 機能一覧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.3 基本機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.3.1 MapReduce プログラムの実行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.3.2 マスターによるワーカーの監視 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.3.3 Shuffle 関数の指定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.3.4 Map 処理・Reduce 処理でのタスク数の指定 . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.3.5 Map タスクの自動分割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.3.6 ワーカー台数の指定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.3.7 入力・出力フォーマットの指定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.3.8 自動カウンタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.3.9 ユーザ定義カウンタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.4 管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.4.1 進捗状況のモニタリング . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.4.2 デバッグ目的でのローカルでの逐次実行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2
