AZAREA-Cluster (Hadoop Conference Japan 2013 Winter Demo Image)

AZAREA-Cluster
デモ画面イメージ
2013年1月31日
株式会社シーエーシー
生産技術部

Copyright © 2013 CAC Corporation. All rights reserved. 1

概要
 本資料は、Hadoop Conference Japan 2013
Winterで行ったAZAREA-Clusterのデモ（の一部）の
画面イメージをまとめたものです。
◦ 若干追加しています。

 講演資料本体はこちらです。
◦ http://www.slideshare.net/AzareaCluster/hcj2013-
w


デモアプリケーション仕様
 デモで作成するHadoopアプリケーションの仕様
◦ 売上と顧客を顧客IDで結合し、地域別に集計する
売上
顧客
・商品コード
・顧客ID (PK)
・顧客ID
・地域
・金額

顧客IDで結合
結合

地域でグループ化

グループ化

地域別売上
・地域 (PK)
・件数
・金額

デモの流れ
 エンティティクラスの作成
 エンティティフローの作成
 エンティティフローのテスト
 その他の機能


エンティティクラスの生成
 Excelファイルでエンティティクラスを定義する
◦ 売上、顧客、地域別売上の3エンティティ
 1エンティティ1シートに対応
◦ エンティティ毎に項目を定義する


エンティティクラスの作成
 Eclipseプラグインでメニューを選択するだけで、Excelファイ
ルからエンティティクラスが自動生成される


エンティティクラスの作成
 Eclipseプラグインの画面で編集・作成することも可能


エンティティフローの作成
 Eclipseプラグインからエンティティフロー編集画面を開く


 ドラッグ＆ドロップによりエンティティや処理を配置


 矢印アイコンをドラッグしてエンティティと処理を接続


 詳細画面を開いて結合条件や出力エンティティを設定


 同様にしてフローを完成させる


 エンティティフローからソースが自動生成される


 必要に応じて処理の詳細をコーディングする


 コーディング後も再びフロー図を開くことができる
◦ 修正し、再度ソースを生成することが可能
 コーディング箇所も維持される


エンティティフローのテスト
 テストデータを用意する
◦ テキストファイル
◦ Excelファイル


 ダイアログによりテストクラスを自動生成
◦ テストクラス名とテストデータのパスを設定するだけ
 後はデフォルトでよい


 Eclipseのメニューから実行するだけ
◦ コンソールに結果が出力される
◦ ファイルにも結果が出力される


 Eclipse上でデバッグも可能


 結果の検証機能
◦ 想定結果を用意しておく
 テキストファイル
 Excelファイル
◦ テスト終了後、実行結果と想定結果を比較することができる
 自動回帰テストが容易に作成できる


その他の機能
 SVG出力機能
◦ フロー図をSVGファイルとして出力できる
 印刷
 HTMLへの貼り付け


その他の機能
 MapReduceジョブ表示機能
◦ 実際にHadoop上で実行される際のジョブの単位を表示する
◦ デバッグやパフォーマンスの分析に利用できる

フロー上では3つの処理
だが、Hadoop上では
2ジョブに最適化される


その他の機能
 JAR作成機能
◦ Hadoop上で実行可能なJARファイルを作成する
 コピーしてhadoop jarコマンドを実行するだけ


AZAREA-Clusterに関する情報
 ホームページ
◦ http://www.cac.co.jp/product/azarea-
cluster/index.html

 評価版ダウンロード
◦ http://www.cac.co.jp/product/azarea-
cluster/download/index.html

 お問合せ先
◦ 株式会社シーエーシー AZAREA-Clusterサポートチーム
 azarea-cluster@cac.co.jp


AZAREA-Cluster (Hadoop Conference Japan 2013 Winter Demo Image)

Recommended

Recommended

More Related Content

Similar to AZAREA-Cluster (Hadoop Conference Japan 2013 Winter Demo Image)

Similar to AZAREA-Cluster (Hadoop Conference Japan 2013 Winter Demo Image) (20)

Recently uploaded

Recently uploaded (12)

AZAREA-Cluster (Hadoop Conference Japan 2013 Winter Demo Image)