Pentaho ETL(PDI)のハンズオン資料です。 https://atnd.org/events/68749

1. Pentaho ETLハンズオン
オープンソースBI 勉強会 #21
［2015/08/25］
TwitterID:@teruu

2. 本日の内容
•勉強会について
•ビジネスインテリジェンス概要
•PDIのダウンロードの仕方
•起動、プレビューと実行、ログ確認
•データ変換作成
– PDI版 Hello, world!
– テキストファイル入出力
– Excelファイル入出力
– DB入力
– DB出力
ETLの処理のうち、
E（Extract：抽出）
L（Load：ロード）
を中心に紹介
T（Transform：変換）
については簡単にふれます

3. 自己紹介
川崎照夫
TwitterID: teruu
所属：KSKアナリティクス
BI歴：３年
DB歴：20年

4. •随時、ツイートのお願い
•挙手のお願い
・勉強会参加理由
・Pentahoについて知りたい
・PentahoのETL（PDI）について知りたい

5. Yahooリアルタイム検索
「pentaho」定点観測中
・「日本語の資料が全然ない」というツイート
日本のPentahoユーザ
・日本語の情報が見つからない
・やりたいことがなかなかできない(簡単なことなのに...)
・フラストレーションがたまりがち
5/83
Pentahoのチュートリアル資料を充実

6. これまでの開催
• #5 MongoDB+Pentaho ハンズオン
• #6 OLAP ハンズオン
• #7 ETL ハンズオン
• #8 定型レポート
• #9 CTools (ダッシュボード)
• #10 OLAP ハンズオン
• #11 ETL ハンズオン
• #12 定型レポートハンズオン
• #13 OLAP/ETLハンズオン （土曜開催）
• #14 Pentahoの全体構成と構造
• #15 Pentahoのビルドに挑戦
• #16 OLAPハンズオン
• #17 ETLハンズオン
• #18 CToolsハンズオン
• #19 定型レポートハンズオン
• #20 OLAPハンズオン
• #21 ETLハンズオン ※今回

7. 次回以降
•#22 CTools（ダッシュボード）ハンズオン?
•#23 定型レポートハンズオン
•#24 OLAPハンズオン
•#25 ETLハンズオン

8. これまでの資料
オープンソースBI勉強会メモ
https://www.evernote.com/shard/s29/sh/90da8213-b225-4949-861b-256fae4d8b81/4662358c944791be43bbe1823c84ea49
•#8 定型レポート
http://www.slideshare.net/teruok/pentaho-reporting-20140729
•#10 OLAPハンズオン
https://www.evernote.com/shard/s29/sh/be254819-1722-4d55-bb34-549ebf898c25/f85483e7059dd4c56506d7ca0a5b0578

9. 会員制ドキュメント・ダウンロード・サービス「LiBRA」(リブラ)
→提供資料の加工編集、再配布が可能
(http://libra.netcommerce.co.jp/)
以降はLiBRAの「ビジネス・インテリジェンス」から引用
(http://libra.netcommerce.co.jp/library/knowledge/841)

20. Pentahoについて
•オープンソースベースのBIスイート
•以下の製品群で構成
EE CE 主な対象
ダッシュボード ダッシュボードエ
ディタ
CDF(Community
Dashboard
Framework)
経営陣
Reporting Reporting（定型レポート） ビジネスユーザ
メタデータ
インタラクティブレポート
Adhocレポート
OLAP
（多次元分析）
Analyzer JPivot/saiku/Pivot4
J
アナリスト、
ビジネスユーザ
ETL（データ統合） Data Integration 開発者、DB管理者
データマイニング Weka アナリスト、
パワーユーザ

21. Pentaho Data Integration(PDI)

22. GitHub（ギットハブ）での開発
PDIをはじめPentahoのオープンソース製品は、ソフトウェア開発のた
めの共有ウェブサービスである「GitHub」を利用して開発が行われて
います。
GitHubにアクセスすることで、活発なソフトウェア開発の様子を見る
ことができます。また、公開されているソースコードを参照でき、バグ
の修正などの形でPDIのソフトウェア開発に参加することも可能です。
◇PDIのGitHubリポジトリ
https://github.com/pentaho/pentaho-kettle

23. 先日、プルリクがマージされた！

24. ダウンロード
•Pentaho配布サイト
http://community.pentaho.com/
•Pentaho配布サイト PDI
http://sourceforge.net/projects/pentaho/files/Data
%20Integration/
•ダウンロード候補
– pdi-ce-5.4.0.1-130.zip

25. 関連書籍
このスライドでは、左側の「Pentaho Data Integration Beginner’s Guide」の内
容を一部参考にしています。

26. インストール
•ダウンロードするだけ（Javaの環境があれば）
•DBのJDBCドライバを追加
– postgresqlのドライバは同梱されている
•SourceForgeのサイトからダウンロードし、
Windowsであれば、解凍したフォルダ中の
Spoon.batをダブルクリック
•起動後、言語の設定を確認（日本語になって
いるか）

27. 言葉の定義
•データ変換
– ステップ
– ホップ
•ジョブ
– ジョブエントリ
– ホップ
→ 今回はデータ変換だけを扱います

28. データ変換作成①
•PDI版Hello, world!
•作業フォルダ
– C:¥pentaho¥pdi_work

29. Spoon起動 Windowsの場合、Spoon.batファイルをダブ
ルクリックして起動します。

30. 新規→データ変換 ファイル→新規→データ変換、を選
択します。
デザイン
タブ
キャンバス
ツールバー

31. 行生成 画面左側のデザインタブで「入力」ノードを開き、一番下の
「行生成」ステップをキャンバスにドラッグする。

32. ダミー 「フロー」ノードを開き、「ダミー（何もしない）」ステップをキャ
ンバスにドラッグする。

33. ホップ(hop)
「行生成」ステップ上で、マウスのホイールをクリックし、
そのまま「ダミー」ステップまでドラッグすると、２つのス
テップを接続するホップ（矢印）が作成される。

34. 行生成編集
「行生成」ステップをダブルクリックして、ステップの
編集画面を表示。下記の通り入力する。（名称、タ
イプ、値）リミットは初期値の「10」になっているのを
確認。タイプはドロップダウンから「String」を選択。
「OK」をクリックして編集画面を閉じる。

35. データ変換
プロパティ
編集→設定をクリックし、データ変換プロパティを表
示。データ変換名に「hello world」と入力。「OK」をク
リックしてプロパティを閉じる。

36. 名前を付けて保存 ファイル→保存をクリック。「hello_world」
と入力して保存。

37. データ変換デバッグ 「ダミー」ステップをクリックして選択し、
ツールバー上の「プレビュー」をクリック。

38. プレビュー 「クイック起動」ボタンをクリックすると
プレビューが表示される。

39. 実行
画面上部のツールバーから「実行」を
クリックすると、下記の画面が表示さ
れるので「実行」ボタンをクリック。

40. 実行結果 実行されたステップに緑のチェックが付き、
画面下部に実行結果が表示される。

41. ログ 「ログ」タブを表示して、エラーが無かったか確認する。
エラーは赤で表示される。

42. データ変換作成①
•PDI版Hello, world!
•作業フォルダ
– C:¥pentaho¥pdi_work

43. データ変換作成②
•テキストファイル入出力
•ETLのT（Transform：変換）の事例として「選択
/名前変更」ステップを使用
– ここでは不要なフィールド（列）を削除する

44. テキストファイル入力
新規→データ変換 を選択。
「入力」ノードから「テキストファイル
入力」を選択。ダブルクリックして
編集

45. ステップ編集
（ファイルタブ）
ダブルクリックして編集画面を表示。
「参照」ボタンをクリックして入力ファイル指定。「追
加」ボタンをクリック。「ファイル名のリスト」欄に追加
される。

46. 全般タブ
「全般」タブを表示。
フィールド区切り文字は、デフォルトの「;」（セミコロ
ン）を削除して、右側の「入力 タブ」ボタンをクリック
してタブを入力。

47. 全般タブ
文字コードは、ドロップダウンリストから適切な文字
コードを選択。ここでは「UTF-8」を選択。
フォーマットは行末コードを「DOS」「Unix」「mixed」か
ら適宜選択。

48. フィールドを取得
「フィールドを取得」ボタンをクリック。
「サンプル出力するレコード数」ダイ
アログが表示されるので、OKをク
リック。

49. 走査した結果
フィールドをサンプリングした結果が表示さ
れる。「閉じる」ボタンをクリック。
「OK」ボタンをクリックして編集画面を閉じる。

50. フィールド取得結果
取得されたフィールドの内容を確認。
問題なければ「OK」をクリックして
閉じる。

51. 選択/名前変更
「変換」ノードから「選択/名前変更」ステッ
プをキャンバスにドロップ。２つのステップを
接続。 「選択/名前変更」ステップをダブル
クリックして編集。
画面左上のステップ検索も利用可能。

52. ステップ編集
除去フィールド
「除去フィールド」タブを表示。
「フィールド名」の下の欄をクリックすると、
欄の右端にドロップダウンの三角形が表示
されるので、それをクリックして、
「last_update」列を選択。

53. ステップ配置
「テキストファイル出力」ステップを追加し、
ホップで接続。「Main output of step」を選
択。

54. テキストファイル出力
ファイルタブ
「テキストファイル出力」ステップを
ダブルクリックして編集。ファイル名
の「参照」ボタンをクリックして出力
先のファイル名を指定。

55. テキストファイル出力
全般タブ
「全般」タブを表示。「タブの挿入」
ボタンをクリックして、区切り文字と
してタブを指定。
文字コード「UTF-8」を指定。

56. プレビュー
「テキストファイル出力」ステップを
選択状態にして、ツールバー上の
プレビューをクリック。プレビューが
実行される。

57. 実行
ツールバー上の「実行」をクリック。
「データ変換の実行」画面が表示さ
れるので、「実行」ボタンをクリック。

58. データ変換の保存 データ変換実行前に保存。

59. 実行結果
実行結果を確認する。
出力先のファイルを開き確認。

60. データ変換作成②
•テキストファイル入出力
•ETLのT（Transform：変換）の事例として「選択
/名前変更」ステップを使用
– ここでは不要なフィールド（列）を削除する

61. データ変換作成③
•Excelファイル入出力
•変換ステップとして「フィルター」「値マッピング
」を使用
•サンプルデータとして、PDIのJIRA（バグ管理サ
イト）から出力したExcelファイルを使用

62. ステップを配置
入力：Excel入力、フロー：フィルター、変
換：値マッピング、出力：Excel出力
の各ステップを配置し接続。
「フィルター」と「値マッピング」の間のホップ
は「Main output of step」を選択。

63. Excel入力
Excel入力をダブルクリックして編集。ファイ
ルタブの内容を指定。スプレッドシートタイプ
は「Excel2007」を指定。

64. Excel入力
シートタブ
「シートの取得」ボタンをクリック、
「入力リスト」で対象のシートを選択。

65. Excel入力
シートタブ
「開始レコード」「開始列」を指定。

66. Excel入力
フィールドタブ
「フィールドの取得」ボタンをクリック。

67. プレビュー
「プレビュー」ボタンをクリック。
内容を確認して「閉じる」をクリック。

68. フィルター フィルターをダブルクリックして編集。

69. フィルター
「フィルタ条件」に下記のように入
力。「OK」をクリックして閉じる。

70. 値マッピング
値マッピングをダブルクリックして
編集。

71. Excel出力
「Excel出力」ステップをダブルク
リックして編集。「ファイル名」を指
定。

72. Excel出力
フィールドタブ
フィールドタブを表示。
「フィールドを取得」ボタンをクリック。

73. Excel出力
フィールドタブ
フィールド名とデータタイプが取得
される。OKボタンをクリック。

74. 実行
ツールバーの「実行」ボタンをクリッ
ク。
「実行」をクリック。

75. 保存 実行前にデータ変換を保存。

76. 実行結果 実行結果を確認する。

77. 出力されたファイル
出力されたファイルをExcelで開い
て確認する。

78. データ変換作成③
•Excelファイル入出力
•変換ステップとして「フィルター」「値マッピング
」を使用
•サンプルデータとして、PDIのJIRA（バグ管理サ
イト）から出力したExcelファイルを使用

79. データ変換作成④
•DB入力
•DBはPostgresqlを利用
•サンプルデータは、pagilaというデータを使用

80. データベース接続作成
ビュータブの「データベース接
続」を右クリックして「新規」を
選択。

81. データベース接続 データベース接続を適宜設定。
接続名：pg （任意）
接続タイプ：PostgreSQL
アクセス：Native(JDBC)
ホスト名：localhost
データベース名：postgres
ポート番号：54320
ユーザ名：postgres
パスワード：!84jJJJ#

82. 検索
「検索」ボタンをクリック。
※画像と異なるが[スキーマ] を
クリックし、[pagila]をクリック。

83. 最初の100行プレビュー
任意のテーブルを右クリッ
クして、「最初の100行プレ
ビュー」を選択。

84. プレビュー プレビューが表示される。

85. ステップ配置 下記のようにステップを配置します。

86. テーブル入力
テーブル入力を編集。
「SQLの選択」ボタンをクリック。

87. データベース
エクスプローラー
データベースエクスプローラーが表
示されるので、任意のテーブルを選
択。

88. テーブル入力 SQLが生成される。

89. テキストファイル出力
「テキストファイル出力」ステップを
ダブルクリックして編集。

90. テキストファイル出力
フィールドタブ
「フィールドを取得」をクリック。

91. 実行 ツールバーから実行をクリック。

92. 出力ファイル 出力ファイルを開いて内容を確認。

93. データ変換作成④
•DB入力
•DBはPostgresqlを利用
•サンプルデータは、pagilaというデータを使用

94. データ変換作成⑤
•DB出力

95. ステップ配置 下記の通りステップを配置する。

96. テキストファイル入力
「テキストファイル入力」ステップで
先ほど出力したファイルを指定。
「プレビュー」ボタンをクリック。

97. プレビュー プレビューを確認。

98. テキストファイル入力
全般タブ
全般タブで「入力タブ」ボタンをク
リックしてタブを入力。

99. テキストファイル入力
フィールドタブ
「フィールドを取得」をクリック。

100. 走査した結果 走査した結果が表示される。

101. テーブル出力
「テーブル出力」ステップを編集。テーブル名を指定。
「列名を指定する」チェックボックスをONに。「フィー
ルドを取得」ボタンをクリックして、フィールド欄に自
動記入。「SQL」ボタンをクリック。

102. SQL文生成、実行
CREATE TABLE文が生成される。
「実行」ボタンをクリックして、出力
先のテーブル作成。

103. フィールドマッピング
「フィールドマッピング」ボタンをク
リックして、マッピングの内容を確
認。

104. 実行
ツールバーの「実行」をクリック。
「実行」ボタンをクリック。

105. 実行結果 実行結果が表示される。

106. 照会
DBに出力した内容を確認。
ビュータブのデータベース接続から
該当の接続を右クリックして、「照
会」を選択。

107. データベース
エクスプローラー
該当のテーブルを選択。

108. プレビュー
該当のテーブルを右クリックして、
「x行プレビュー」を選択。

109. プレビュー テーブルの内容が表示される。

110. データ変換作成⑤
•DB出力

111. まとめ
•ダウンロード
•起動
•プレビューと実行、ログ確認
•データ変換作成
– PDI版 Hello, world!
– テキストファイル入出力
– Excelファイル入出力
– DB入力
– DB出力

112. 不明な点
•Pentahoのフォーラムへ
– 日本語でコミュニティー・サポート
http://forums.pentaho.com/forumdisplay.php?86

113. 今後のテーマ(1)
•DWH
– スタースキーマ
– SCD(Slowly Changing Dimensions)
– CDC (Change Data Capture)
– サロゲートキー
– MDM(マスターデータマネジメント)
•OLAP(ROLAP/MOLAP)
– キューブ設計
– MDX

114. 今後のテーマ(2)
Pentahoの各製品
•PDI
•OLAP
•Reporting
•ダッシュボード
•データマイニング

115. 今後のテーマ(3)
デザインツール
•スキーマワークベンチ
•アグリゲーションデザイナ
•メタデータエディタ
サードパーティー製品
•saiku
•Pivot4J

116. 今後のテーマ(4)
その他のBI製品
•Tableau
•QlikView

117. 今後のテーマ(5)
カラム指向DB
•HP Vertica
•Amazon Redshift
NoSQL DB
•MongoDB
•Hadoop Hive
インメモリDB

118. 今後のテーマ(6)
データ可視化
•CTools
•D3
•Highcharts
•GIS系
データ分析手法
Rの活用

119. 今後のテーマ(7)
•オープンデータの活用
•Pentaho オープンソース・コミュニティの活用

120. 今後のテーマ(8)
•開発手法
•プロトタイピング
•ドキュメント

121. 今後のテーマ(9)
•開発ツール
•SQLエディタ
•XMLエディタ
•ユーティリティ
•バージョン管理
•バグトラッキング
•テスト手法
•自動化手法

122. 今後のテーマ(10)
運用
•Apache
•Tomcat
•クラウド活用(AWS)
•スケジューリング、バッチ実行

123. 今後のテーマ(11)
ポータルサイト、CMSとの統合
•Liferay
•Alfresco

124. 今後のテーマ(12)
学習メディアの活用
•ドットインストール
•Slideshare
•YouTube

125. 今後のテーマ(13)
•プロフィットセンター／コストセンターの考え方