Recommended
More Related Content
What's hot
What's hot (20)
Similar to アイコンで組み立てる Spark MLlib + ETLプログラム
Similar to アイコンで組み立てる Spark MLlib + ETLプログラム (20)
アイコンで組み立てる Spark MLlib + ETLプログラム
- 1. 第12回 Machine Learning 15 Minitues! アイコンで組み立てる Spark MLlib + ETLプログラム 株式会社エアー プロダクト・カンパニー 第二営業部 巽 政明
- 2. 株式会社エアーについて https://www.air.co.jp 1983年 大阪で創業 (34期) 社名は Artificial Intelligence Research が由来 第1次AIブーム時、PCで動くLisp製品の日本語版を販売したのが始まり 当時まだAIは実用に達していなかったので… UNIX用データベースUnifyの日本語化と販売 日本初のIMAP4対応メールソフト「AIR MAIL」を開発・販売 メールセキュリティ製品「WISE Audit」「WISE Alert」等の開発・販売 WISE Auditはメールアーカイバ市場でシェアNo.1! 大手企業様での採用多数! 海外ソフトウェア製品の代理店事業(BI、ETL、仮想化ソリューションなど) 検索・ソート可能暗号ライブラリ(WISE Encrypt)で特許も取得 いま再びAIの世界へ… © AIR Company Limited 2
- 3. 本日のお話 ETLとは? オープンソースETLツール「Talend」 Talend とSpark、そしてMachine Learning ETL+Machine Learningの例：レコメンデーション Talendについて知りたくなったら © AIR Company Limited 3
- 4. ETLとは? Extract(抽出)→Transform(変換)→Load(ロード)の略 BI(Business Intelligence)のためのDWH構築、データ連携・統合等の 「データ整備」を行う処理を指す 最近はもっと広義に、データ分析の前処理など意味でも使われる © AIR Company Limited 4
- 6. オープンソースETLツール「Talend」 世界初のオープンソースETLツール「Talend Open Studio」 2006年にフランスで誕生 Talend登場まで、ETLツールは数百～数千万円する「高嶺の花」 オープンソースであることを武器に市場参入 現在はビッグデータ、クラウド、IoT、ストリーミング市場にフォーカス Talend社は昨年、米国NASDAQに上場 データ統合ツールベンダーについてのガートナーレポートで、ETL業界の二大巨頭 (二つの”I社”)と同じ”Leader”として評価 © AIR Company Limited 6
- 7. Talendのスゴいところ オープンなコミュニティ(TalendForge)による開発 コンポーネント(アイコンになった機能)は1000種類を超え、さらに増殖中 あらゆるデータソースへのアクセスと処理手段が全部入り RDB、テキスト、Hadoop、NoSQL、クラウド、REST/SOAP、ストリーミング… etc. Apacheプロジェクトの成果物を積極採用 オープンソース版でも高機能 商用版はさらにもっとスゴい… 商用版は、開発者数によるサブスクリプションライセンス サーバーやCPUによる追加課金なし © AIR Company Limited 7
- 8. Talendコミュニティ：talendforge.org © AIR Company Limited 8
- 9. Talendで扱えるデータソースとテクノロジー DWH & Cloud DBMS Hadoop Redshift NoSQL Technology © AIR Company Limited 9
- 10. 各種AWSサービスにも対応 © AIR Company Limited 10
- 11. バッチもストリーミングも両方できます © AIR Company Limited 11
- 12. Talend＝Javaソースコードジェネレータ 単体実行可能なJavaプログラムができ る JVMがあればどこでも動く ランタイムや専用サーバーの設置が不要 実行用のシェルやバッチファイルも出力 される 生成されたコードが読める ブラックボックスにならない デバッグにも役立つ 機能拡張もカンタン どうしても必要ならJavaを書けばよい Javaの外部ライブラリの利用も可能 © AIR Company Limited 12
- 13. TalendとSpark、そしてMachine Learning Javaコードジェネレータなので、製品構造的にも、Apacheプロジェクトの 成果物が採用しやすい その一つがApache Spark 従来型(RDB等)のETLジョブと同様に、アイコンを並べてSparkプログラムが作れる MapReduceにもSparkにも対応 同じジョブをMapReduce⇔Sparkに双方向変換可能 ハイエンド製品はSpark Streamingにも対応 そして、Spark MLlibもアイコン化! アイコン(コンポーネント)の組み立てとプロパティ設定で、Spark MLlibライブラリを 利用するジョブをデプロイ、実行できる © AIR Company Limited 13
- 14. TalendのMachine Learningコンポーネント(1) 《学習モデルコンポーネント》 Classification ロジスティック回帰 単純ベイズ ランダムフォレスト 決定木 GBDT サポートベクターマシン Clustering k平均法 Recommendation ALS(交互最小二乗法) Regression 線形回帰 © AIR Company Limited 14
- 15. 例：ALSの設定プロパティ © AIR Company Limited 15
- 16. TalendのMachine Learningコンポーネント(2) 《前処理コンポーネント》 tModelEncoder (コンポーネント化されているSparkの前処理機能一覧) • HashingTF • Normalizer • StopWordsRemover • Inverse document frequency • One hot encoder • String indexer • Word2Vector • PCA • Vector indexer • CountVectorizer • Polynomial expansion • Vector assembler • Binarizer • QuantileDiscretizer • ChiSqSelector • Bucketizer • Regex tokenizer • RFormula • Discrete Cosine Transform (DCT) • Tokenizer • VectorSlicer • MinMaxScaler • SQLTransformer • N-gram • Standard scaler © AIR Company Limited 16
- 17. TalendのMachine Learningコンポーネント(3) 《適用コンポーネント》 tClassify (Classfication用) tRecommend (Recommendation用) tPredictCluster (Clustering用) tPredict (その他用） © AIR Company Limited 17
- 18. 例：レコメンデーションの設定プロパティ © AIR Company Limited 18
- 21. ETLとMachine Learningがつながると… 学習データや適用先データの前処理や適用処理、さらにその先の ビジネスアプリケーションの構築がカンタン いろいろなデータ処理との統合がカンタン ETLジョブ開発のスキルセットで、機械学習処理が作れる 機械学習処理とビジネスアプリケーションの実装、テスト、修正の作業が、 一貫した作業の流れの中でできる 全体の処理構成が可視化できる … etc. メリットがいっぱい！ © AIR Company Limited 21
- 22. Talendについてもっと知りたくなったら エアーのTalendページ https://www.air.co.jp/tal ハンズオンセミナーを定期開催中 Talend社(日本法人) https://jp.talend.com Talend Japan Community https://talend.jp 来る6月7日 技術者向けイベント「ヒカ☆ラボ」に登壇 「データ処理でお困りの全エンジニア必見！ オープンソースETLツールの活用法教えます」 6月7日(水) 19:30～21:30 渋谷ヒカリエ17F レバレジーズ様本社 弊社単独イベント Talend Open Studioについてしゃべります! 「talend」で検索! © AIR Company Limited 22