More Related Content
Similar to Data Scientist Workbench - dots0729
Similar to Data Scientist Workbench - dots0729 (20)
Data Scientist Workbench - dots0729
- 1. © 2015 IBM Corporation
Python/PySpark で始めるデータ分析の基本
〜ハンズオン編〜
2016/07/29版
⾙嶋 創
テクニカルセールス
アナリティクス事業部本部
IBM
- 5. Data Science Workbench© Copyright IBM Corp. 2016
特徴
• 誰でも無料
• Spark環境構築済み
• プログラミング実⾏環境も⽤意
• コミュニティを通した知識の共有
• 継続的な機能追加
“Making open source data science easy”
- 10. Jupyter, Zeppelin はNotebook… “Notebook”とは?
• 紙と鉛筆
• 紙と鉛筆は、これまで⻑い
間、科学者がメモや図⾯を
通して進捗状況を⽂書化す
るための重要なツールであ
る:
• 表現⼒
• 累積した情報
• コラボレーション
• Notebooks
• Notebooks は、これまでの
紙と鉛筆のデジタル版であ
り、再現性のある分析と⽂
書化を可能にする:
• マークダウンとグラフ化
• 反復探索
• 共有が容易
- 11. ③データ整形と分析の実⾏「Jupyter Notebook」
• リリース
• 2001年にリリースされたIPythonをベースに、2015年に
Jupyterとしてリリース
• ノートブック
• WebブラウザからのGUI操作可能
• コード実⾏、コメント記述、グラフの描画を実⾏可能
• カーネル
• Data Scientist Workbenchでは、Scala，Python, Rを実
⾏可能
- 14. 本⽇の内容
▪ Data Scientist Workbenchとは
▪ ハンズオン
▪ お客様の購買傾向をもとにクラスタリングを実
施します
▪ クラスタリングにはSparkの機械学習ライブラ
リのK-平均法（K-means）を利⽤します
▪ JupyterのPySparkを利⽤します
- 15. Sparkの機械学習ライブラリ
• RDD
• 分散処理⽤のデータセット
• DataFrame
• テーブルのようなデータ構造をもった分散処理⽤データセット
• SQLライクにデータ操作可能
• 処理系によらず⾼速動作、今後の主流
• Spark.mllib
• org.apache.spark.mllibパッケージの機械学習⽤クラス群
• RDDをベースとしたAPIはメンテモード
• Spark.ml
• org.apache.spark.mlパッケージのMLlibの機械学習⽤クラス群
• ベースはDataFrame、プライマリ
- 16. Spark MLLibのライブラリ
分類と回帰
• モデル (SVM, ロジスティック回帰、線形回帰)
• ナイーブベイズ
• 決定⽊
• アンサンブルツリー (ランダム⽊と勾配ブースト⽊)
• 単調回帰
協調フィルタリング
• 交互最⼩⼆乗法 (ALS)
クラスタリング
• k-平均法(K-means)
• 混合ガウス
• べき乗クラスタリング (PIC)
• 潜在的ディレクレ配分法 (LDA)
• ⼆値k平均法
• ストリーミング k-平均法
etc
http://mogile.web.fc2.com/spark/mllib-guide.html
- 22. <参考> ②データ整形「OpenRefine」
• Googleで開発されたGoogle Refineがベース
• 2010年11⽉にイニシャルリリース、2012年10⽉に
OpenRefineとしてオープンソース化
• WebブラウザからのGUI操作のみでデータのクレンジングや
フォーマット変換が可能
• CSV, TSV, text files, XML, RDF, and JSON様々なファイル
フォーマットに対応
• 分析を実⾏する前のデータの準備を実⾏
- 36. ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独⾃の⾒解を反映したものです。それらは情報提供の⽬的のみで提供されており、いかなる参加者に対しても法
律的またはその他の指導や助⾔を意図したものではなく、またそのような結果を⽣むものでもありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努⼒しましたが、「現状のまま」提
供され、明⽰または暗⽰にかかわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使⽤によって、あるいはその他の関連によって、いかなる損害が⽣じた場合も、IBMは責任を負わないも
のとします。 本講演資料に含まれている内容は、IBMまたはそのサプライヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも、IBMソフトウェアの使⽤を規定する適⽤ライセンス
契約の条項を変更することを意図したものでもなく、またそのような結果を⽣むものでもありません。
本講演資料でIBM製品、プログラム、またはサービスに⾔及していても、IBMが営業活動を⾏っているすべての国でそれらが使⽤可能であることを暗⽰するものではありません。本講演資料で⾔及している製品リリー
ス⽇付や製品機能は、市場機会またはその他の要因に基づいてIBM独⾃の決定権をもっていつでも変更できるものとし、いかなる⽅法においても将来の製品または機能が使⽤可能になると確約することを意図したもの
ではありません。本講演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上⾼の向上、またはその他の結果が⽣じると述べる、または暗⽰することを意図したものでも、またそのような結果
を⽣むものでもありません。 パフォーマンスは、管理された環境において標準的なIBMベンチマークを使⽤した測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーの
ジョブ・ストリームにおけるマルチプログラミングの量、⼊出⼒構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じて変化します。したがって、個々のユーザーがここ
で述べられているものと同様の結果を得られると確約するものではありません。
記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使⽤したか、またそれらのお客様が達成した結果の実例として⽰されたものです。実際の環境コストおよびパフォーマンス特性は、お客
様ごとに異なる場合があります。
IBM、IBM ロゴ、ibm.comは、 世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現
時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。
Adobe, Adobeロゴ, PostScript, PostScriptロゴは、Adobe Systems Incorporatedの⽶国およびその他の国における登録商標または商標です。
IT Infrastructure LibraryはAXELOS Limitedの登録商標です。
インテル, Intel, Intelロゴ, Intel Inside, Intel Insideロゴ, Centrino, Intel Centrinoロゴ, Celeron, Xeon, Intel SpeedStep, Itanium, およびPentium は Intel Corporationまたは⼦会社の⽶国およびその他の国に
おける商標または登録商標です。
Linuxは、Linus Torvaldsの⽶国およびその他の国における登録商標です。
PowerLinux is a trademark of International Business Machines Corp. The registered trademark Linux is used pursuant to a sublicense from LMI, the exclusive licensee of Linus Torvalds, owner of the
mark on a world-wide basis.
Microsoft, Windows, Windows NT および Windowsロゴは Microsoft Corporationの⽶国およびその他の国における商標です。
ITILはAXELOS Limitedの登録商標です。
UNIXはThe Open Groupの⽶国およびその他の国における登録商標です。
Cell Broadband Engineは、Sony Computer Entertainment, Inc.の⽶国およびその他の国における商標であり、同社の許諾を受けて使⽤しています。
JavaおよびすべてのJava関連の商標およびロゴは Oracleやその関連会社の⽶国およびその他の国における商標または登録商標です。
Linear Tape-Open, LTO, LTOロゴ, UltriumおよびUltriumロゴは、HP, IBM Corp.およびQuantumの⽶国およびその他の国における商標です。
