Submit Search
Upload
Jubatus: Jubakitでもっと楽をしよう
•
Download as PPTX, PDF
•
1 like
•
310 views
T
Tetsuya Shioda
Follow
第5回Jubatusハンズオンで利用した資料です。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 22
Download now
Recommended
PYTHON PACKAGING (PyFes 2012.03 発表資料)
PYTHON PACKAGING (PyFes 2012.03 発表資料)
Takayuki Shimizukawa
Easy caching and logging package using annotation in Python
Easy caching and logging package using annotation in Python
Yasunori Horikoshi
Jubatus Casual Talks #2: 大量映像・画像のための異常値検知とクラス分類
Jubatus Casual Talks #2: 大量映像・画像のための異常値検知とクラス分類
Hirotaka Ogawa
前回のCasual Talkでいただいたご要望に対する進捗状況
前回のCasual Talkでいただいたご要望に対する進捗状況
JubatusOfficial
pylearn2を用いた Deep Learning (E-Cell sprint 2014 発表内容)
pylearn2を用いた Deep Learning (E-Cell sprint 2014 発表内容)
Shohei Nagata
深層学習レポート Day1 (小川成)
深層学習レポート Day1 (小川成)
ssuser441cb9
Jubatus Python特徴抽出プラグイン
Jubatus Python特徴抽出プラグイン
Tetsuya Shioda
第1回 Jubatusハンズオン
第1回 Jubatusハンズオン
JubatusOfficial
Recommended
PYTHON PACKAGING (PyFes 2012.03 発表資料)
PYTHON PACKAGING (PyFes 2012.03 発表資料)
Takayuki Shimizukawa
Easy caching and logging package using annotation in Python
Easy caching and logging package using annotation in Python
Yasunori Horikoshi
Jubatus Casual Talks #2: 大量映像・画像のための異常値検知とクラス分類
Jubatus Casual Talks #2: 大量映像・画像のための異常値検知とクラス分類
Hirotaka Ogawa
前回のCasual Talkでいただいたご要望に対する進捗状況
前回のCasual Talkでいただいたご要望に対する進捗状況
JubatusOfficial
pylearn2を用いた Deep Learning (E-Cell sprint 2014 発表内容)
pylearn2を用いた Deep Learning (E-Cell sprint 2014 発表内容)
Shohei Nagata
深層学習レポート Day1 (小川成)
深層学習レポート Day1 (小川成)
ssuser441cb9
Jubatus Python特徴抽出プラグイン
Jubatus Python特徴抽出プラグイン
Tetsuya Shioda
第1回 Jubatusハンズオン
第1回 Jubatusハンズオン
JubatusOfficial
jubarecommenderの紹介
jubarecommenderの紹介
JubatusOfficial
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
JubatusOfficial
JubaQLご紹介
JubaQLご紹介
JubatusOfficial
Jubaanomalyについて
Jubaanomalyについて
JubatusOfficial
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
JubatusOfficial
Jubatus 1.0 の紹介
Jubatus 1.0 の紹介
JubatusOfficial
小町のレス数が予測できるか試してみた
小町のレス数が予測できるか試してみた
JubatusOfficial
かまってちゃん小町
かまってちゃん小町
JubatusOfficial
Python 特徴抽出プラグイン
Python 特徴抽出プラグイン
JubatusOfficial
Jubakitの解説
Jubakitの解説
JubatusOfficial
新機能紹介 1.0.6
新機能紹介 1.0.6
JubatusOfficial
発言小町からのプロファイリング
発言小町からのプロファイリング
JubatusOfficial
単語コレクター(文章自動校正器)
単語コレクター(文章自動校正器)
JubatusOfficial
Jubatus解説本の紹介
Jubatus解説本の紹介
JubatusOfficial
新聞から今年の漢字を予測する
新聞から今年の漢字を予測する
JubatusOfficial
銀座のママ
銀座のママ
JubatusOfficial
小町の溜息
小町の溜息
JubatusOfficial
JUBARHYME
JUBARHYME
JubatusOfficial
地域の魅力を伝えるツアーガイドAI
地域の魅力を伝えるツアーガイドAI
JubatusOfficial
みんなのPython勉強会#77 パッケージングしよう
みんなのPython勉強会#77 パッケージングしよう
Atsushi Odagiri
Jubakitの紹介
Jubakitの紹介
JubatusOfficial
Jubakit の紹介
Jubakit の紹介
kmaehashi
More Related Content
Viewers also liked
jubarecommenderの紹介
jubarecommenderの紹介
JubatusOfficial
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
JubatusOfficial
JubaQLご紹介
JubaQLご紹介
JubatusOfficial
Jubaanomalyについて
Jubaanomalyについて
JubatusOfficial
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
JubatusOfficial
Jubatus 1.0 の紹介
Jubatus 1.0 の紹介
JubatusOfficial
小町のレス数が予測できるか試してみた
小町のレス数が予測できるか試してみた
JubatusOfficial
かまってちゃん小町
かまってちゃん小町
JubatusOfficial
Python 特徴抽出プラグイン
Python 特徴抽出プラグイン
JubatusOfficial
Jubakitの解説
Jubakitの解説
JubatusOfficial
新機能紹介 1.0.6
新機能紹介 1.0.6
JubatusOfficial
発言小町からのプロファイリング
発言小町からのプロファイリング
JubatusOfficial
単語コレクター(文章自動校正器)
単語コレクター(文章自動校正器)
JubatusOfficial
Jubatus解説本の紹介
Jubatus解説本の紹介
JubatusOfficial
新聞から今年の漢字を予測する
新聞から今年の漢字を予測する
JubatusOfficial
銀座のママ
銀座のママ
JubatusOfficial
小町の溜息
小町の溜息
JubatusOfficial
JUBARHYME
JUBARHYME
JubatusOfficial
地域の魅力を伝えるツアーガイドAI
地域の魅力を伝えるツアーガイドAI
JubatusOfficial
Viewers also liked
(19)
jubarecommenderの紹介
jubarecommenderの紹介
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
コンテンツマーケティングでレコメンドエンジンが必要になる背景とその活用
JubaQLご紹介
JubaQLご紹介
Jubaanomalyについて
Jubaanomalyについて
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
まだCPUで消耗してるの?Jubatusによる近傍探索のGPUを利用した高速化
Jubatus 1.0 の紹介
Jubatus 1.0 の紹介
小町のレス数が予測できるか試してみた
小町のレス数が予測できるか試してみた
かまってちゃん小町
かまってちゃん小町
Python 特徴抽出プラグイン
Python 特徴抽出プラグイン
Jubakitの解説
Jubakitの解説
新機能紹介 1.0.6
新機能紹介 1.0.6
発言小町からのプロファイリング
発言小町からのプロファイリング
単語コレクター(文章自動校正器)
単語コレクター(文章自動校正器)
Jubatus解説本の紹介
Jubatus解説本の紹介
新聞から今年の漢字を予測する
新聞から今年の漢字を予測する
銀座のママ
銀座のママ
小町の溜息
小町の溜息
JUBARHYME
JUBARHYME
地域の魅力を伝えるツアーガイドAI
地域の魅力を伝えるツアーガイドAI
Similar to Jubatus: Jubakitでもっと楽をしよう
みんなのPython勉強会#77 パッケージングしよう
みんなのPython勉強会#77 パッケージングしよう
Atsushi Odagiri
Jubakitの紹介
Jubakitの紹介
JubatusOfficial
Jubakit の紹介
Jubakit の紹介
kmaehashi
YugabyteDBを使ってみよう(NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料)
YugabyteDBを使ってみよう(NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料)
NTT DATA Technology & Innovation
QGISセミナー・中級編 Ver. 2.4版
QGISセミナー・中級編 Ver. 2.4版
FOSS4G_MEXT
QGISセミナー中級編(V2.4)
QGISセミナー中級編(V2.4)
IWASAKI NOBUSUKE
はじめてのPython
はじめてのPython
Katsumi Honda
eggとはなんだったのか 栄光のsetuptools
eggとはなんだったのか 栄光のsetuptools
Atsushi Odagiri
QGISセミナー初級・実践編(V2.4)
QGISセミナー初級・実践編(V2.4)
IWASAKI NOBUSUKE
QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版
QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版
FOSS4G_MEXT
Jjugccc2017spring-postgres-ccc_m1
Jjugccc2017spring-postgres-ccc_m1
Kosuke Kida
datetime.datetime.now()をモックしたい.pdf
datetime.datetime.now()をモックしたい.pdf
YutaNemoto1
RTM講習会 2部
RTM講習会 2部
openrtm
Distutil setuptools distribute
Distutil setuptools distribute
Atsushi Odagiri
pg_walinspectについて調べてみた!(第37回PostgreSQLアンカンファレンス@オンライン 発表資料)
pg_walinspectについて調べてみた!(第37回PostgreSQLアンカンファレンス@オンライン 発表資料)
NTT DATA Technology & Innovation
Git
Git
Shuhei Iitsuka
Djangoのエントリポイントとアプリケーションの仕組み
Djangoのエントリポイントとアプリケーションの仕組み
Shinya Okano
Canonicalが支える、さくっと使えるUbuntu OpenStack - OpenStack Day in ITpro EXPO 2014
Canonicalが支える、さくっと使えるUbuntu OpenStack - OpenStack Day in ITpro EXPO 2014
Nobuyuki Tamaoki
オンライン物理バックアップの排他モードと非排他モードについて(第15回PostgreSQLアンカンファレンス@オンライン 発表資料)
オンライン物理バックアップの排他モードと非排他モードについて(第15回PostgreSQLアンカンファレンス@オンライン 発表資料)
NTT DATA Technology & Innovation
Exastro IT Automation オンラインインストール v1.4.1
Exastro IT Automation オンラインインストール v1.4.1
Exastro Suite Community
Similar to Jubatus: Jubakitでもっと楽をしよう
(20)
みんなのPython勉強会#77 パッケージングしよう
みんなのPython勉強会#77 パッケージングしよう
Jubakitの紹介
Jubakitの紹介
Jubakit の紹介
Jubakit の紹介
YugabyteDBを使ってみよう(NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料)
YugabyteDBを使ってみよう(NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料)
QGISセミナー・中級編 Ver. 2.4版
QGISセミナー・中級編 Ver. 2.4版
QGISセミナー中級編(V2.4)
QGISセミナー中級編(V2.4)
はじめてのPython
はじめてのPython
eggとはなんだったのか 栄光のsetuptools
eggとはなんだったのか 栄光のsetuptools
QGISセミナー初級・実践編(V2.4)
QGISセミナー初級・実践編(V2.4)
QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版
QGISセミナー初級編 ~QGISの使い方・実践編~ Ver. 2.4版
Jjugccc2017spring-postgres-ccc_m1
Jjugccc2017spring-postgres-ccc_m1
datetime.datetime.now()をモックしたい.pdf
datetime.datetime.now()をモックしたい.pdf
RTM講習会 2部
RTM講習会 2部
Distutil setuptools distribute
Distutil setuptools distribute
pg_walinspectについて調べてみた!(第37回PostgreSQLアンカンファレンス@オンライン 発表資料)
pg_walinspectについて調べてみた!(第37回PostgreSQLアンカンファレンス@オンライン 発表資料)
Git
Git
Djangoのエントリポイントとアプリケーションの仕組み
Djangoのエントリポイントとアプリケーションの仕組み
Canonicalが支える、さくっと使えるUbuntu OpenStack - OpenStack Day in ITpro EXPO 2014
Canonicalが支える、さくっと使えるUbuntu OpenStack - OpenStack Day in ITpro EXPO 2014
オンライン物理バックアップの排他モードと非排他モードについて(第15回PostgreSQLアンカンファレンス@オンライン 発表資料)
オンライン物理バックアップの排他モードと非排他モードについて(第15回PostgreSQLアンカンファレンス@オンライン 発表資料)
Exastro IT Automation オンラインインストール v1.4.1
Exastro IT Automation オンラインインストール v1.4.1
Recently uploaded
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
Recently uploaded
(9)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
Jubatus: Jubakitでもっと楽をしよう
1.
Jubakitでもっと楽をしよう Tetsuya Shioda Jubatus hands-on
#5 November 1, 2017
2.
本資料で話すこと • Jubakit の紹介 •
Jubakit を使ってデフォルト判定をしてみる • 前回の Casual Talk からの機能改善 • scikit-learn wrapper の紹介 • embedded jubatus の紹介 • まとめ Jubatus hands-on #5 2
3.
Jubakit とは • Jubatus
を使ったデータ分析を もっと簡単に する Pythonモジュール • 何が簡単になった? • scikit-learnとの連携 や外部データソースの取り込みなどが簡単 • Jubatusサーバの起動不要で、パラメータチューニングが簡単 • 利用環境: • Python 2.7 以降、Python 3.3 以降をサポート • Jubatus 0.8.0 以降で利用可能 Jubatus hands-on #5 3
4.
前回の Casual Talk •
https://www.slideshare.net/kmaehashi/jubakit-63202847 • http://jubat.us/ja/jubakit/ Jubatus hands-on #5 4
5.
Jubakit の アーキテクチャ Jubatus
hands-on #5 5
6.
デフォルト判定をJubakitで行う Jubatus hands-on #5
6 1. CSVLoader を利用してデータセットを読み込む 2. 分類サービスを起動して、学習と予測を行う
7.
データセットの読み込み Jubatus hands-on #5
7 from jubakit.classifier import Dataset, Schema from jubakit.loader.csv import CSVLoader schema = Schema({“Y”: Schema.LABEL}, Schema.NUMBER) loader = CSVLoader(“data/dataset_train.csv”) dataset = Dataset(loader, schema) Jubakit に流し込める Dataset を作成する
8.
データセットの読み込み Jubatus hands-on #5
8 from jubakit.classifier import Dataset, Schema from jubakit.loader.csv import CSVLoader schema = Schema({“Y”: Schema.LABEL}, Schema.NUMBER) loader = CSVLoader(“data/dataset_train.csv”) dataset = Dataset(loader, schema) “Y”列をラベルとして読み込み、その他は全て数値型にする
9.
データセットの読み込み Jubatus hands-on #5
9 from jubakit.classifier import Dataset, Schema from jubakit.loader.csv import CSVLoader schema = Schema({“Y”: Schema.LABEL}, Schema.NUMBER) loader = CSVLoader(“data/dataset_train.csv”) dataset = Dataset(loader, schema) 読み込みたいCSVファイルを指定する
10.
データセットの読み込み Jubatus hands-on #5
10 from jubakit.classifier import Dataset, Schema from jubakit.loader.csv import CSVLoader schema = Schema({“Y”: Schema.LABEL}, Schema.NUMBER) loader = CSVLoader(“data/dataset_train.csv”) dataset = Dataset(loader, schema) loaderとschemaを利用して、データセットを作成する
11.
分類サービスの作成 Jubatus hands-on #5
11 from jubakit.classifier import Classifier, Config config = Config(method=“AROW”, parameter={ “regularization_weight”: 0.1 }) classifier = Classifier.run(config) 設定を引数でダイレクトに定義して、Serviceを起動する
12.
分類サービスの作成 Jubatus hands-on #5
12 from jubakit.classifier import Classifier, Config config = Config(method=“AROW”, parameter={ “regularization_weight”: 0.1 }) classifier = Classifier.run(config) JSONで記述していた設定を引数に渡す
13.
分類サービスの作成 Jubatus hands-on #5
13 from jubakit.classifier import Classifier, Config config = Config(method=“AROW”, parameter={ “regularization_weight”: 0.1 }) Classifier = Classifier.run(config) Classifierサービスを起動する
14.
学習・予測を行う Jubatus hands-on #5
14 for _ in classifier.train(dataset_train): pass y_true, y_pred = [], [] for (idx, label, result) in classifier.classify(dataset_test): y_true.append(label) y_pred.append(result[0][0]) 通常のJubatusと同様に、train/classifyを呼ぶ
15.
学習・予測を行う Jubatus hands-on #5
15 for _ in classifier.train(dataset_train): pass y_true, y_pred = [], [] for (idx, label, result) in classifier.classify(dataset_test): y_true.append(label) y_pred.append(result[0][0]) 学習を行う (yieldなのでfor文を回す)
16.
学習・予測を行う Jubatus hands-on #5
16 for _ in classifier.train(dataset_train): pass y_true, y_pred = [], [] for (idx, label, result) in classifier.classify(dataset_test): y_true.append(label) y_pred.append(result[0][0]) 予測結果を取得する 確信度の最も高いラベルを取るにはresult[0][0]
17.
前回の Casual Talk
からの変更点 分析機能 の追加: Classifier, Anomaly, Recommender, Regression が利用可能 scikit-learn wrapper の追加: fit(X, y) や predict(X) など、お馴染みの API から Jubatus を利用可能 jubash:CLI を利用して対話的に Jubatus を利用できるツール コードを書くまでもないが、挙動確認をしたいときに便利 jubamodel:保存したモデルの設定変更ができるツール config の書き換え 近傍探索モデルのClassifierモデルとの相互変換、など Jubatus hands-on #5 17
18.
scikit-learn wrapper の使い方 Jubatus
hands-on #5 18 from sklearn.metrics import classification_report from jubakit.wrapper.classifier import LinearClassifier clf = LinearClassifier(method=“AROW”, regularization_weight=0.1, embedded=False) clf.fit(X_train, y_train) y_pred = clf.predict(X_test) print(classification_report(y_test, y_pred)) scikit-learn と同様のインターフェースで利用可能
19.
scikit-learn wrapper の使い方 Jubatus
hands-on #5 19 from sklearn.metrics import classification_report from jubakit.wrapper.classifier import LinearClassifier clf = LinearClassifier(method=“AROW”, regularization_weight=0.1, embedded=False) clf.fit(X_train, y_train) y_pred = clf.predict(X_test) print(classification_report(y_test, y_pred)) embeddedオプション:embedded_jubatusを使うか否か
20.
Embedded Jubatus • jubatus_coreを直接叩ける
Pythonモジュール • jubatus_core: Jubatusの機械学習実装部 • データ授受が高速なのでパラメータ調整などで役立つ • クライアントを少し変えるだけで利用可能 Jubatus hands-on #5 20 from jubatus.classifier.client import Classifier classifier = Classifier(host, port, name) from jubatus.embedded import Classifier classifier = Classifier(‘config.json’) 設定ファイルのJSONを直接パスで指定するだけでOK 今まで embedded
21.
本資料で話したこと • Jubakit の紹介 •
Jubakit を使ってデフォルト判定をしてみる • 前回の Casual Talk からの機能改善 • scikit-learn wrapper の紹介 • embedded jubatus の紹介 Jubatus hands-on #5 21
22.
さいごに Pull-Request お待ちしてます! https://github.com/jubatus/jubakit Jubatus hands-on
#5 22
Download now