Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
EN
Uploaded by
Tohru Kobayashi
ODP, PPTX
1,077 views
Jubatus使ってみた
オンライン機械学習 Jubatusをつかってサービスを開発してみた。その紹介しちゃいます。
Technology
◦
Related topics:
Web Application
•
Read more
1
Save
Share
Embed
Embed presentation
Download
Download as ODP, PPTX
1
/ 69
2
/ 69
3
/ 69
4
/ 69
5
/ 69
6
/ 69
7
/ 69
8
/ 69
9
/ 69
10
/ 69
11
/ 69
12
/ 69
13
/ 69
14
/ 69
15
/ 69
16
/ 69
17
/ 69
18
/ 69
19
/ 69
20
/ 69
21
/ 69
22
/ 69
23
/ 69
24
/ 69
25
/ 69
26
/ 69
27
/ 69
28
/ 69
29
/ 69
30
/ 69
31
/ 69
32
/ 69
33
/ 69
34
/ 69
35
/ 69
36
/ 69
37
/ 69
38
/ 69
39
/ 69
40
/ 69
41
/ 69
42
/ 69
43
/ 69
44
/ 69
45
/ 69
46
/ 69
47
/ 69
48
/ 69
49
/ 69
50
/ 69
51
/ 69
52
/ 69
53
/ 69
54
/ 69
55
/ 69
56
/ 69
57
/ 69
58
/ 69
59
/ 69
60
/ 69
61
/ 69
62
/ 69
63
/ 69
64
/ 69
65
/ 69
66
/ 69
67
/ 69
68
/ 69
69
/ 69
More Related Content
PDF
Jubatus Casual Talks #2 異常検知入門
by
Shohei Hido
PDF
Jubatus Casual Talks #2 Jubatus開発者入門
by
Shuzo Kashihara
PPTX
ディープラーニングによる時系列データの異常検知
by
Core Concept Technologies
PPTX
さらば!データサイエンティスト
by
Shohei Hido
PDF
今年のKDDベストペーパーを実装・公開しました
by
Shohei Hido
PDF
ディープラーニングの産業応用とそれを支える技術
by
Shohei Hido
PDF
Jubatusが目指すインテリジェンス基盤
by
Shohei Hido
PDF
rcast_20140411
by
Preferred Networks
Jubatus Casual Talks #2 異常検知入門
by
Shohei Hido
Jubatus Casual Talks #2 Jubatus開発者入門
by
Shuzo Kashihara
ディープラーニングによる時系列データの異常検知
by
Core Concept Technologies
さらば!データサイエンティスト
by
Shohei Hido
今年のKDDベストペーパーを実装・公開しました
by
Shohei Hido
ディープラーニングの産業応用とそれを支える技術
by
Shohei Hido
Jubatusが目指すインテリジェンス基盤
by
Shohei Hido
rcast_20140411
by
Preferred Networks
What's hot
PDF
評BanにおけるJubatus活用事例
by
JubatusOfficial
PDF
mlabforum2012_okanohara
by
Preferred Networks
PDF
大規模データ時代に求められる自然言語処理
by
Preferred Networks
PDF
Deep Learning Lab 異常検知入門
by
Shohei Hido
PDF
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
by
Hisao Soyama
PDF
aiconf2017okanohara
by
Preferred Networks
PDF
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
by
Yuya Unno
PDF
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
by
Preferred Networks
PDF
自然言語処理紹介(就職編)
by
長岡技術科学大学 自然言語処理研究室
PDF
ビッグデータはどこまで効率化できるか?
by
Shohei Hido
PDF
基調講演:「多様化する情報を支える技術」/西川徹
by
Preferred Networks
PDF
Jubatusにおける大規模分散オンライン機械学習@先端金融テクノロジー研究会
by
Yuya Unno
PDF
ICML2013読み会 開会宣言
by
Shohei Hido
PDF
機械学習モデルフォーマットの話:さようならPMML、こんにちはPFA
by
Shohei Hido
PDF
Twitter分析のためのリアルタイム分析基盤@第4回Twitter研究会
by
Yuya Unno
PDF
リクルートライフスタイル分析基盤チーム2年目が世話するデータ連携bot達のお話
by
Yuji Sakurai
PDF
イノベーションことはじめ
by
Preferred Networks
PDF
Chainerのテスト環境とDockerでのCUDAの利用
by
Yuya Unno
PDF
データサイエンティストのつくり方
by
Shohei Hido
PDF
tut_pfi_2012
by
Preferred Networks
評BanにおけるJubatus活用事例
by
JubatusOfficial
mlabforum2012_okanohara
by
Preferred Networks
大規模データ時代に求められる自然言語処理
by
Preferred Networks
Deep Learning Lab 異常検知入門
by
Shohei Hido
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
by
Hisao Soyama
aiconf2017okanohara
by
Preferred Networks
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
by
Yuya Unno
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
by
Preferred Networks
自然言語処理紹介(就職編)
by
長岡技術科学大学 自然言語処理研究室
ビッグデータはどこまで効率化できるか?
by
Shohei Hido
基調講演:「多様化する情報を支える技術」/西川徹
by
Preferred Networks
Jubatusにおける大規模分散オンライン機械学習@先端金融テクノロジー研究会
by
Yuya Unno
ICML2013読み会 開会宣言
by
Shohei Hido
機械学習モデルフォーマットの話:さようならPMML、こんにちはPFA
by
Shohei Hido
Twitter分析のためのリアルタイム分析基盤@第4回Twitter研究会
by
Yuya Unno
リクルートライフスタイル分析基盤チーム2年目が世話するデータ連携bot達のお話
by
Yuji Sakurai
イノベーションことはじめ
by
Preferred Networks
Chainerのテスト環境とDockerでのCUDAの利用
by
Yuya Unno
データサイエンティストのつくり方
by
Shohei Hido
tut_pfi_2012
by
Preferred Networks
Viewers also liked
PDF
Mr201306 機械学習のセキュリティ技術応用
by
FFRI, Inc.
PDF
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
by
Preferred Networks
PDF
ルールベースから機械学習への道 公開用
by
nishio
PDF
実戦投入する機械学習
by
Takahiro Kubo
PPTX
「機械学習 By スタンフォード大学」勉強会 2015.09.11
by
Minoru Chikamune
PDF
機械学習の理論と実践
by
Preferred Networks
PDF
機械学習によるデータ分析まわりのお話
by
Ryota Kamoshida
PDF
機械学習チュートリアル@Jubatus Casual Talks
by
Yuya Unno
Mr201306 機械学習のセキュリティ技術応用
by
FFRI, Inc.
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
by
Preferred Networks
ルールベースから機械学習への道 公開用
by
nishio
実戦投入する機械学習
by
Takahiro Kubo
「機械学習 By スタンフォード大学」勉強会 2015.09.11
by
Minoru Chikamune
機械学習の理論と実践
by
Preferred Networks
機械学習によるデータ分析まわりのお話
by
Ryota Kamoshida
機械学習チュートリアル@Jubatus Casual Talks
by
Yuya Unno
Similar to Jubatus使ってみた
PPTX
Jubatus 1.0 の紹介
by
JubatusOfficial
PPT
Jubatusで始める機械学習/セキュリティと機械学習
by
Preferred Networks
PDF
Jubatusの紹介@第6回さくさくテキストマイニング
by
Yuya Unno
PDF
Jubatus解説本の紹介
by
JubatusOfficial
PDF
機械学習とJubatus
by
Junya Yamaguchi
PDF
Overview and Roadmap
by
JubatusOfficial
PDF
Jubatusでマルウェア分類
by
Shuzo Kashihara
PDF
Jubatusの特徴変換と線形分類器の仕組み
by
JubatusOfficial
PDF
Oracle Cloud Developers Meetup@東京
by
tuchimur
PPTX
Jubatusで始める機械学習
by
JubatusOfficial
PDF
Jubakit の紹介
by
kmaehashi
PDF
Jubakitの紹介
by
JubatusOfficial
PDF
jubatus pressrelease
by
JubatusOfficial
PDF
Jubakitの解説
by
JubatusOfficial
PPTX
Jubatus: Jubakitでもっと楽をしよう
by
Tetsuya Shioda
PPTX
Jubatusによるアセンブリ実行速度の自動チューニング
by
Takayuki Muranushi
PDF
世界征服を目指すJubatusだからこそ期待する5つのポイント
by
NTT DATA OSS Professional Services
PDF
Jubatusにおける大規模分散オンライン機械学習
by
Preferred Networks
PDF
Python 特徴抽出プラグイン
by
JubatusOfficial
PDF
Jubatus Python特徴抽出プラグイン
by
Tetsuya Shioda
Jubatus 1.0 の紹介
by
JubatusOfficial
Jubatusで始める機械学習/セキュリティと機械学習
by
Preferred Networks
Jubatusの紹介@第6回さくさくテキストマイニング
by
Yuya Unno
Jubatus解説本の紹介
by
JubatusOfficial
機械学習とJubatus
by
Junya Yamaguchi
Overview and Roadmap
by
JubatusOfficial
Jubatusでマルウェア分類
by
Shuzo Kashihara
Jubatusの特徴変換と線形分類器の仕組み
by
JubatusOfficial
Oracle Cloud Developers Meetup@東京
by
tuchimur
Jubatusで始める機械学習
by
JubatusOfficial
Jubakit の紹介
by
kmaehashi
Jubakitの紹介
by
JubatusOfficial
jubatus pressrelease
by
JubatusOfficial
Jubakitの解説
by
JubatusOfficial
Jubatus: Jubakitでもっと楽をしよう
by
Tetsuya Shioda
Jubatusによるアセンブリ実行速度の自動チューニング
by
Takayuki Muranushi
世界征服を目指すJubatusだからこそ期待する5つのポイント
by
NTT DATA OSS Professional Services
Jubatusにおける大規模分散オンライン機械学習
by
Preferred Networks
Python 特徴抽出プラグイン
by
JubatusOfficial
Jubatus Python特徴抽出プラグイン
by
Tetsuya Shioda
More from Tohru Kobayashi
ODP
IBM Watson Visual Recognition を紹介するよ
by
Tohru Kobayashi
ODP
怠惰な私がプログラミングするときに重要だと考えているたった1つのこと
by
Tohru Kobayashi
PDF
○○でかんたんお部屋探し!
by
Tohru Kobayashi
PDF
RでAHP
by
Tohru Kobayashi
PDF
20121205 jjbug
by
Tohru Kobayashi
PDF
RをAWSで使おう
by
Tohru Kobayashi
IBM Watson Visual Recognition を紹介するよ
by
Tohru Kobayashi
怠惰な私がプログラミングするときに重要だと考えているたった1つのこと
by
Tohru Kobayashi
○○でかんたんお部屋探し!
by
Tohru Kobayashi
RでAHP
by
Tohru Kobayashi
20121205 jjbug
by
Tohru Kobayashi
RをAWSで使おう
by
Tohru Kobayashi
Jubatus使ってみた
1.
Jubatus 使ってみたよ TokyoR #44 小林 達
@soultoru
2.
※ この資料の情報は個人の見解であり、 所属団体や資料を参考にした個人・団体様には 一切関係ないです。 あっても見逃してください。
3.
早速ですが、
4.
こんなことに 困っていません か?
5.
問
6.
関係者がデータ を小出しに 提出してくる
7.
データが巨大で 1 台のサーバの メモリには 載らない
8.
データ投入から 分析結果の出力 まで長時間
10.
あるよ。
11.
https://preferred.jp/
12.
アジェンダ
13.
● どんなもの? ● 何ができるの? ● どうして動くの? ● 作ってみた ● R から使うには
14.
● どんなもの? ● 何ができるの? ● どうして動くの? ● 作ってみた ● R から使うには
15.
Jubatus = 機械学習 エンジン
16.
「分散した データ」を 「常に素早く」 「深く分析」
17.
https://preferred.jp/product/jubatus/
18.
PFI と NTT
が 共同開発の 国産 OSS ※ 現在は Preferred Networks がライセンスを保有しているみたいです。 http://itpro.nikkeibp.co.jp/atcl/news/14/100101159/
19.
● どんなもの? ● 何ができるの? ● どうして動くの? ● 作ってみた ● R から使うには
20.
Jubatus = 機械学習 エンジン
21.
多値分類 線形回帰 クラスタリング クラスタ分析 時系列データの統計分析 近傍探索 推薦 グラフマイニング 異常検知
22.
これらの 機械学習タスク を
23.
オンラインに 分散処理できる
24.
!
26.
● どんなもの? ● 何ができるの? ● どうして動くの? ● 作ってみた ● R から使うには
27.
Jubatus = 機械学習 エンジン
28.
多値分類 線形回帰 クラスタリング クラスタ分析 時系列データの統計分析 近傍探索 推薦 グラフマイニング 異常検知
29.
機械学習とは、 簡単にはデータに対して何かのモデルに対して 問題を解くことで意図した動作を機械にさせる ※ 詳しい原理は書籍を読んでください
30.
オンライン
31.
勉強しろ 結果くれ Datum この間わずか 数十 ms で
OK ! ほい ※ 状況によって違います 結果
32.
なぜオンライン で動くのか?
33.
オンライン化 のマジック =
34.
確率的 勾配降下法
35.
目的関数が期待値で表された最適化問題 ( は確率密度関数) に対するオンライン最適化アルゴリズム. 目的関数の勾配が得られる状況下では, 通常の勾配法が適用 可能だが, の計算が高コストであまり現実的ではない場合が ある.そこで, の代わりに近似的に を用いた勾配法 ( は反復時点での実現値) が確率的勾配降下法( Stochastic Gradient
Descent, 以下 SGD ) である. は 平均的にはと一致するので通常の勾配 法と同様な収束性が期待される. http://www.msi.co.jp/nuopt/glossary/term_da265770bed70e5f0a764f3d20c0ce3d242e6467.html ※Jubatus は同様ではあるが違うアルゴリズム使ってるかも。ソースそこまで読んでないす。
36.
分散処理
37.
勉強しろ Datum 勉強しろ Datum
38.
こそこそ
39.
結果くれ 結果くれ どっちに聞いても いいよ! 結果が少し 違うかもだけど
40.
なぜ分散処理 できるか
41.
「こそこそ」 に秘密あり!
42.
分散学習機構 Mix
43.
データそのもの をやりとり しない (大きいから)
44.
分析結果 ( モデル )
を
45.
ガッチャンコ (平均化)
46.
データ モデル 全部処理。。。 モデルの平均 とるだけ! ※ 「モデルの平均とるだけ」はイメージです。 実際にはもっと難しい処理しているはずです。
47.
ただし、
48.
データの Update 毎に Mix しない
49.
= 分析結果が ノード毎 違う可能性
51.
● どんなもの? ● 何ができるの? ● どうして動くの? ● 作ってみた ● R から使うには
53.
http://karaoke.pink アプリ作ってみました。 推薦エンジンを中で使ってます。
54.
● どんなもの? ● 何ができるの? ● どうして動くの? ● 作ってみた ● R から使うには
55.
残念なお知らせ残念なお知らせ
56.
R のライブラリ はまだないみたい です。。。
57.
今のところ C++ 、 Java Python
、 Ruby に対応
58.
でも 動かせる可能性 はありますっ
59.
1 Msgpack + RPC を
R で実装
60.
2 C++ ライブラリ を Rcpp で呼び出す
61.
3 RESTapi を Ruby などで作成 RCurl
で呼び出す
62.
すみません、 どれも試せて ないです。。。
63.
本当は R のドライバライブラリ 公開したかったのですが間に合いませんでした
64.
● まとめ
65.
Jubatus = 機械学習 エンジン
66.
「分散した データ」を 「常に素早く」 「深く分析」
67.
今は (簡単には) R から動かない
68.
※ その内なんとか するかも
69.
おしまい
Download