Submit Search
Upload
Hivemall LT @ Machine Learning Casual Talks #3
•
9 likes
•
4,397 views
Makoto Yui
Follow
Hivemall LT @ Machine Learning Casual Talks #3 http://mlct.connpass.com/event/13995/
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 16
Download now
Download to read offline
Recommended
Hivemall v0.3の機能紹介@1st Hivemall meetup
Hivemall v0.3の機能紹介@1st Hivemall meetup
Makoto Yui
Hcj2014 myui
Hcj2014 myui
Makoto Yui
HivemallとSpark MLlibの比較
HivemallとSpark MLlibの比較
Makoto Yui
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
Kentaro Yoshida
Sano hmm 20150512
Sano hmm 20150512
Masakazu Sano
hivemallを使って4日間で性別推定した話
hivemallを使って4日間で性別推定した話
eventdotsjp
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
Yasuyuki Sugai
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
LINE Corp.
Recommended
Hivemall v0.3の機能紹介@1st Hivemall meetup
Hivemall v0.3の機能紹介@1st Hivemall meetup
Makoto Yui
Hcj2014 myui
Hcj2014 myui
Makoto Yui
HivemallとSpark MLlibの比較
HivemallとSpark MLlibの比較
Makoto Yui
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
Kentaro Yoshida
Sano hmm 20150512
Sano hmm 20150512
Masakazu Sano
hivemallを使って4日間で性別推定した話
hivemallを使って4日間で性別推定した話
eventdotsjp
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
Yasuyuki Sugai
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
LINE Corp.
AWS IoT Eventsで遊んでみた
AWS IoT Eventsで遊んでみた
Ken'ichirou Kimura
変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤
Recruit Technologies
レコメンドアルゴリズムの基本と周辺知識と実装方法
レコメンドアルゴリズムの基本と周辺知識と実装方法
Takeshi Mikami
ML Pipelineで実践機械学習
ML Pipelineで実践機械学習
Kazuki Taniguchi
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
Recruit Technologies
AWSによるグラフDB構築
AWSによるグラフDB構築
Alexander Patrikalakis
2nd Hivemall meetup 20151020
2nd Hivemall meetup 20151020
Makoto Yui
Hivemallmtup 20160908
Hivemallmtup 20160908
Kazuki Ohmori
3rd Hivemall meetup
3rd Hivemall meetup
Makoto Yui
Hivemall meetup vol2 oisix
Hivemall meetup vol2 oisix
Taisuke Fukawa
20160908 hivemall meetup
20160908 hivemall meetup
Takeshi Yamamuro
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
Takatoshi Kakimoto
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
Apache spark 2.3 and beyond
Apache spark 2.3 and beyond
NTT DATA Technology & Innovation
CLOUDIAN at Support Engineer Night
CLOUDIAN at Support Engineer Night
CLOUDIAN KK
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
Insight Technology, Inc.
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
Kazunori Sato
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
griddb
Japan elasticusergroup01 Acroquest
Japan elasticusergroup01 Acroquest
Hiroshi Yoshioka
More Related Content
What's hot
AWS IoT Eventsで遊んでみた
AWS IoT Eventsで遊んでみた
Ken'ichirou Kimura
変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤
Recruit Technologies
レコメンドアルゴリズムの基本と周辺知識と実装方法
レコメンドアルゴリズムの基本と周辺知識と実装方法
Takeshi Mikami
ML Pipelineで実践機械学習
ML Pipelineで実践機械学習
Kazuki Taniguchi
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
Recruit Technologies
AWSによるグラフDB構築
AWSによるグラフDB構築
Alexander Patrikalakis
What's hot
(6)
AWS IoT Eventsで遊んでみた
AWS IoT Eventsで遊んでみた
変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤
レコメンドアルゴリズムの基本と周辺知識と実装方法
レコメンドアルゴリズムの基本と周辺知識と実装方法
ML Pipelineで実践機械学習
ML Pipelineで実践機械学習
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
レコメンドバッチ高速化に向けたSpark/MapReduceの機械学習ライブラリ比較検証
AWSによるグラフDB構築
AWSによるグラフDB構築
Viewers also liked
2nd Hivemall meetup 20151020
2nd Hivemall meetup 20151020
Makoto Yui
Hivemallmtup 20160908
Hivemallmtup 20160908
Kazuki Ohmori
3rd Hivemall meetup
3rd Hivemall meetup
Makoto Yui
Hivemall meetup vol2 oisix
Hivemall meetup vol2 oisix
Taisuke Fukawa
20160908 hivemall meetup
20160908 hivemall meetup
Takeshi Yamamuro
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
Takatoshi Kakimoto
Viewers also liked
(6)
2nd Hivemall meetup 20151020
2nd Hivemall meetup 20151020
Hivemallmtup 20160908
Hivemallmtup 20160908
3rd Hivemall meetup
3rd Hivemall meetup
Hivemall meetup vol2 oisix
Hivemall meetup vol2 oisix
20160908 hivemall meetup
20160908 hivemall meetup
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
Similar to Hivemall LT @ Machine Learning Casual Talks #3
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
Apache spark 2.3 and beyond
Apache spark 2.3 and beyond
NTT DATA Technology & Innovation
CLOUDIAN at Support Engineer Night
CLOUDIAN at Support Engineer Night
CLOUDIAN KK
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
Insight Technology, Inc.
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
Kazunori Sato
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
griddb
Japan elasticusergroup01 Acroquest
Japan elasticusergroup01 Acroquest
Hiroshi Yoshioka
[Oracle Innovation Summit Tokyo 2018] 水環境の持続を支えるクラウド型ICTプラットフォーム「Water Busine...
[Oracle Innovation Summit Tokyo 2018] 水環境の持続を支えるクラウド型ICTプラットフォーム「Water Busine...
オラクルエンジニア通信
How to organize data science project (データサイエンスプロジェクトの始め方101)
How to organize data science project (データサイエンスプロジェクトの始め方101)
Yasuyuki Kataoka
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
Tetsutaro Watanabe
BigObjectsで大量データのチャンピオンになる
BigObjectsで大量データのチャンピオンになる
Toshiyasu Kuwada
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Insight Technology, Inc.
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Insight Technology, Inc.
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
Insight Technology, Inc.
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Kazuki Taniguchi
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazon Web Services Japan
Vldb2002 report-200210231500
Vldb2002 report-200210231500
Takeo Kunishima
Similar to Hivemall LT @ Machine Learning Casual Talks #3
(20)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Apache spark 2.3 and beyond
Apache spark 2.3 and beyond
CLOUDIAN at Support Engineer Night
CLOUDIAN at Support Engineer Night
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
Big data解析ビジネス
Big data解析ビジネス
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
Japan elasticusergroup01 Acroquest
Japan elasticusergroup01 Acroquest
[Oracle Innovation Summit Tokyo 2018] 水環境の持続を支えるクラウド型ICTプラットフォーム「Water Busine...
[Oracle Innovation Summit Tokyo 2018] 水環境の持続を支えるクラウド型ICTプラットフォーム「Water Busine...
How to organize data science project (データサイエンスプロジェクトの始め方101)
How to organize data science project (データサイエンスプロジェクトの始め方101)
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
BigObjectsで大量データのチャンピオンになる
BigObjectsで大量データのチャンピオンになる
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Vldb2002 report-200210231500
Vldb2002 report-200210231500
More from Makoto Yui
Apache Hivemall and my OSS experience
Apache Hivemall and my OSS experience
Makoto Yui
Introduction to Apache Hivemall v0.5.2 and v0.6
Introduction to Apache Hivemall v0.5.2 and v0.6
Makoto Yui
Introduction to Apache Hivemall v0.5.0
Introduction to Apache Hivemall v0.5.0
Makoto Yui
Idea behind Apache Hivemall
Idea behind Apache Hivemall
Makoto Yui
Introduction to Apache Hivemall v0.5.0
Introduction to Apache Hivemall v0.5.0
Makoto Yui
What's new in Hivemall v0.5.0
What's new in Hivemall v0.5.0
Makoto Yui
What's new in Apache Hivemall v0.5.0
What's new in Apache Hivemall v0.5.0
Makoto Yui
Revisiting b+-trees
Revisiting b+-trees
Makoto Yui
Incubating Apache Hivemall
Incubating Apache Hivemall
Makoto Yui
Hivemall meets Digdag @Hackertackle 2018-02-17
Hivemall meets Digdag @Hackertackle 2018-02-17
Makoto Yui
Apache Hivemall @ Apache BigData '17, Miami
Apache Hivemall @ Apache BigData '17, Miami
Makoto Yui
機械学習のデータ並列処理@第7回BDI研究会
機械学習のデータ並列処理@第7回BDI研究会
Makoto Yui
Podling Hivemall in the Apache Incubator
Podling Hivemall in the Apache Incubator
Makoto Yui
Dots20161029 myui
Dots20161029 myui
Makoto Yui
Hadoopsummit16 myui
Hadoopsummit16 myui
Makoto Yui
HadoopCon'16, Taipei @myui
HadoopCon'16, Taipei @myui
Makoto Yui
Recommendation 101 using Hivemall
Recommendation 101 using Hivemall
Makoto Yui
Hivemall dbtechshowcase 20160713 #dbts2016
Hivemall dbtechshowcase 20160713 #dbts2016
Makoto Yui
Introduction to Hivemall
Introduction to Hivemall
Makoto Yui
Tdtechtalk20160425myui
Tdtechtalk20160425myui
Makoto Yui
More from Makoto Yui
(20)
Apache Hivemall and my OSS experience
Apache Hivemall and my OSS experience
Introduction to Apache Hivemall v0.5.2 and v0.6
Introduction to Apache Hivemall v0.5.2 and v0.6
Introduction to Apache Hivemall v0.5.0
Introduction to Apache Hivemall v0.5.0
Idea behind Apache Hivemall
Idea behind Apache Hivemall
Introduction to Apache Hivemall v0.5.0
Introduction to Apache Hivemall v0.5.0
What's new in Hivemall v0.5.0
What's new in Hivemall v0.5.0
What's new in Apache Hivemall v0.5.0
What's new in Apache Hivemall v0.5.0
Revisiting b+-trees
Revisiting b+-trees
Incubating Apache Hivemall
Incubating Apache Hivemall
Hivemall meets Digdag @Hackertackle 2018-02-17
Hivemall meets Digdag @Hackertackle 2018-02-17
Apache Hivemall @ Apache BigData '17, Miami
Apache Hivemall @ Apache BigData '17, Miami
機械学習のデータ並列処理@第7回BDI研究会
機械学習のデータ並列処理@第7回BDI研究会
Podling Hivemall in the Apache Incubator
Podling Hivemall in the Apache Incubator
Dots20161029 myui
Dots20161029 myui
Hadoopsummit16 myui
Hadoopsummit16 myui
HadoopCon'16, Taipei @myui
HadoopCon'16, Taipei @myui
Recommendation 101 using Hivemall
Recommendation 101 using Hivemall
Hivemall dbtechshowcase 20160713 #dbts2016
Hivemall dbtechshowcase 20160713 #dbts2016
Introduction to Hivemall
Introduction to Hivemall
Tdtechtalk20160425myui
Tdtechtalk20160425myui
Hivemall LT @ Machine Learning Casual Talks #3
1.
Copyright ©2016 Treasure
Data. All Rights Reserved. Treasure Data Inc. Research Engineer 油井 誠 @myui 2015/04/30 Machine Learning Casual Talk #3 1 Hivemall v0.3の新機能の紹介 http://myui.github.io/
2.
Copyright ©2016 Treasure
Data. All Rights Reserved. Ø2015/04 トレジャーデータ入社 Ø第1号のリサーチエンジニア ØML as a Service (MLaaS)に従事(?) Ø2015/03 産業技術総合研究所 情報技術研究部 門 主任研究員 Ø大規模機械学習および並列データベースの研究に従 事 Ø2009/03 NAIST 博士課程修了 博士(工学) ØXMLネイティブデータベースおよび超並列データベース の研究に従事 ØH14未踏ユース第1期スーパクリエイタ 2 自己紹介
3.
Copyright ©2016 Treasure
Data. All Rights Reserved. 3 0 2000 4000 6000 8000 10000 12000 Aug-‐12 Sep-‐12 Oct-‐12 Nov-‐12 Dec-‐12 Jan-‐13 Feb-‐13 M ar-‐13 Apr-‐13M ay-‐13 Jun-‐13 Jul-‐13 Aug-‐13 Sep-‐13 Oct-‐13 Nov-‐13 Dec-‐13 Jan-‐14 Feb-‐14 M ar-‐14 Apr-‐14M ay-‐14 Jun-‐14 Jul-‐14 Aug-‐14 Sep-‐14 Oct-‐14 (単位)10億レコード サービス開始 Series A Funding 100社導入 Gartner社「Cool Vendor in Big Data」に選定される 10兆件 5兆レコード 数字でみる トレジャーデータ (2014年10月): 40万レコード 毎秒インポートされるデータの数 10兆レコード以上 インポートされたデータの数 120億 アドテク業界のお客様1社によって毎日送られてくるデータ 数字で見るトレジャーデータ
4.
Copyright ©2016 Treasure
Data. All Rights Reserved. 数字で見る現在のトレジャーデータ 100+ 日本の顧客社数 15兆 保存されている データ件数 4,000 一社が所有する最大 サーバー数 500,000 1秒間に保存される データ件数 4
5.
Copyright ©2016 Treasure
Data. All Rights Reserved. Hivemallとは Apache Hadoopのエコシステム上に構築したオープン ソースの機械学習ライブラリ Hadoop HDFS MapReduce (MRv1) Hive/PIG クエリ処理系 Hivemall Apache YARN Apache Tez DAG処理系 MR v2 分散ファイルシステム リソース管理システム 並列処理フレームワーク 問合せ処理系 機械学習ライブラリ github.com/myui/hivemall 5
6.
Copyright ©2016 Treasure
Data. All Rights Reserved. SQLベースの宣言的かつ容易な記述 Hivemallの特徴 何十行もの プログラム Mahoutによるプログラミング CREATE TABLE lr_model AS SELECT feature, -‐-‐ reducers perform model averaging in parallel avg(weight) as weight FROM ( SELECT logress(features,label,..) as (feature,weight) FROM train ) t -‐-‐ map-‐only task GROUP BY feature; -‐-‐ shuffled to reducers ü 一般的なエンジニアでも機械学習を扱える ü API抽象度がHiveQLと高いのでAPIがかなりstable (Sparkはまだ結構unstable) このような問合せを書くと学習処理が Hadoop上で並列実行される 6
7.
Copyright ©2016 Treasure
Data. All Rights Reserved. Hivemall v0.3で提供している機能 7 • クラス分類(二値分類/多値 分類) ü Perceptron ü Passive Aggressive (PA) ü Confidence Weighted (CW) ü Adaptive Regularization of Weight Vectors (AROW) ü Soft Confidence Weighted (SCW) ü AdaGrad+RDA • 回帰分析 ü 確率的勾配降下法に基づくロジス ティック回帰 ü PA Regression ü AROW Regression ü AdaGrad ü AdaDELTA • K近傍法 & レコメンデーション ü Minhashとb-‐Bit Minhash (LSH variant) ü 類似度に基づくK近傍探索 ü Matrix Factorization • Feature engineering ü Feature hashing ü Feature scaling (normalization, z-‐score) ü TF-‐IDF vectorizer トレジャーデータでもv0.3を5月中に サポート予定
8.
Copyright ©2016 Treasure
Data. All Rights Reserved. 8 Matrix Factorization k個の潜在因子をもつ 行列P,Qで近似
9.
Copyright ©2016 Treasure
Data. All Rights Reserved. 9 評価値の 平均 Matrix Factorization 正則化項 ユーザおよび商品ごとの 評価バイアスを考慮 Biased MFのSGDおよびAdagradによる最適化
10.
Copyright ©2016 Treasure
Data. All Rights Reserved. 10 Matrix Factorizationの学習 ローカルディスクに訓練事例を書き出すことで学習が収束するまでの 繰り返し学習に対応(全体最適化のためにパラメタ交換が必要)
11.
Copyright ©2016 Treasure
Data. All Rights Reserved. 11 Matrix Factorizationの予測/評価
12.
Copyright ©2016 Treasure
Data. All Rights Reserved. 機械学習におけるパラメタ交換 12 学習器1 学習器2 学習器N パラメタ 交換 学習 モデル 分割された訓練例例 データ並列列 データ並列列 (モデルパラメタ)
13.
Copyright ©2016 Treasure
Data. All Rights Reserved. create table kdd10a_pa1_model1 as select feature, cast(voted_avg(weight) as float) as weight from (select train_pa1(addBias(features),label,"-‐mix host01,host02,host03") as (feature,weight) from kdd10a_train_x3 ) t group by feature; MIX Serverの利用 このように学習器の呼び出しで Mix serverをオプション指定する 13
14.
Copyright ©2016 Treasure
Data. All Rights Reserved. ・・・・・・ Model updates Async add AVG/Argmin KLD accumulator hash(feature) % N Non-‐blocking Channel (single shared TCP connection w/ TCP keepalive) classifiers Mix serv.Mix serv. Computation/training is not being blocked MIX Serverの概要 14
15.
Copyright ©2016 Treasure
Data. All Rights Reserved. 15 Feature requirements in Treasure Data
16.
Copyright ©2016 Treasure
Data. All Rights Reserved. 16 Treasure Dataでは、機械学習の実装に強い人/Kaggle Master/Data Scientistsも募集しております! Hiringの一覧にはまだ出ていないので、興味のある方は myui@treasure-‐data.com または @myui に連絡ください
Download now