SlideShare a Scribd company logo
1 of 14
Download to read offline
MACHINE LEARNING

CASUAL TALKS

!
OPENING TALK
Michiaki Ariga (@Chezou) / Cookpad Inc.
2014/6/6
自己紹介
Michiaki ARIGA (@chezou / github:chezou)

クックパッド株式会社 ソフトウェアエンジニア

自然言語処理, 機械学習

昔は音声対話やHadoopの運用も

kawasaki.rbもやってます
何故開催するのか?
論文ベースの研究の知見共有の場は多い

機械学習の現場での地道な知見はあまり出ない
継続的に運用・改善する
には?
http://bit.ly/ques4_ML_test
継続的な運用・改善
機械学習のテストはどうあるべきか

継続的に性能を改善するには
こんなこと

ありました
COOKPADでの事例
ご意見
「削除」ボタンで
スパムとして学習
テストはしていたけど
ライブラリのVer. UPで、モデルの内部形式が変わった

0からモデルを学習し、分類できるかをテストしていた
http://bit.ly/ques4_ML_test
議論したい
機械学習のテストはどうあるべきか

どの粒度でテストをする?

正解をどう定義する?

継続的に性能を改善するには

モデルの更新の仕組み化は?

Featureの変更を考慮するには?
実際の知見を共有しよう

More Related Content

What's hot

Saga Smart Center - Excelで完結!マイクロソフト流データサイエンスの極意
Saga Smart Center - Excelで完結!マイクロソフト流データサイエンスの極意Saga Smart Center - Excelで完結!マイクロソフト流データサイエンスの極意
Saga Smart Center - Excelで完結!マイクロソフト流データサイエンスの極意Daiyu Hatakeyama
 
ジョイ・インク 役職も部署もない全員主役のマネジメント
ジョイ・インク 役職も部署もない全員主役のマネジメントジョイ・インク 役職も部署もない全員主役のマネジメント
ジョイ・インク 役職も部署もない全員主役のマネジメントYasui Tsutomu
 
アジャイルコーチが現場で学んだプロダクトオーナーの実際と勘所 POの二番目に大事なことと
アジャイルコーチが現場で学んだプロダクトオーナーの実際と勘所 POの二番目に大事なこととアジャイルコーチが現場で学んだプロダクトオーナーの実際と勘所 POの二番目に大事なことと
アジャイルコーチが現場で学んだプロダクトオーナーの実際と勘所 POの二番目に大事なこととYasui Tsutomu
 
XP祭り2017『忖度と心理的安全』(スライド公開用)#xpjug
XP祭り2017『忖度と心理的安全』(スライド公開用)#xpjugXP祭り2017『忖度と心理的安全』(スライド公開用)#xpjug
XP祭り2017『忖度と心理的安全』(スライド公開用)#xpjugRyota Inaba
 
チームをワークさせるために 最も大事なコミュニケーション 意識していますか? - XP祭り2017
チームをワークさせるために 最も大事なコミュニケーション 意識していますか? - XP祭り2017チームをワークさせるために 最も大事なコミュニケーション 意識していますか? - XP祭り2017
チームをワークさせるために 最も大事なコミュニケーション 意識していますか? - XP祭り2017Koichi Yoshida
 
PowerApps management guide
PowerApps management guidePowerApps management guide
PowerApps management guideMakoto Maeda
 
グロースハック_UIscope_講演資料20150825
グロースハック_UIscope_講演資料20150825グロースハック_UIscope_講演資料20150825
グロースハック_UIscope_講演資料20150825Daisuke Hiraishi
 
#1 Youtubeはじめました。 コロナの時代におもうOutputの再定義
#1 Youtubeはじめました。 コロナの時代におもうOutputの再定義#1 Youtubeはじめました。 コロナの時代におもうOutputの再定義
#1 Youtubeはじめました。 コロナの時代におもうOutputの再定義大貴 蜂須賀
 
つながりから俯瞰するキャリア戦略 ~事例と活用法の話~
つながりから俯瞰するキャリア戦略 ~事例と活用法の話~つながりから俯瞰するキャリア戦略 ~事例と活用法の話~
つながりから俯瞰するキャリア戦略 ~事例と活用法の話~大貴 蜂須賀
 
市場価値を高める仕事のつかみ方
市場価値を高める仕事のつかみ方市場価値を高める仕事のつかみ方
市場価値を高める仕事のつかみ方Daiki Tanoguchi
 
アジャイルプラクティス「ふりかえり」でチーム力アップ!
アジャイルプラクティス「ふりかえり」でチーム力アップ!アジャイルプラクティス「ふりかえり」でチーム力アップ!
アジャイルプラクティス「ふりかえり」でチーム力アップ!lolipopjp
 
プロダクトマネージャとしてグローバルプラットフォーム開発に関わって学んだ5つのこと #postudy
プロダクトマネージャとしてグローバルプラットフォーム開発に関わって学んだ5つのこと  #postudyプロダクトマネージャとしてグローバルプラットフォーム開発に関わって学んだ5つのこと  #postudy
プロダクトマネージャとしてグローバルプラットフォーム開発に関わって学んだ5つのこと #postudyDaisuke Matsuda
 
アート・オブ・アジャイル デベロップメント ~組織を成功に導くエクストリームプログラミングの道~
アート・オブ・アジャイル デベロップメント ~組織を成功に導くエクストリームプログラミングの道~アート・オブ・アジャイル デベロップメント ~組織を成功に導くエクストリームプログラミングの道~
アート・オブ・アジャイル デベロップメント ~組織を成功に導くエクストリームプログラミングの道~Fumihiko Kinoshita
 
大きなSIerの中で「アジャイル開発で飯を食う」までの歩み-第2部-
大きなSIerの中で「アジャイル開発で飯を食う」までの歩み-第2部-大きなSIerの中で「アジャイル開発で飯を食う」までの歩み-第2部-
大きなSIerの中で「アジャイル開発で飯を食う」までの歩み-第2部-Fumitaka Inayama
 
現場で役立つシステム設計の原則への感謝
現場で役立つシステム設計の原則への感謝現場で役立つシステム設計の原則への感謝
現場で役立つシステム設計の原則への感謝Ishibashi Ryo
 
ISACA2017年10月例会「アジャイル開発における開発プロセスと監査ポイント」
ISACA2017年10月例会「アジャイル開発における開発プロセスと監査ポイント」ISACA2017年10月例会「アジャイル開発における開発プロセスと監査ポイント」
ISACA2017年10月例会「アジャイル開発における開発プロセスと監査ポイント」Fumitaka Inayama
 
チーム運用で苦労した話_20160629
チーム運用で苦労した話_20160629チーム運用で苦労した話_20160629
チーム運用で苦労した話_20160629kohei noguchi
 
Air事業のデザイン組織とデザイナー
Air事業のデザイン組織とデザイナーAir事業のデザイン組織とデザイナー
Air事業のデザイン組織とデザイナーRecruit Lifestyle Co., Ltd.
 
楽しむために楽するアーキテクチャ
楽しむために楽するアーキテクチャ楽しむために楽するアーキテクチャ
楽しむために楽するアーキテクチャYuta Nakagawa
 

What's hot (20)

Saga Smart Center - Excelで完結!マイクロソフト流データサイエンスの極意
Saga Smart Center - Excelで完結!マイクロソフト流データサイエンスの極意Saga Smart Center - Excelで完結!マイクロソフト流データサイエンスの極意
Saga Smart Center - Excelで完結!マイクロソフト流データサイエンスの極意
 
ジョイ・インク 役職も部署もない全員主役のマネジメント
ジョイ・インク 役職も部署もない全員主役のマネジメントジョイ・インク 役職も部署もない全員主役のマネジメント
ジョイ・インク 役職も部署もない全員主役のマネジメント
 
アジャイルコーチが現場で学んだプロダクトオーナーの実際と勘所 POの二番目に大事なことと
アジャイルコーチが現場で学んだプロダクトオーナーの実際と勘所 POの二番目に大事なこととアジャイルコーチが現場で学んだプロダクトオーナーの実際と勘所 POの二番目に大事なことと
アジャイルコーチが現場で学んだプロダクトオーナーの実際と勘所 POの二番目に大事なことと
 
XP祭り2017『忖度と心理的安全』(スライド公開用)#xpjug
XP祭り2017『忖度と心理的安全』(スライド公開用)#xpjugXP祭り2017『忖度と心理的安全』(スライド公開用)#xpjug
XP祭り2017『忖度と心理的安全』(スライド公開用)#xpjug
 
チームをワークさせるために 最も大事なコミュニケーション 意識していますか? - XP祭り2017
チームをワークさせるために 最も大事なコミュニケーション 意識していますか? - XP祭り2017チームをワークさせるために 最も大事なコミュニケーション 意識していますか? - XP祭り2017
チームをワークさせるために 最も大事なコミュニケーション 意識していますか? - XP祭り2017
 
はち の自分戦略
はち の自分戦略はち の自分戦略
はち の自分戦略
 
PowerApps management guide
PowerApps management guidePowerApps management guide
PowerApps management guide
 
グロースハック_UIscope_講演資料20150825
グロースハック_UIscope_講演資料20150825グロースハック_UIscope_講演資料20150825
グロースハック_UIscope_講演資料20150825
 
#1 Youtubeはじめました。 コロナの時代におもうOutputの再定義
#1 Youtubeはじめました。 コロナの時代におもうOutputの再定義#1 Youtubeはじめました。 コロナの時代におもうOutputの再定義
#1 Youtubeはじめました。 コロナの時代におもうOutputの再定義
 
つながりから俯瞰するキャリア戦略 ~事例と活用法の話~
つながりから俯瞰するキャリア戦略 ~事例と活用法の話~つながりから俯瞰するキャリア戦略 ~事例と活用法の話~
つながりから俯瞰するキャリア戦略 ~事例と活用法の話~
 
市場価値を高める仕事のつかみ方
市場価値を高める仕事のつかみ方市場価値を高める仕事のつかみ方
市場価値を高める仕事のつかみ方
 
アジャイルプラクティス「ふりかえり」でチーム力アップ!
アジャイルプラクティス「ふりかえり」でチーム力アップ!アジャイルプラクティス「ふりかえり」でチーム力アップ!
アジャイルプラクティス「ふりかえり」でチーム力アップ!
 
プロダクトマネージャとしてグローバルプラットフォーム開発に関わって学んだ5つのこと #postudy
プロダクトマネージャとしてグローバルプラットフォーム開発に関わって学んだ5つのこと  #postudyプロダクトマネージャとしてグローバルプラットフォーム開発に関わって学んだ5つのこと  #postudy
プロダクトマネージャとしてグローバルプラットフォーム開発に関わって学んだ5つのこと #postudy
 
アート・オブ・アジャイル デベロップメント ~組織を成功に導くエクストリームプログラミングの道~
アート・オブ・アジャイル デベロップメント ~組織を成功に導くエクストリームプログラミングの道~アート・オブ・アジャイル デベロップメント ~組織を成功に導くエクストリームプログラミングの道~
アート・オブ・アジャイル デベロップメント ~組織を成功に導くエクストリームプログラミングの道~
 
大きなSIerの中で「アジャイル開発で飯を食う」までの歩み-第2部-
大きなSIerの中で「アジャイル開発で飯を食う」までの歩み-第2部-大きなSIerの中で「アジャイル開発で飯を食う」までの歩み-第2部-
大きなSIerの中で「アジャイル開発で飯を食う」までの歩み-第2部-
 
現場で役立つシステム設計の原則への感謝
現場で役立つシステム設計の原則への感謝現場で役立つシステム設計の原則への感謝
現場で役立つシステム設計の原則への感謝
 
ISACA2017年10月例会「アジャイル開発における開発プロセスと監査ポイント」
ISACA2017年10月例会「アジャイル開発における開発プロセスと監査ポイント」ISACA2017年10月例会「アジャイル開発における開発プロセスと監査ポイント」
ISACA2017年10月例会「アジャイル開発における開発プロセスと監査ポイント」
 
チーム運用で苦労した話_20160629
チーム運用で苦労した話_20160629チーム運用で苦労した話_20160629
チーム運用で苦労した話_20160629
 
Air事業のデザイン組織とデザイナー
Air事業のデザイン組織とデザイナーAir事業のデザイン組織とデザイナー
Air事業のデザイン組織とデザイナー
 
楽しむために楽するアーキテクチャ
楽しむために楽するアーキテクチャ楽しむために楽するアーキテクチャ
楽しむために楽するアーキテクチャ
 

Viewers also liked

パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN
パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPANパーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN
パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPANYahoo!デベロッパーネットワーク
 
Jubatusにおける機械学習のテスト@MLCT
Jubatusにおける機械学習のテスト@MLCTJubatusにおける機械学習のテスト@MLCT
Jubatusにおける機械学習のテスト@MLCTYuya Unno
 
Julia 100 exercises #JuliaTokyo
Julia 100 exercises #JuliaTokyoJulia 100 exercises #JuliaTokyo
Julia 100 exercises #JuliaTokyoAki Ariga
 
素人がDeep Learningと他の機械学習の性能を比較してみた
素人がDeep Learningと他の機械学習の性能を比較してみた素人がDeep Learningと他の機械学習の性能を比較してみた
素人がDeep Learningと他の機械学習の性能を比較してみたToru Imai
 
Introduction to Kanagawa Ruby Kaigi01 #kana01
Introduction to Kanagawa Ruby Kaigi01 #kana01Introduction to Kanagawa Ruby Kaigi01 #kana01
Introduction to Kanagawa Ruby Kaigi01 #kana01Aki Ariga
 
あなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイントあなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイントShohei Hido
 
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」Nagi Teramo
 

Viewers also liked (7)

パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN
パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPANパーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN
パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN
 
Jubatusにおける機械学習のテスト@MLCT
Jubatusにおける機械学習のテスト@MLCTJubatusにおける機械学習のテスト@MLCT
Jubatusにおける機械学習のテスト@MLCT
 
Julia 100 exercises #JuliaTokyo
Julia 100 exercises #JuliaTokyoJulia 100 exercises #JuliaTokyo
Julia 100 exercises #JuliaTokyo
 
素人がDeep Learningと他の機械学習の性能を比較してみた
素人がDeep Learningと他の機械学習の性能を比較してみた素人がDeep Learningと他の機械学習の性能を比較してみた
素人がDeep Learningと他の機械学習の性能を比較してみた
 
Introduction to Kanagawa Ruby Kaigi01 #kana01
Introduction to Kanagawa Ruby Kaigi01 #kana01Introduction to Kanagawa Ruby Kaigi01 #kana01
Introduction to Kanagawa Ruby Kaigi01 #kana01
 
あなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイントあなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイント
 
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」
 

More from Aki Ariga

Challenges for machine learning systems toward continuous improvement
Challenges for machine learning systems toward continuous improvementChallenges for machine learning systems toward continuous improvement
Challenges for machine learning systems toward continuous improvementAki Ariga
 
Managing Machine Learning workflows on Treasure Data
Managing Machine Learning workflows on Treasure DataManaging Machine Learning workflows on Treasure Data
Managing Machine Learning workflows on Treasure DataAki Ariga
 
仕事ではじめる機械学習
仕事ではじめる機械学習仕事ではじめる機械学習
仕事ではじめる機械学習Aki Ariga
 
主人が外資系IT企業に転職して4ヶ月が過ぎました
主人が外資系IT企業に転職して4ヶ月が過ぎました主人が外資系IT企業に転職して4ヶ月が過ぎました
主人が外資系IT企業に転職して4ヶ月が過ぎましたAki Ariga
 
Why I started Machine Learning Casual Talks? #MLCT
Why I started Machine Learning Casual Talks? #MLCTWhy I started Machine Learning Casual Talks? #MLCT
Why I started Machine Learning Casual Talks? #MLCTAki Ariga
 
クックパッドサマーインターン2015 機械学習・自然言語処理 実習課題
クックパッドサマーインターン2015 機械学習・自然言語処理 実習課題クックパッドサマーインターン2015 機械学習・自然言語処理 実習課題
クックパッドサマーインターン2015 機械学習・自然言語処理 実習課題Aki Ariga
 
Rubyistがgemの前にPypiデビューするのは間違っているだろうか
Rubyistがgemの前にPypiデビューするのは間違っているだろうかRubyistがgemの前にPypiデビューするのは間違っているだろうか
Rubyistがgemの前にPypiデビューするのは間違っているだろうかAki Ariga
 
Machine Learning Casual Talks Intro #MLCT
Machine Learning Casual Talks Intro #MLCTMachine Learning Casual Talks Intro #MLCT
Machine Learning Casual Talks Intro #MLCTAki Ariga
 
Make Julia more popular in Japan!!1 #JuliaTokyo
Make Julia more popular in Japan!!1 #JuliaTokyoMake Julia more popular in Japan!!1 #JuliaTokyo
Make Julia more popular in Japan!!1 #JuliaTokyoAki Ariga
 
Refrection of kawasaki.rb
Refrection of kawasaki.rbRefrection of kawasaki.rb
Refrection of kawasaki.rbAki Ariga
 
Introduction and benchmarking of MeCab.jl #JapanR
Introduction and benchmarking of MeCab.jl  #JapanRIntroduction and benchmarking of MeCab.jl  #JapanR
Introduction and benchmarking of MeCab.jl #JapanRAki Ariga
 
Recommendation for iruby #tqrk08
Recommendation for iruby #tqrk08Recommendation for iruby #tqrk08
Recommendation for iruby #tqrk08Aki Ariga
 
The book that changed me
The book that changed meThe book that changed me
The book that changed meAki Ariga
 
Introduction of Mecab.jl #JuliaTokyo
Introduction of Mecab.jl #JuliaTokyoIntroduction of Mecab.jl #JuliaTokyo
Introduction of Mecab.jl #JuliaTokyoAki Ariga
 
Gong anyware
Gong anywareGong anyware
Gong anywareAki Ariga
 
gsub with ActiveSupport::SafeBuffer
gsub with ActiveSupport::SafeBuffergsub with ActiveSupport::SafeBuffer
gsub with ActiveSupport::SafeBufferAki Ariga
 
はじめて翻訳記事を書いたら300ブクマ超えた話
はじめて翻訳記事を書いたら300ブクマ超えた話はじめて翻訳記事を書いたら300ブクマ超えた話
はじめて翻訳記事を書いたら300ブクマ超えた話Aki Ariga
 
Juliaを使った機械学習
Juliaを使った機械学習Juliaを使った機械学習
Juliaを使った機械学習Aki Ariga
 
なぜ科学計算にはPythonか?
なぜ科学計算にはPythonか?なぜ科学計算にはPythonか?
なぜ科学計算にはPythonか?Aki Ariga
 
Active ModelとNaive Bayesを仲良くする
baby_faceを使ってみた
Active ModelとNaive Bayesを仲良くする
baby_faceを使ってみたActive ModelとNaive Bayesを仲良くする
baby_faceを使ってみた
Active ModelとNaive Bayesを仲良くする
baby_faceを使ってみたAki Ariga
 

More from Aki Ariga (20)

Challenges for machine learning systems toward continuous improvement
Challenges for machine learning systems toward continuous improvementChallenges for machine learning systems toward continuous improvement
Challenges for machine learning systems toward continuous improvement
 
Managing Machine Learning workflows on Treasure Data
Managing Machine Learning workflows on Treasure DataManaging Machine Learning workflows on Treasure Data
Managing Machine Learning workflows on Treasure Data
 
仕事ではじめる機械学習
仕事ではじめる機械学習仕事ではじめる機械学習
仕事ではじめる機械学習
 
主人が外資系IT企業に転職して4ヶ月が過ぎました
主人が外資系IT企業に転職して4ヶ月が過ぎました主人が外資系IT企業に転職して4ヶ月が過ぎました
主人が外資系IT企業に転職して4ヶ月が過ぎました
 
Why I started Machine Learning Casual Talks? #MLCT
Why I started Machine Learning Casual Talks? #MLCTWhy I started Machine Learning Casual Talks? #MLCT
Why I started Machine Learning Casual Talks? #MLCT
 
クックパッドサマーインターン2015 機械学習・自然言語処理 実習課題
クックパッドサマーインターン2015 機械学習・自然言語処理 実習課題クックパッドサマーインターン2015 機械学習・自然言語処理 実習課題
クックパッドサマーインターン2015 機械学習・自然言語処理 実習課題
 
Rubyistがgemの前にPypiデビューするのは間違っているだろうか
Rubyistがgemの前にPypiデビューするのは間違っているだろうかRubyistがgemの前にPypiデビューするのは間違っているだろうか
Rubyistがgemの前にPypiデビューするのは間違っているだろうか
 
Machine Learning Casual Talks Intro #MLCT
Machine Learning Casual Talks Intro #MLCTMachine Learning Casual Talks Intro #MLCT
Machine Learning Casual Talks Intro #MLCT
 
Make Julia more popular in Japan!!1 #JuliaTokyo
Make Julia more popular in Japan!!1 #JuliaTokyoMake Julia more popular in Japan!!1 #JuliaTokyo
Make Julia more popular in Japan!!1 #JuliaTokyo
 
Refrection of kawasaki.rb
Refrection of kawasaki.rbRefrection of kawasaki.rb
Refrection of kawasaki.rb
 
Introduction and benchmarking of MeCab.jl #JapanR
Introduction and benchmarking of MeCab.jl  #JapanRIntroduction and benchmarking of MeCab.jl  #JapanR
Introduction and benchmarking of MeCab.jl #JapanR
 
Recommendation for iruby #tqrk08
Recommendation for iruby #tqrk08Recommendation for iruby #tqrk08
Recommendation for iruby #tqrk08
 
The book that changed me
The book that changed meThe book that changed me
The book that changed me
 
Introduction of Mecab.jl #JuliaTokyo
Introduction of Mecab.jl #JuliaTokyoIntroduction of Mecab.jl #JuliaTokyo
Introduction of Mecab.jl #JuliaTokyo
 
Gong anyware
Gong anywareGong anyware
Gong anyware
 
gsub with ActiveSupport::SafeBuffer
gsub with ActiveSupport::SafeBuffergsub with ActiveSupport::SafeBuffer
gsub with ActiveSupport::SafeBuffer
 
はじめて翻訳記事を書いたら300ブクマ超えた話
はじめて翻訳記事を書いたら300ブクマ超えた話はじめて翻訳記事を書いたら300ブクマ超えた話
はじめて翻訳記事を書いたら300ブクマ超えた話
 
Juliaを使った機械学習
Juliaを使った機械学習Juliaを使った機械学習
Juliaを使った機械学習
 
なぜ科学計算にはPythonか?
なぜ科学計算にはPythonか?なぜ科学計算にはPythonか?
なぜ科学計算にはPythonか?
 
Active ModelとNaive Bayesを仲良くする
baby_faceを使ってみた
Active ModelとNaive Bayesを仲良くする
baby_faceを使ってみたActive ModelとNaive Bayesを仲良くする
baby_faceを使ってみた
Active ModelとNaive Bayesを仲良くする
baby_faceを使ってみた