Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to For MANABIYA
Similar to For MANABIYA (20)
For MANABIYA
- 2. 自己紹介 1 大越 拓実(@takuoko1) 株式会社キスモ 取締役 神奈川県出身、名古屋大学卒。大学で統計学、機械学習を専攻。 受賞歴（Kaggleにて下記含め6つの受賞経験を持ち、Kaggle masterの称号を持っている。） Home Credit Default Risk 2nd place (Gold medal) Avito Demand Prediction Challenge 7th place (Gold medal) 杏林大学と医学領域における画像認識技術の共同研究にも参画し、EWMA2018で 研究成果が発表されている。
- 6. アジェンダ Kaggleとは Kaggleと研究と仕事 Kaggleで学んだこと まとめ 5
- 7. アジェンダ Kaggleとは Kaggleと研究と仕事 Kaggleで学んだこと まとめ 6
- 9. Kaggleとは 8 登録者 全世界200万人 コンテスト参加者 約9万人 上からGrandmaster, Master, Expert, Contributor, Noviceとラン クがあり、それぞれの人数は図の通り *いずれも2018年10月9日現在
- 10. Kaggleとは 9 データ&テーマ • 企業がKaggleに データとテーマを 提供 • 医療、マーケティ ング、金融など多 岐にわたる コンペ開催 • 期間は1~3ヶ月 順位&賞金 • スコアで順位が 決まる • 上位者には賞金。 総額100万円~1 億円オーバーの ものまで
- 11. Kaggleとは 10 Overview-分析テーマや評価方法 Data-データの説明 Kernels-参加者がコードを公開している Discussion-参加者が様々なテーマについて議論している Leaderboard-順位が見れる
- 18. Kaggleとは 天下一武道会に名を連ねる強者達 17 Giba, bestfitting 世界ランキング1位, 2位。 まじで強い。 ケロッピ先生 画像系のコンペで知見を どんどん共有してくれる。 しかもめちゃ上位とってくる CPMP Discussion(いわゆる掲 示板)にめちゃ投稿する。 Discussionランキング1 位(もちろんコンペも強 い。) 24時間掲示板に張り付 いているのではとの噂 も。
- 20. アジェンダ Kaggleとは Kaggleと研究と仕事 Kaggleで学んだこと まとめ 19
- 32. 今の自分の働き方 Kaggle->仕事 31 例：セグメンテーション 前処理 resizeの関数、自作generator (cutoutやshearなど入ってる)、 CLAHEなどの前処理をkaggleで 実装済み。 augmentation手法は実装済み generatorを使って実験が回せる。 モデリング 多種多様なEncoderを持つUnet,その他 セグメンテーショモデルを実装済み。 iouなどの評価関数やlovasz loss, dice lossも実装済み。 scseモジュールやhyper columnsの実装 も持っており、これらを使って実験が 回せる。 後処理 セグメンテーションの結果を 可視化して確認する部分や、 thresholdの設定、CRFなど の後処理スクリプトを実装済 み。
- 33. 今の自分の働き方 Kaggle->仕事 32 様々なaugmentation×様々なモデル×loss関数×プラスα 例：セグメンテーション flip zoom rotate add noise cutout shear etc… Vanila Unet VGG Unet ResNet Unet ResNeXt Unet DenseNet unet Inception unet Inception ResNet Unet Linknet PSPNet SegNet Tiramisu etc… bce bce dice focal loss lovasz loss etc… scseモジュール hyper columns cyclic learning rate etc… これらを高速に回せるようになった！
- 38. Kaggleをしてからの変化 分析系の仕事が圧倒的に速くなった 時間の使い方が変わった 適切なバリデーションを設定できるようになった 分析の精度がどれくらい出るかの不確実性を減らせるようになっ た 37
- 39. Kaggleをしてからの変化 分析系の仕事が圧倒的に速くなった 時間の使い方が変わった 適切なバリデーションを設定できるようになった 分析の精度がどれくらい出るかの不確実性を減らせるようになっ た 38
- 42. Kaggleをしてからの変化 分析系の仕事が圧倒的に速くなった 時間の使い方が変わった 適切なバリデーションを設定できるようになった 分析の精度がどれくらい出るかの不確実性を減らせるようになっ た 41
- 44. Kaggleをしてからの変化 分析系の仕事が圧倒的に速くなった 時間の使い方が変わった 適切なバリデーションを設定できるようになった 分析の精度がどれくらい出るかの不確実性を減らせるようになっ た 43
- 45. 適切なバリデーションを設定できるようになった 44 以前は ・train test splitでランダムに分割。 Kaggleをしてからは ・Kfold, Stratified Kfold, Group Kfoldを適切に使い分ける。
- 46. 適切なバリデーションを設定できるようになった 45 StratifiedKfoldKfold Target=0 Target=1 train 70% 30% val 55% 45% Targetの分布が異なる可能性がある Target=0 Target=1 train 60% 40% val 60% 40% Targetの分布を均一にする GroupKFold 同じユーザーとか同じグループの人が trainとvalに分かれることで、予測しや すくなりすぎるのを防ぐ。
- 47. Kaggleをしてからの変化 分析系の仕事が圧倒的に速くなった 時間の使い方が変わった 適切なバリデーションを設定できるようになった 分析の精度がどれくらい出るかの不確実性を減らせるようになっ た 46
- 48. 不確実性を減らせるようになった 47 最適な方法を取った時の性能 目標とする性能 スコア 0.8 0.9 ここの差はやってみるまでわからない 😖 データ分析はやってみる までどれくらい精度が出 るかわからない。
- 49. 不確実性を減らせるようになった 48 その人が出せた性能 最適な方法を取った時の性能 目標とする性能 スコア 0.5 0.8 0.9 😰できなかった 😉Kaggleでやったことがあれば その人が出せた性能 最適な方法を取った時の性能 目標とする性能 スコア 0.75 0.8 0.9 ここの不確実性は減らせる
- 50. アジェンダ Kaggleとは Kaggleと研究と仕事 Kaggleで学んだこと まとめ 49
- 52. Kaggleで学んだこと EDA(探索的データ分析) いわゆるデータの可視化から気づきを得る部分 51 例：t-SNEによる可視化 図のように綺麗に分かれている場合は予測性能が高くなる (こんな例は普通ないが)。 また、分布が入り組んでいる場合はダウンサンプリングがしにくいや、 TrainとTestで分布が全然違うとかもわかる。 参考： https://www.kaggle.com/c/home-credit-default-risk/discussion/58174
- 53. Kaggleで学んだこと テーブルデータの特徴量整形(ここはたくさんあるので一部抜粋) Agg系 Target Encoding モデルベース系 52 Agg系 カテゴリーに対して値を埋め込む。 例：男性の購入金額の平均 食料品の価格の平均 Target Encoding カテゴリーに対して Targetの値を埋め込む。 例：自営業の人のTarget平均 モデルベース系 欠損値が多い重要な特徴 の値を他の特徴から予測。 その他にも、このデータではこういう特徴を使ったみたいなものがあるので、特徴量整形の手札は 爆発的に増える。
- 54. Kaggleで学んだこと テーブルデータのモデリング LGBMすげえ アンサンブルのためのモデル アンサンブル(averaging、stacking, stacknet) パラメータ調整(ベイズ最適化) 53 LGBMすげえ-KDD Cup4位の解放 パラメータ調整 LGBMは特にパラメータで結果が 大きく変わることが多い。 適切なパラメータをいかに自動で 探索するか。 ->ベイズ最適化
- 55. Kaggleで学んだこと 画像データの水増し imgaug https://github.com/aleju/imgaug Keras Generatorの自作 mixup, cutout, random erasing, shear 54 自作generator
- 56. Kaggleで学んだこと 画像モデリング(Segmentation) Unet, ResnetベースのUnet Segmentation models https://github.com/qubvel/segmentation_models SE module https://www.kaggle.com/c/tgs-salt-identification- challenge/discussion/66178#392393 hypercolumns focal loaa, lovasz loss TTA 55 SE module 2017年のILSVRCの優勝モデル TTA テスト時にaugumentationを行い、 精度を向上させる。 lovasz loss 先のセグメンテーションコンペ で大きく精度向上に貢献したloss。 BCEで最適化した後に使用してboost させた。
- 57. Kaggleで学んだこと テキスト前処理 Word2vec, embedding(Glove, fasttext) char level BOW http://kysmo.hatenablog.jp/entry/2018/07/31/164118 56 char levelEmbedding, word2vec
- 58. Kaggleで学んだこと テキストモデリング Attention Sparse NN Concat(Max Pooling, Avg Pooling) 57 Sparse NN BOW->NN 自分がやったデータでは 精度はRNN系より下だったが、 アンサンブルで効果あり。 Attention テキスト系のコンペでは精度が 向上した。 画像でも使われている研究が あったのでテストしようと 思っている。
- 59. Kaggleで学んだこと まとめ 様々な方法を実践的に学べる 手札が増える 58
- 60. アジェンダ Kaggleとは Kaggleと研究と仕事 Kaggleで学んだこと まとめ 59
- 61. まとめ Kaggleとは データ分析の天下一武道会 仕事に役立つ とってもいいからみなさんにもぜひ始めてほしい！ 60
- 62. Kaggleを始めたいという人へ kaggler-ja https://kaggler-ja.herokuapp.com/ 日本版kaggle slack。3000人を超える人が参加していて、いろいろな質問 に経験者が答えてくれる。 とりあえずやってみる 最初はkernelのコードをちょっと変えたりしながら順位が上がった下がっ たを楽しむ。 だんだんdiscussionを見たり、自分のアイデアを組み込んだりして、より 高い順位を目指していく。 61
- 63. これからやっていきたいこと Kaggleを活用しながら日本の機械学習活用を進めたい 機械学習、データ分析はやってみなければ精度がわからないというのがど うしてもある。 そこで、Kaggleを使って手札をたくさん用意しておき、それを高速に展開 することで、とりあえずやってみる(PoC)という部分の手助けをしたい。 そして、多くの会社に機械学習、データ分析を活用してほしい。 62
- 64. 締め “Keep improving” by CPMP 63
- 65. 締め 64 By Marious
Editor's Notes
- キスモは「世の中の企業のAIの導入失敗」という課題を解決する企業です。 世の中のあらゆる場所に人の役に立つAIを導入するミッションです。 事業領域を限定せず、色々な種類の課題を解決しています。 名古屋大学公認ベンチャーで、大学内で活動しています。
- キスモは「世の中の企業のAIの導入失敗」という課題を解決する企業です。 世の中のあらゆる場所に人の役に立つAIを導入するミッションです。 事業領域を限定せず、色々な種類の課題を解決しています。 名古屋大学公認ベンチャーで、大学内で活動しています。
- キスモは「世の中の企業のAIの導入失敗」という課題を解決する企業です。 世の中のあらゆる場所に人の役に立つAIを導入するミッションです。 事業領域を限定せず、色々な種類の課題を解決しています。 名古屋大学公認ベンチャーで、大学内で活動しています。