kaggle初心者向けに作りました。 どうやって始めたらいいか、どの様にしてkaggleの最初のNotebookを作ったらいいかわからない人向けに作った資料です。

1. kaggle入門（テーブルコンペ偏）
初心者の見るべき
Notebookの探し方

2. 前置き
kaggleを初めてみたいけどうまく行かない人は多いと思います。
● Notebook(kernel)をまずはforkしてsubmmitしてみようとしたけど、読
めない。
● どのNotebookを参考にしたらいいかわからない
● やってみたけれど、どのあたりが訓練でどのあたりが予測なのかわか
らない
● そもそもよく見ると訓練しておらず、意味がわからない
そうならないようにするための工夫をまとめました。
※テーブルコンペを前提にまとめました
kaggleをスタートするために

3. 目次
● コンペ開始直後で評価の高いNotebookを利用する
● 前処理→訓練→予測のステップを踏んでいるか確認する
● inputに注目する
● ML自体が初心者なら、LightGBMとXGBoost
● 提出まで出来たらEDAも見てみる

4. コンペ開始直後で
評価の高いNotebookを利用する
コンペ開始直後はシンプルで基礎的な手法のNotebookが多い
コンペ開始直後は序盤ということもあり簡素なNotebookがあげられます。後半になってくると積
極的にアンサンブルやスタッキングやpseudo labelingなど高度な技術が用いたNotebookが上がっ
てくる傾向があります。
初心者であればできるだけシンプルなコードを参考にして始めた方が、コンペ（データ）の意義
や全体像が掴めるため、おすすめです。
特に「Starter」と記載のあるNotebookを選択するのも良いです。

5. 前処理→訓練→予測のステップを踏ん
でいるか確認する
全てのNotebookが上記ステップを踏んでいるとは限らない
全てのNotebookが前処理→訓練→予測まで一気通貫で書いているかというと、
そうではありません。
提出用のcsvをかき集めてアンサンブルしたものや、モデルがすでに作成済みで予測だけ実行する
Notebookもあります。それらはアンサンブル手法に工夫があったりGPU使用時間を短縮したりす
る目的がありますが、初心者にとって混乱することもあります。以下は前処理→訓練→予測の教
師あり学習の定番ステップを踏んでいるかどうか見極めるための私なりのコツです。
前処理
訓練
予測
データの加工は多くのテーブルコンペでは必須で、欠損値・外れ値・ノ
イズなどを処理します。pandasで数値や文字列を扱う処理、欠損処理、
apply(lambda..., fillna()などコードが確認できたり、xx_features,
xx_scaling, などわかりやすい関数名が付けられていたりします。
訓練が行われているか見極めるのは、train, fitなど学習時によく使われる
メソッドが実行されているか見ます。Notebookの序盤の方でimportされ
ているライブラリがLightGBM, torch, Keras…など何を利用しているのか
確認し、そのライブラリの学習メソッドが実行されているか注目します
submission.to_csv(“submission.csv)という記述があります。変数名とフ
ァイル名は異なるかもしれません。（初心者であればまずはsubmitして
みて、kaggleが何なのか掴むべきだと思ったので「予測」を項目に入れ
ましたが、EDAなどのNotebookも非常に重要です＾＾）

6. inputに注目する
inputがたくさんあるということは多くの工夫が凝縮されている
inputはNotebookが利用するファイルです。ここに多くのデータ入っている場合は初心者には向い
ていない可能性が高いです。
ここにはまず、コンペで利用するデータセットは入っています。それは特に問題ありません。
その他にどんなファイルが入ってくるかというと、学習済みモデル・ノイズ除去済みのデータセ
ット・Notebookの著者がよく使う独自関数などです。
これらは学習までに使う様々な工夫や知見を簡単に利用できてしまうため、初心者にとって
学びのチャンスロスになってしまい
ます。もちろんそのデータソースの
生成方法に関する別建てのNotebook
に辿り着いて読み込んだり、著者の
使う独自関数（※）を読み込めば問
題ありませんが、初心者には少しハ
ードルが高いかもしれません。
※独自関数は汎用性が低く可読性も
低いこともあるので、無理に読み込
みすぎないほういいです。
※ノイズ除去済みのデータ・学習済
みデータは、コンペにおいてスタン
ダードになっているケースもありま
すので、その場合は利用していきま

7. ML自体が初心者なら、LightGBMと
XGBoost
初心者に使いやすいGBDT
Machine Learning自体が初心者なのであればLightGBMやXGBoostなど
GBDT(勾配ブースティング決定木)の技術を用いたライブラリを使用することをお勧めします。
理由として以下の様なものが挙げられます。
● データによってはニューラルネットワークにも劣らない十分な精度を発揮する
● 正規化が不要。欠損値があっても学習が可能
● GPUを使用しないため、Kaggleの週のGPU使用時間制限を気にせずに学べる
● ハイパーパラメータの調整がわかりやすい
結論として理解しやすく使いやすいライブラリです。(CatBoostやNGBoostなど新しいGBDTライ
ブラリも登場していますが、
LightGBMとXGBoostは日本語の記事
も多くおすすめです）

8. 提出まで出来たらEDAも見てみる
データみることで理解を深めるEDA
kaggleのコンペでいい成績を出す上で、データの理解は欠かせません。
そんな時重要なのがEDA(Explanatory Data Analysis)です。
データを可視化する上で使える手法は様々ですが、kagglerの上位陣のEDAは一人では思いつかな
い様な手法・切り口でデータの特徴を抽出していきます。
データを理解する上で参考にしながら、その手法を学ぶことができます。

9. おまけ：難しい（癖のある）
コンペの特徴
アウトプットが複雑
人気がない
LBとLocal CVの相関が弱い
画像（特に物体検出）や自然言語処
理はML初心者なら後回しでもいい
（当然挑んでもいい）
簡単な例 複雑な例
M5 Accuracyなどはクローズ前はLBが0で貼り
付いてしまっていました。
正しい精度を検証するための工夫を上位陣は行
っていましたが初心者だと難しいです。
タイタニックの様な生き残り分類や、土地価格
予想の様な金額推定に比べて画像と自然減処理
は難しい傾向にあります。
それは画像コンペで多用されるCNNや、言語で
利用されるRNNは全てNNの延長上の技術だか
らです。NNを理解していく上で一つ先のステ
ップになります。