kuzushiji-10th-place

1. Kaggle:くずし字コンペ参戦記
全景株式会社
Nguyen Ngoc Giang
グエン・ゴク・ジャン

2. Kaggleのくずし字
コンペ

3. Kaggleのくずし字コンペ
入力 出力

4. Kaggleのくずし字コンペ
• 3881写真
• 4212種類（仮名+漢字）
• ～68万文字
写真の幅と高さ
トレーニングデータのフォーマット

5. Kaggleのくずし字コンペ
• トレーニングデータ：28本から

6. Kaggleのくずし字コンペ
• Test Dataset
• 4150 写真

7. オブジェクト検出
• 写真分類 vs オブジェクト検出
犬がいる 猫がいる

8. オブジェクト検出
• Sliding window
写真
分類
モデル
犬が
いる／いない

9. オブジェクト検出
• Anchor

10. オブジェクト検出
• Faster-RCNN
• Faster-RCNN

11. オブジェクト検出
• FasterーRCNN

12. Step-1: Gradient Accumulation
• 1ページ：平均～２００キャラクター
GPU: 11Gb memory -> batch_size = 1（１つサンプルずつ）
スコア: 0.58
Gradient Accumulation = 16 ~ batch_size=16
（１６サンプルのlossを計算して、モデルのweightsをupdateし
ます）
スコア: 0.80

13. Step-2: False Negative
• F1 スコア
• 敷居：0.6
=> スコア: 0.83
キャラ
クター
検出
モデル
0.0
0.0
.
.
0.9
.
.
0.0
sum=1.0
softmax
あ
い
.
.
す
.
.
わ

14. Step-3: Anchor size
• Anchor size
• 1 anchor box – 1キャラクター
=>sizeを減らす
=>スコア: 0.88

15. Step-5
• キャラクターの位置認識とキャラクター分類を分ける
• キャラクターの位置を認識精度～98.5％
• キャラクター分類精度～90％
=>スコア：0.89
キャラ
クター
の位置
検出
モデル
キャラ
クター
分類
モデル
Crop
き

16. Step-6
• TTA
• Random Crop
• Random Contrast, Brightness
=>スコア：0.896

17. Step-7
• KMNIST – 変体仮名
• 49 クラス – 270912 写真
=> スコア: 0.903 (私たちの最高スコア）

18. 例結果

19. コンペの結果

20. 優勝チームに参考
• Region crop
• キャラクターの周りの情報を含める
• スコア：0.93

21. 優勝チームに参考
• Pseudo-Label
• テストデータの手書き風を教
える
• スコア：0.94

22. 優勝チームに参考
• Ensemble
• 一つのモデルだけじゃなくて、数モデルの推定を組み合わせる
• スコア：0.95

23. まとめ
• 初めてKaggleコンペに参加して、Top 10に入りました。
• オブジェクト認識技術をよりよく理解しました。
• 優秀な人(Grandmaster)から役に立つ手法を学びました。
• Kaggle Masterになりたい：
• 2銅メダル
• 2銀メダル
• 1金メダル