2020.3.4〜2020.3.31の期間で行われた、株式会社レッジさん主催の画像認識コンペにチャレンジしました。

1. NNCチャレンジ！
〜「最近よく使われるオノマトペ」の
ラベルを画像につける〜

2. NNC（Neural Network Console）とは、
ソニーネットワークコミュニケーションズ株式会社が開
発・運営する、ディープラーニングの開発基盤。
GUI画面でドラッグ＆ドロップにより簡単にニューラル
ネットワークを作成でき、Pythonコードがかけなくても
すぐにAI開発が始められる。機械学習で使用するレイ
ヤーを豊富に揃えているだけでなく、学習履歴の保存機
能やネットワークの構造を自動で編集してくれる機能も
あり、めちゃくちゃ便利。
NNC（Neural Network Console）とは
2

3. 1.
InTRODUCTION
3

4. INTRODUCTIONS
✖ 選択したテーマ
○ ①人物画像をNNCで学習させ新しいオノマトペの画像カ
テゴリ分類を作り出す
✖ テーマ選択理由と分類カテゴリの決定方法
○ 新しい感覚で画像を検索したい
○ 現在、PIXTAでは検索結果が0件〜数件程度のオノマトペ
を画像タグとできるようにする
4

5. オノマトペとは
物や人の状態を表す擬音語や擬態語
キラキラ、ウキウキ、ザーザー など
5

6. INTRODUCTIONS
✖ 設定したオノマトペ
6
わくてか
期待や嬉しさ、喜びで、
心が弾んでいる様子を表す
つよつよ
非常に強いさま。
きわめて丈夫なさま
しゅっと
今風、あか抜けた、洗練された、
すっきりとした、かっこいい
きゅんきゅん
感動して胸が締めつけられるような
気持ちになるさま
わーきゃー
複数人で元気に騒ぐさま
学習用データ提供：PIXTA

7. 2.
METHOD
さあ、早速チャレンジしてみよう！
7

8. 1. 画像前処理を行う
1.1. Average Hashで類似の画像をまとめる
1.2. 手動で中身を調整する（根性）
1.3. サイズ調整とアノテーション
2. モデルを構築する（試行錯誤）
2.1. 基本的なCNN
2.2. ResNet-18、ResNet-50
3. 結果とまとめ
MEthods
8

9. 9
1. 画像前処理を行う
1.1. Average Hashで類似の画像をまとめる
10,000点のデータから
指定した画像とAverage Hash
が近いデータを対象フォル
ダにコピーする

10. 10
10,000点のデータから
指定した画像とAverage Hash
が近いデータを対象フォル
ダにコピーする

11. 11
10,000点のデータから
指定した画像とAverage
Hashが近いデータを図のよ
うに取得し、対象フォルダ
にコピーする

12. 12
1. 画像前処理を行う
1.2. 手動で中身を調整する
フォルダ内の画像のうち、意
図したアノテーションに該当
しないものは除いた（主観）
また、目標は画像に対してオ
ノマトペのラベルを付けるこ
とであり、付与するラベルは1
つとは限らないため、
同一ファイルが複数のフォル
フだに存在するのはOKとし
た。

13. 13
1. 画像前処理を行う
1.3. サイズ調整とアノテーション
画像のサイズや色設定を変更し、
各画像へのラベルづけをする

14. 14
1. 画像前処理を行う
1.3. サイズ調整とアノテーション
アップローダを使用して、
データをアップロード

15. 15
2. モデルを構築する
2.1. 基本的なCNN
早速、NNCの画面を使用し、簡単なネットワークを作成していきます。
画像サイズは32＊32、64＊64、128＊128を試したが、
いずれも精度は30％程度しかなかった。

16. 16
2. モデルを構築する
2.2. ResNet-18を使用
精度が出なかったため、ネットワークはResNetを使用することにした。
CPUを使用していたため、まずは一番軽量なResNet-18を選択。
画像サイズは128＊128（RGB）とした。

17. 17
2. モデルを構築する
2.2. ResNet-18を使用
CPUを使用すると、50epochでも学習完了までに約45時間かかってしまう。
これでは精度が上がらなくてもやり直しにとても時間がかかる。
そのため、GPUを使用することにした。
45時間！

18. 18
2. モデルを構築する
2.2. ResNet-18を使用
GPU（v100＊1）をお借りすると、100epochでもたったの6分半で学習が完
了した。
パラメータ調整したり再学習したりが一気にやりやすくなった！！
6分半！

19. 19
2. モデルを構築する
2.2. ResNet-18を使用
GPUを使って学習を進めると精度がかなり上がってきたように見える。もう
少し良い精度まで持っていきたいが、今回はネットワークをいじったりや
独自ロス関数の使用は行う時間が無い。

20. もっと精度を上げるために...
やったこと
✖ 再学習を行ってみる
→それなりに精度はあがった
✖ 画像の解像度をあげる(画像が複雑なので効果ありそう)
→ あまり効果はなかった
解像度を下げてもそれ何に特徴量を抽出できている
ResNet-18 → ResNet-50へ変えてみる
20

21. 21
2. モデルを構築する
2.3. ResNet-50を使用
ResNet-50に変更してみた。

22. 22
2. モデルを構築する
2.3. ResNet-50を使用
なんと、結果は悪くなってしまった。
データ作成の際に画像の雰囲気をざっくり見てアノテーションしたので、
画像の細かいところまで見すぎると、逆に良くなかったのかもしれない。

23. 23
2. モデルを構築する
2.4. ResNet-18（input:480*480）でおちつく
最終的に
ResNet-18でおちついた

24. 24
2. モデルを構築する
2.4. ResNet-18（input:480*480）でおちつく
学習は順調に進んだ

25. 3.
RESULT & conclusion
画像にオノマトペがついた！
25

26. 26
3. 結果とまとめ
3.1. EVALUATION
60％前後となった！

27. わくてか
27
3. 結果とまとめ
3.2. 画像へのラベリング

28. つよつよ
28
3. 結果とまとめ
3.2. 画像へのラベリング

29. しゅっと
29
3. 結果とまとめ
3.2. 画像へのラベリング

30. きゅんきゅん
30
3. 結果とまとめ
3.2. 画像へのラベリング

31. わーきゃー
31
3. 結果とまとめ
3.2. 画像へのラベリング

32. まとめ
✖ 今回はResNet-18をほぼそのまま利用した
✖ 使用する画像サイズは128×128と480×480の
どちらも精度はほとんど変わらなかった
⇒60％程度
✖ 精度は高くないが、画像に対していくつかラベルを付
与したいため、回答が不正解でもNGではないと考えら
れる（わくてか（正）>0.3、わーきゃー（不）>0.35など）
✖ 画像はあまり細かく見過ぎない方がいいかもしれない
（ResNet-50はダメだった）
32

33. Hello!
川上詩織(Kawakami Shiori)
You can find me at:
@sk_we11dan
http://facebook.com/shiori.kawakami.75
33
株式会社エクスで最新技術の調査研究を行っています
自己紹介

34. Thanks!
34