PFNの海野裕也が2022/10/25に東大大学院情報理工学系研究科「自然言語処理応用」でゲスト講師として登壇した際の講義資料です。

1. 自然言語処理を
役立てるのはなぜ難しいのか
Preferre Networks
海野 裕也

2. 2
2008: 東大情報理工修士、自然言語処理
2008-2011: 日本アイ・ビー・エム（株）東京基礎研究所
2011-2016: Preferred Infrastructure
● 分散機械学習Jubatus、自然言語処理、テキスト解析
2016: Preferred Networks
● OSS: Chainer、CuPy
● 対話、ロボット、物流ロボット、流通・小売
自己紹介：海野 裕也

3. 3

4. Preferred Networks
現実世界を計算可能にする

5. 5
テキストマイニングは
Nice to haveである

6. 6
Q: 身の回りで自然言語処理の
技術を使ったサービスは？

7. 7
Q: その中で、月1000円以上
払ったものは？

8. 8
プロフェッショナル向けより一般人向けを

9. 9
● SIGRAPH 2013のUCLAと
ディズニーの論文
● 雪のシミュレーション
● どこからどうみても、
2013年にヒットしたあの
映画で使われている技術
社会に影響を与える研究開発

10. 10
10年くらい考えてきたことを話します
お金を払ってまで使っている自然言語
処理のツールは非常に少ない。
何故か？

11. 11
自然言語処理はなぜ難しい

12. 12
● 研究と開発の質的な違いとは
● 言語処理固有の難しさとは
● 言語処理の社会応用を考える鍵は
今日考えたいこと

13. 13
自然言語処理に関して色んなことが言われている
近年の自然言語処理技術の発展は目まぐるしい
10年前に出来なかったことが出来るようになった
深層学習がブレークスルーをもたらした

14. 14
研究と製品の致命的な違い
研究の仮想敵は研究者 製品の仮想敵は代替手段

15. 15
（他の研究に比べて）すごい研究であることと、
（他の手段に比べて）役に立たないこと、
が両立する
研究の罠

16. 16
Q: 言語処理における代替手段とは？

17. 17
言語処理の代替手段は人間

18. 18
言語の正しさは、ふつう母語話者を基準に考える
走る速度、持てる重さ、記憶できる量を超える機械を
作れても、機械が人より流暢な言語を持つことはでき
ない
「言語」の意味で人間を超えることができない

19. 19
言語そのもので勝負しない

20. 20
精度よりも量や速度が重要
量 速度

21. 21
さきほどでてきた例の大半は、
量か速度が重要（になっていたはず）

22. 22
文脈がゲームを変える

23. 23
社会の変化に便乗する
「令和３年通信利用動向調査」総務省より
数年でスマートフォンが急速に伸びた

24. 24
なんのためにことばを使うのか

25. 25
言語そのものが道具である
言語
背後の
問題

26. 26
言葉そのものの意義を考える
書き言葉
知識の蓄積
話し言葉
意図の伝達
・新聞、本、Web
・検索や解析など、知識の利用が目的
・会話、指示、交渉
・意図や指示の理解など、やりとりが目的

27. 27
インターフェースとしての自然言語処理
記号の世界 物理の世界
・画像処理
・センサー
・制御
・プランニング
・自然言語処理
・音声処理
・UI

28. 28

29. 29
全ての人にロボットを

30. 30

31. 31
流通・物流の現場にロボットを入れようとする

32. 32
手段と割り切ってドメインに目を向ける
言語
ロボット
ドメイン

33. 33
80年代：ワープロブームとかな漢字変換の研究開発
90年代：機械翻訳ブーム、各社機械翻訳の研究開発
00年代：テキストマイニングブーム、過去の研究資産の活用
インターネット
00年代：ネット企業での活用が広がる
10年代：SNSでの活用が広がる
20年代：ドメイン特化ベンチャーが広がる
自然言語処理産業界におけるトレンドの私見

34. 34
● 法律、判例、契約書
● 物語、漫画
● 会話
● 商品説明、製品名
● …
「言語」が中心的な役割のドメインは？

35. 35
漫画というドメインにおいて言語の役割は支配的
次回、乞うご期待！

36. 36
ドメインに特化するということは、
その分野の問題を真剣に考える、ということ
時として、自分の得意な技術以外の仕事が中心になる
ドメインに特化する覚悟

37. 37
ソフトウェア技術はオープンになりやすい
商用ソフトウェアが出現する
競合が出現して競争が激化
オープンソースやオープンな技術が出る
オープンな技術が大規模に広がる
1
2
3
4

38. 38
2022/03: Midjourneyが公開
2022/04: OpenAIのDALL-E2が公開
2022/05: GoogleのImagenが公開
2022/08: Stable diffusionが公開 (OSS)
あっという間にOSS化された画像生成技術

39. 39
● 精度以外の部分で勝負する
● 利用シーンの変化を見逃さない
● 道具と割り切って特定ドメインに飛び込む
前半のまとめ

40. 40
未来の話

41. 41
チャンスかピンチか
（なにかすごいこと）やるぞー
失敗しそうだ・・・
エラい人
ボク

42. 42
本当にリスクかどうか考える
うまくいった
やらなかった
うまくいかな
かった
・未踏の挑戦に貢献できた
・他の仕事ができる
・うまくいったときに公開する
・解雇される（本当に？）
・会社が潰れる（本当に？）

43. 43
挑戦できるときに挑戦できるか
技術の下地
適切な投資と期待
実行できる環境

44. 44
● 人工知能は閉塞感があり、できることは限られていた
● 誰も技術に期待しておらず、「そういうのはいらない」と
言われ続けた
● 特定の技術領域でも難しすぎて、分野横断的なチームを構
成できない
15年前の「人工知能」はどうだったか

45. 45
挑戦できるタイミングは一瞬
http://blog.livedoor.jp/lunarmodule7/archives/4504511.html
● ちょうど今、一部の分野では十分
な精度になるかどうかの過渡期
● 技術は進歩し続ける、できること
が減ることはない
● 挑戦できるタイミングは一瞬、早
すぎても遅すぎてもだめ

46. 46

47. 47
© Kuha455405

48. 48
● 私が中高生の時（20年前）にMDは流行した
● 高校生のときにMP3プレイヤーが出現したが、1, 2曲しか
入らず、絶対に流行らないと思った
● 今、「ちょっと頭おかしい」とおもうような技術に投資す
るくらいがちょうどよい
未来の当たり前は今の非常識

49. 49
● 探索と活用のトレードオフ
● 全部そこそこな状態は、過剰にリスクを回避している
● 組織が失敗に寛容にならないと一番良い期待値を取れない
全部成功しなくていい
50%は失敗しないといけません
新卒のときに言われたことば

50. 50

51. 51
● 社内技術カンファレンス：年3回
● テックトーク、技術トーク：隔週
● 読書会：週1回
● 社内勉強会：不定期
技術は1日にしてならず
継続的に技術を生み出せる
会社風土を醸成する

52. 52
最後に

53. 53
若い人のほうが真実を知っている

54. Making the real world computable