巨大言語モデルの進化方向 •スケーリング則：計算量、データサイズ、パラメータの増加に性能が単調増加 •マルチモーダル情報（音声・映像・IoTデータ）の統合 •帰納的タスクから演繹的タスク（多段推論）へ相転移 •身体性・能動性の獲得による知識の自動習得 巨大言語モデル（LLM)だけなら　20億円くらいで生成できるか。 問題はそれから。 　　データ整備とAI倫理への対応 　　バイアスに対する説明責任とバイアスがもたらす副作用是正への努力義務。攻撃に対する不断の対応。 　　 MLOps体制の整備 　　InstructGPTに相当する応答の順序学習　これは応用ドメイン選定が必須 　　投下コストに見合う収益モデルの設計　（これができる人ないと思う） LLM作るより、エンドユーザーを巻き込んだカスタマイズビジネスを成立させることが重要。それをやりながら、耐えて耐えて：）　独自LLM作成が必要ならする。：） 製造業にあるダークデータの有効活用 教育を見直さなければならない。これ大事。 Z世代、α世代を巻き込んだ社会のありようを議論すべき。

1. 自然言語処理の
発展がもたらす
未来
1
栄藤 稔
⼤阪⼤学 先導的学際研究機構 教授
順天堂大学医学研究科客員教授
科学技術振興機構（JST) CREST人工知能
領域総括
3/29/2022
@mickbean
https://www.linkedin.com/in/micketoh/

2. 2
自己紹介
• パターン認識 （パナソニック）
• 推論システム （ATR)
• 画像符号化 MP-4の生みの親（パナソニック→ドコモ）
• モバイルサービスと自然言語処理 （ドコモ）
• 研究開発企画、そして投資部門（ドコモ）
• イノベーションマネージメント（ドコモ→大阪大学）
• 起業＆会社経営 （みらい翻訳，コトバデザイン ）
• LINE AI COMPANY テクニカルアドバイザリー

3. 5年前、こう言っていました。
何がここ数年のAIの産業応用を実現したのか？
•深層学習を中⼼とした機械学習の進歩．
•⾮ICT 産業のICT化による”データ”の表出．
•ハードウェアとクラウドによる実装技術が⽀援
3
深層学習は第二幕に突入

4. 4
生成AIの登場を予見した
ちょっとした自慢話から
4

5. Foreseen Technical Events in Time (2020)
conservative
Disruptive
time
2020 2023 2025 2027
Digital Me
Me AVATAR
Digital Identity
Better Care
Trustworthy AI
Privacy preserving
AI Fairness
Scam Discriminator)
Explainable AI
Dark Data
Omnipotent AI
Gigantic Language model
Unlabeled Data
Data Marketplace
Generative Intelligence
New Education
Autonomous
AI Workforce
Interactive
Virtual experience
Dependable STT
5

6. •Digital Me: 「個人のデジタル化」
•Generative AI：「生成するAI」
•Trustworthy AI： 「信頼できるAI」
•Dark Data：「ダークデータ」
6
４つの未来（-2025)
6

7. 個人のデジタル化
ID パーソナル化
7

8. 2016年までのAI
予測 識別
8

9. 9
Generative Intelligence
生成AI
9

10. 人類が発した全ての言語での全ての文章
解釈B
解釈A
解釈C
解釈D
生成するAI
10
ChatGPT
LAMBDA
HyperCLOVA

11. 企業が保有するデータの９０％が未利用
Dark Data
11

12. 性能がある閾値を超えた時に
キラーアプリケーションが登場する
12

13. Time
Performance 音声認識
2012 2014 2016
DNN
単一画像認識
多層CNN
一文機械翻訳
LSTM-
Attention
GAN
Transformer
2018
巨大言語
モデル
Pre-Training
13

14. 14
教師なし学習が大ブレークし、
chatGPT祭りがやってきた。
14

15. Prompt Tuning/Engineering
指示： XYZ がしたい
INPUT: 入力例
OUTPUT: 出力例
INPUT：
------------------------で答えは？ --------------------------------
15

16. IN: 蛙が古い池に飛び込んだ時の音の様子を詠んだ句です。蛙が池に飛び込む音を表現した
単純な句ではありますが、周囲の静寂や寂れた古池の様子、蛙が池に飛び込む生の躍動のよ
うな情景がまざまざと伝わってくる、趣のある句となっています。この句の季語は『蛙』で
、これは春を表現している季語です。
OUT: 古池や蛙飛こむ水のおと
IN: 山形県にある立石寺（りっしゃくじ）でセミが鳴いている様子を詠まれた句です。この
句は明確な句訳はわかっていないので、少しミステリアスで詠み解くことにロマンがある俳
句です。「閑さ」と「蝉の声」という一見矛盾する表現の意図が特に考えさせられますね。
OUT: 閑さや岩にしみ入蝉の声
---- ↑までが事前入力 ↓以下の解説に対して、OUTから後ろを生成
IN: 夜中なのに仕事が終わらない様の悲しさを詠んだ句です。この句は切実さが伝わりすぎ
ると困る部分も有るので、曖昧な雰囲気でごまかしつつも、釈然としない気持ちを少しだけ
でも晴らそうという、どっちつかずな気持ちが現れています。
OUT: 夜業果てて朝寝覚めて見れば秋の風
16

17. 17
創作ではプロには勝てない。
定型処理はAIに置き換わる。
17

18. 20
AI
20

19. 21
一昔前の
チューリングテストは合格する。
人を騙せるのは3分くらい。
21

20. 音声認識と巨大言語モデル
の統合 Open AIによる
Whisper AI
Source:
https://cdn.openai.com/pa
pers/whisper.pdf
23

21. •皆様!壱百満天原サロメ! 壱百満天原
サロメでございますわ!
略
•もうだいぶわかってきたと思いますが、
皆様にもっと私のことを知ってほしいん
ですわということで、
•こちら、住民票ですわ。 ちょっと危な
いところは消してるんですけれども。
•そして続きまして、履歴書ですわ。
•中学・高校の時期はですね、学校に
なじめずに引きこもりになりまして、 大
学でもうまくなじめずに結局中退いたし
ましたわ。
壱百満天原サロメの初配信
がほぼ音声認識できるようになった
2年前では無理！ 以下が結果。
24

22. 機械翻訳も劇的変化を遂げる。
25
今後5年間で人間に求められることは何か。生成AIを道具として
使いこなす指示力が重要となる。生成AIの著作を採用するかしな
いかの判断力も求められる。
だから教育現場も変わる。宿題を学生本人がやったかどうかの真
贋判定するよりも、当人のコンピューター以上の文章が書ける能
力を問うようになる。生成AIの破壊力により人間にしか提供できな
い価値が先鋭化し、企業事務と教育のあり方が変わるのだ。

23. カリフォルニアの高校生の英語
26
So like, what's gonna be expected from people in the next five years?
It's gonna be super important to know how to use generative AI as a tool,
you know? And also, we're gonna need to figure out if we should use stuff
made by these AIs or not.
That's why schools are gonna change too.
Instead of trying to figure out if a student actually did their homework or
not, it's gonna be more about if they can write something even better
than a computer can.
Because of the whole AI thing, the stuff that only humans can do is gonna
become even more important, and it's gonna change how businesses and
schools work and stuff.

24. 高学歴、ラテン語習得者の英語
27
As we contemplate the ensuing five years, what shall be demanded of
mankind? A crucial competency shall be the effective utilization of
generative AI as an instrument, in addition to the discernment required for
determining the adoption or rejection of works produced by such AI.
Thus, the domain of education shall undergo transformation. Rather than
ascertaining the veracity of whether a student has completed their
homework autonomously, the emphasis shall shift towards assessing the
individual’s capacity to compose textual content exceeding the capabilities
of their personal computing devices.
Owing to the disruptive force exerted by generative AI, the value that solely
humans can provide will be honed, ultimately altering the modus operandi
of both corporate administration and education.

25. 対話インタフェースの進化
30
30
AIと対話：車の運転を音声AIに尋ねる
HTTPS://YOUTU.BE/WAH7JSGWGHC
AIと対話：塗装工事の現況確認
HTTPS://YOUTU.BE/FASIYAQR2ZK
AIとの対話:マルチリンガルアシスタント
HTTPS://YOUTU.BE/R_GW4JK7OFA

26. 2030年の小学校
の夏休みの宿題
•キーワードを三つ選んで作った
⽇記
•読んだ本に「楽しかった」「何
が︖」「XXXさんの態度」と2
回AIと対話して作った感想⽂
。
•油彩画「薔薇の蕾と花」雲に囲
まれた淡いピンクから濃い⾚の
リアルな薔薇の蕾と花。
そろばん、電卓、そしてAI
31

27. 32
2030年の仕事
•会議の議事録は⾃動化
•マニュアルの構成は⼤きく変化
•ワークフローの多くが⾃動化
⼈間にしかできないことが顕在化

28. AIとメタバースから見て変わる社会
需要と供給を繋ぐ自動化されたプラットフォーム（with メタバース）。
限界費用ゼロで行われる社会実験。
データよりもモデルの運用・流通の重要性が顕在化。
AIとのインタフェースが重要。
AIの利活用を行う中間事業者エコシステムが台頭。
AIと通信の進化に伴う新しい働き方、組織適応が課題。
33

29. 日本企業が生き残れるセグメントはどこか？
34
エンド
ユーザー
カスタマイゼー
ション
インタフェース
エンジン
提供
音声認識
エンジン
議事録
サービス
議事録
議事録
要約
サービス
議事録

30. 巨大言語モデルの進化方向
帰納的タスクから演繹的タスク（多段推論）へ相転移
身体性・能動性の獲得により知識の自動習得
マルチモーダル情報（音声・映像・IoTデータ）の統合
スケーリング則：計算量、データサイズ、パラメータの増加に性能が
単調増加
37

31. 38
ツールが劇的に変化
フロントオフィス バックオフィス
コミュニケーション
ワークフロー自動化

32. ⾮定型
定型
知識労働 作業労働
第II象限: AIが強化
第Ⅰ象限
AI/ロボティクスが分担
第Ⅳ象限︓AI/ロボティクスが代替
スポーツの審判
第Ⅲ象限︓AIが代替
俳優
⻭医者
読影医
不動産のブローカー
消防⼠
経営者
エコノミスト
介護⼠
精神科医
弁護⼠
⼩売接客係
注：職ではなくタスクが置換される．
39
AIを使いこなす仕事
→ 社会問題を切り取る仕事
→ 人相手の情緒的な共感を得る仕事
多芸・多能・共感力
AI-Operators

33. 私からみた情報社会トレンド
ユーザー参加によるイノベーション
From Z to Alpha: モノからコトへ、コトからココロへ
自動化ツールと共存する生活と仕事 (ChatGPTとか)
40