SlideShare a Scribd company logo
1 of 23
Download to read offline
2022 年 12 月 12 日 (月)
小林 秀章
資料
ChatGPT は高階層の意味理解にはほど遠い?
photorealistic detailed image of the whole body of a bald bearded old man, wearing high school girl's sailor-style
uniform with a short skirt, chatting in text with an artificial intelligence in a computer science laboratory
「意味が分かる」にも階層がある
• 文章の価値や意義や面白みが自分固有の基準で評価できる
• 文章に基づいて、発信者の狙いや主張内容が分かる
• 文章に基づいて、出来事の因果的な流れが分かる
• 文の発信者の感情や主旨が分かる
• 文の表している、現実世界の状態や主張内容が分かる
• 単語の表している、現実世界の実体やカテゴリや概念が分かる
• 単語の辞書的な意味が分かる
ChatGPT は、単語の辞書的な意味は分かっているかのように応答する。
また、やりとりが、低階層の意味において、かみ合っている。
それだけでも、まあ、驚異的と言える。
あれ?
あれ?
高い階層の理解の例:
甲斐がある、無駄でない、価値がある
「意味ねーじゃん」な行為:
• 穴を掘って、すぐに埋める
• 石を積み上げて、すぐに崩す
• 紐を結んで、すぐにほどく
• 部屋を片づけて、すぐに散らかす
• 録音した音をすぐに消去する
• 数式を因数分解して、すぐに展開する
• 自分の尻尾を追って、ぐるぐる回る
• JR 山手線に 1 時間 05 分乗っていたら、元の駅に戻ってきた
• 思考が無限ループに陥った
生物は、「甲斐がある / ない」を割と気にしているはず
• 何もしていなくてもエネルギーを消費している
• 食べたものと吸った酸素を化合させてエネルギーを得ている
• 最も基本的には、次のエネルギー獲得につながらないエネルギー消費は無駄
• 自己監視する機能を備えることが重要。
• 無駄なエネルギー消費に陥っていると気がついたら、行動を変える
• それが「自意識」みたいなもの?
ChatGPT は「無駄なことはしない」に時として無頓着
• 無限ループに陥る
• 同じことを繰り返し述べる
• 数式変形がひと回りして元に戻っちゃうことがある
(因数分解しておいて、また展開、みたいな)
• 途中まで正しく進んでいた数式変形を忘れて
振り出しに戻ることがある
• ひとつのジャンルについて、総論から各論へと順を追って
知識獲得したいと思っても、話が進んでいかない
• 創作した話が展開の意外性に乏しく、あんまりおもしろくない
• 一貫した性格や生命感が感じられない
もしチューリングテストだったら、
そういうところが見破る手掛かりになりうる
日本酒を例にとって、会話してみる
デンプン ブドウ糖
ブドウ糖 アルコール
麹菌
酵母菌
日本酒は 2 段階醸造
生酛造り or 山廃仕込み
誤り。ブドウ糖を生成する。
正しい
同一表現の
使いまわし
同一表現の
使いまわし
決定的に誤り! 麹菌は澱粉を分解して葡萄糖を生成する。
葡萄糖を分解してアルコールを生成するのは酵母菌の役目。
言質を取っておいて、後で追い詰める
基本、OK
でっち上げくさい
基本、OK
でっち上げくさい
先ほどとまったく同じ質問。
先ほどは「その通りです」と答えた。
しれっ、と。
所感
• 「やった甲斐があるか」というレベルの意味理解となると、
ChatGPT はまだまだ → 今後の解決課題
• スケーリングで解決するか? → しそうもない気がする
• 「自分を監視するメタな自分」という機構が要る?
• もしここが突破できたら、自意識を備えたようにみえるのではないか?

More Related Content

What's hot

数理最適化とPython
数理最適化とPython数理最適化とPython
数理最適化とPython
Yosuke Onoue
 

What's hot (20)

ChatGPTがもたらす未来予測
ChatGPTがもたらす未来予測ChatGPTがもたらす未来予測
ChatGPTがもたらす未来予測
 
全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!Transformer
 
【DL輪読会】Hyena Hierarchy: Towards Larger Convolutional Language Models
【DL輪読会】Hyena Hierarchy: Towards Larger Convolutional Language Models【DL輪読会】Hyena Hierarchy: Towards Larger Convolutional Language Models
【DL輪読会】Hyena Hierarchy: Towards Larger Convolutional Language Models
 
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
 
数理最適化とPython
数理最適化とPython数理最適化とPython
数理最適化とPython
 
Semantic segmentation
Semantic segmentationSemantic segmentation
Semantic segmentation
 
第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて
第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて
第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて
 
第8回Language and Robotics研究会20221010_AkiraTaniguchi
第8回Language and Robotics研究会20221010_AkiraTaniguchi第8回Language and Robotics研究会20221010_AkiraTaniguchi
第8回Language and Robotics研究会20221010_AkiraTaniguchi
 
人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
 
ChatGPT Impact - その社会的/ビジネス価値を考える -
ChatGPT Impact - その社会的/ビジネス価値を考える -ChatGPT Impact - その社会的/ビジネス価値を考える -
ChatGPT Impact - その社会的/ビジネス価値を考える -
 
先端技術とメディア表現1 #FTMA15
先端技術とメディア表現1 #FTMA15先端技術とメディア表現1 #FTMA15
先端技術とメディア表現1 #FTMA15
 
Point net
Point netPoint net
Point net
 
【DL輪読会】マルチモーダル 基盤モデル
【DL輪読会】マルチモーダル 基盤モデル【DL輪読会】マルチモーダル 基盤モデル
【DL輪読会】マルチモーダル 基盤モデル
 
(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
 
最適輸送の解き方
最適輸送の解き方最適輸送の解き方
最適輸送の解き方
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
 
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
 
Tensor コアを使った PyTorch の高速化
Tensor コアを使った PyTorch の高速化Tensor コアを使った PyTorch の高速化
Tensor コアを使った PyTorch の高速化
 

More from Hide Koba

ChatGPT を使ってみた
ChatGPT を使ってみたChatGPT を使ってみた
ChatGPT を使ってみた
Hide Koba
 
GPT-3 の新モデル text-davince-003 を使ってみた
GPT-3 の新モデル text-davince-003 を使ってみたGPT-3 の新モデル text-davince-003 を使ってみた
GPT-3 の新モデル text-davince-003 を使ってみた
Hide Koba
 

More from Hide Koba (9)

LLM は数学を理解しているのか?
LLM は数学を理解しているのか?LLM は数学を理解しているのか?
LLM は数学を理解しているのか?
 
LLM は言葉の意味を理解しているのか?
LLM は言葉の意味を理解しているのか?LLM は言葉の意味を理解しているのか?
LLM は言葉の意味を理解しているのか?
 
ChatGPT を使ってみた
ChatGPT を使ってみたChatGPT を使ってみた
ChatGPT を使ってみた
 
GPT-3 の新モデル text-davince-003 を使ってみた
GPT-3 の新モデル text-davince-003 を使ってみたGPT-3 の新モデル text-davince-003 を使ってみた
GPT-3 の新モデル text-davince-003 を使ってみた
 
もろもろの AI ツールを Windows のローカル環境にインストールする手順
もろもろの AI ツールを Windows のローカル環境にインストールする手順もろもろの AI ツールを Windows のローカル環境にインストールする手順
もろもろの AI ツールを Windows のローカル環境にインストールする手順
 
OpenAI の音声認識 AI「Whisper」をテストしてみた
OpenAI の音声認識 AI「Whisper」をテストしてみたOpenAI の音声認識 AI「Whisper」をテストしてみた
OpenAI の音声認識 AI「Whisper」をテストしてみた
 
ブックレビュー: 西垣 通 『新 基礎情報学 ― 機械をこえる生命』
ブックレビュー: 西垣 通 『新 基礎情報学 ― 機械をこえる生命』ブックレビュー: 西垣 通 『新 基礎情報学 ― 機械をこえる生命』
ブックレビュー: 西垣 通 『新 基礎情報学 ― 機械をこえる生命』
 
無意味な文字列にも意味を見出す DALL-E
無意味な文字列にも意味を見出す DALL-E無意味な文字列にも意味を見出す DALL-E
無意味な文字列にも意味を見出す DALL-E
 
Experiment report gpt-3_20211124ss
Experiment report gpt-3_20211124ssExperiment report gpt-3_20211124ss
Experiment report gpt-3_20211124ss
 

ChatGPT は高階層の意味理解にはほど遠い?