Recommended
More Related Content
Similar to LLM は数学を理解しているのか？
Similar to LLM は数学を理解しているのか？ (20)
More from Hide Koba
LLM は数学を理解しているのか？
- 1. 巨大言語モデル (LLM) は数学能力が まったく備わっていないかも？ ― 「再帰定義 (recursive definition)」から考える ― 2023 年 8 月 5 日 (土) 小林 秀章 a 3-dimensional shape whose model was generated by a highly recursive program. --q 2 --s 50 ― Midjourney
- 2. 再帰的な定義 (recursive definition) A を定義するのに、その定義文の中で A を使っていながら、 ぎりぎり助かっているケースがある。 再帰的な定義 (recursive definition) とは: あるものを定義するにあたってそれ自身を定義に含むものを言う。 無限後退を避けるため、定義に含まれる「それ自身」は よく定義されていなければならない。 循環定義との違いは、再帰的定義にはその定義を使わずに定義される 基本となるケースが存在することである。その他のケースの定義は、 基本のケースにより近い定義によって定義されなければならない。 (Wikipedia) よく分からん。
- 3. 例 1: 階乗
- 4. 例: 階乗 𝑛 が 0 以上の整数であるとき、𝑛 の階乗とは、 𝑛 𝑛 − 1 𝑛 − 2 ⋯ 3 ∙ 2 ∙ 1 である。ただし、0 の階乗は 1 であると決めておく。 同じことを、別の形式で定義することもできる。 𝑛 が 0 以上の整数であるとき、𝑛 の階乗とは、 (1) 𝑛 = 0 の場合、𝑛 の階乗は 1 である (2) それ以外の場合、𝑛 の階乗は、 𝑛 に 𝑛 − 1 の階乗を掛けた値である たしかに、「階乗」の定義文の中で「階乗」を使っているので、 循環定義禁止のルールに反しているようにみえる。 しかし、これは循環しない。どんな 𝑛 から初めても、 (2) を繰り返し適用していくうちに、いつかは (1) にたどり着く。 なので、ちゃんとした定義になっている。 こういうのを「再帰的定義 (recursive definition)」という。 「再帰的定義」をちゃんと定義するのは、けっこうむずかしいかも。
- 5. 𝑛 の階乗を計算する Python のプログラム 関数 factorial_rec() を定義するのに、中でその関数自身を使っている。 実行すると、関数の中からその関数自身を呼び出す。 このプログラムは、無限ループに陥ることなく、ちゃんと動作する。
- 9. 例: アッカーマン (Ackermann) 関数 𝑚, 𝑛 がともに 0 以上の整数であるとき、 アッカーマン (Ackermann) 関数 𝐴 𝑚, 𝑛 とは、 (1) 𝑚 = 0 の場合、𝐴 𝑚, 𝑛 = 𝑛 + 1 (2) 𝑛 = 0 の場合、𝐴 𝑚, 𝑛 = 𝐴 𝑚 − 1, 1 (3) それ以外の場合、𝐴 𝑚, 𝑛 = 𝐴 𝑚 − 1, 𝐴 𝑚, 𝑛 − 1 0 1 2 3 4 5 6 7 8 9 10 … 0 A(0, 0) A(0, 1) A(0, 2) A(0, 3) A(0, 4) A(0, 5) A(0, 6) A(0, 7) A(0, 8) A(0, 9) A(0, 10) 1 A(1, 0) A(1, 1) A(1, 2) A(1, 3) A(1, 4) A(1, 5) A(1, 6) A(1, 7) A(1, 8) A(1, 9) A(1, 10) 2 A(2, 0) A(2, 1) A(2, 2) A(2, 3) A(2, 4) A(2, 5) A(2, 6) A(2, 7) A(2, 8) A(2, 9) A(2, 10) 3 A(3, 0) A(3, 1) A(3, 2) A(3, 3) A(3, 4) A(3, 5) A(3, 6) A(3, 7) A(3, 8) A(3, 9) A(3, 10) 4 A(4, 0) A(4, 1) A(4, 2) A(4, 3) A(4, 4) A(4, 5) A(4, 6) A(4, 7) A(4, 8) A(4, 9) A(4, 10) … n m 定義から、ぱっと分かること: 𝐴 𝑚, 𝑛 を第 𝑚 行、第 𝑛 列に配置することにすると、 ・ (1) より、最初の行には自然数が順々に並ぶ ・ (2),(3) より、次の行以降の値は、直前の行のどこかに現れた値のコピーである ・ よく定義されている (= 無限ループに陥っていない) ことは、 比較的簡単に確認できる 定義から、ぱっとは見えづらいけど: ・ アホのようにデカくなる
- 10. 0 1 2 3 4 5 6 7 8 9 10 … 0 1 2 3 4 5 6 7 8 9 10 11 1 A(1, 0) A(1, 1) A(1, 2) A(1, 3) A(1, 4) A(1, 5) A(1, 6) A(1, 7) A(1, 8) A(1, 9) A(1, 10) 2 A(2, 0) A(2, 1) A(2, 2) A(2, 3) A(2, 4) A(2, 5) A(2, 6) A(2, 7) A(2, 8) A(2, 9) A(2, 10) 3 A(3, 0) A(3, 1) A(3, 2) A(3, 3) A(3, 4) A(3, 5) A(3, 6) A(3, 7) A(3, 8) A(3, 9) A(3, 10) 4 A(4, 0) A(4, 1) A(4, 2) A(4, 3) A(4, 4) A(4, 5) A(4, 6) A(4, 7) A(4, 8) A(4, 9) A(4, 10) … n m 例: アッカーマン (Ackermann) 関数 𝑚, 𝑛 がともに 0 以上の整数であるとき、 アッカーマン (Ackermann) 関数 𝐴 𝑚, 𝑛 とは、 (1) 𝑚 = 0 の場合、𝐴 𝑚, 𝑛 = 𝑛 + 1 (2) 𝑛 = 0 の場合、𝐴 𝑚, 𝑛 = 𝐴 𝑚 − 1, 1 (3) それ以外の場合、𝐴 𝑚, 𝑛 = 𝐴 𝑚 − 1, 𝐴 𝑚, 𝑛 − 1 ルール (1) を適用して分かること: ・ 最初の行には自然数が順々に並ぶ
- 11. 例: アッカーマン (Ackermann) 関数 𝑚, 𝑛 がともに 0 以上の整数であるとき、 アッカーマン (Ackermann) 関数 𝐴 𝑚, 𝑛 とは、 (1) 𝑚 = 0 の場合、𝐴 𝑚, 𝑛 = 𝑛 + 1 (2) 𝑛 = 0 の場合、𝐴 𝑚, 𝑛 = 𝐴 𝑚 − 1, 1 (3) それ以外の場合、𝐴 𝑚, 𝑛 = 𝐴 𝑚 − 1, 𝐴 𝑚, 𝑛 − 1 ルール (2) を適用して分かること: ・ いちばん左の列の値は、すぐ右上の値のコピーである 0 1 2 3 … 0 1 2 3 4 1 2 A(1, 1) A(1, 2) A(1, 3) 2 A(1, 1) A(2, 1) A(2, 2) A(2, 3) 3 A(2, 1) A(3, 1) A(3, 2) A(3, 3) 4 A(3, 1) A(4, 1) A(4, 2) A(4, 3) … n m
- 12. 0 1 2 … j - 1 j … A(i, j -1) … 0 1 2 3 1 2 A(1, 1) A(1, 2) 2 A(1, 1) A(2, 1) A(2, 2) 3 A(2, 1) A(3, 1) A(3, 2) … i - 1 A(i - 1, A(i, j - 1)) i A(i, j - 1) A(i, j) … m n 例: アッカーマン (Ackermann) 関数 𝑚, 𝑛 がともに 0 以上の整数であるとき、 アッカーマン (Ackermann) 関数 𝐴 𝑚, 𝑛 とは、 (1) 𝑚 = 0 の場合、𝐴 𝑚, 𝑛 = 𝑛 + 1 (2) 𝑛 = 0 の場合、𝐴 𝑚, 𝑛 = 𝐴 𝑚 − 1, 1 (3) それ以外の場合、𝐴 𝑚, 𝑛 = 𝐴 𝑚 − 1, 𝐴 𝑚, 𝑛 − 1 ルール (3) を適用して分かること: ・ 一般の第 𝑖 行、第 𝑗 列の値は、直前の行のどこかの値のコピーである 参照 コピー 参照 参照
- 14. アッカーマン関数を計算する Python のプログラム 𝐴 4, 1 の値は計算できない。何もせず、返ってきてしまう。
- 26. 例 3: コラッツの問題
- 27. 例: コラッツの問題 (Collatz Problem) 𝑛 が正の整数 (自然数) であるとき、 (1) 𝑛 が偶数の場合、𝑛 を 2 で割る (2) 𝑛 が奇数の場合、𝑛 を 3 倍して 1 を足す これを繰り返すとき、どんな初期値から始めても、有限回の操作のうちに 必ず 1 に到達するか？ 未解決問題。 268 までの初期値には反例がないことが、計算により確かめられている。 268 = 295147905179352825856 起こりうるケース: (ケース 1) 1 にいたる (ケース 2) どこからか先で 1 を含まないループに陥る (ケース 3) ループに陥ることなくさまよい続け、+ ∞ に発散する
- 32. コラッツ問題からの考察 再帰的な定義が循環定義に陥っていないかどうかは、 ぱっと見には分からないことがある。 コラッツの問題が、まさにその例だ。 この問題は、(今のところ) 計算不可約 (computationally irreducible) である。 268 までのすべての自然数について、1 にいたることが 数値計算で確認されているという。 仮に、これを教師データとして、教師あり学習でニューラルネットに 学習させようとすると、必ず True が返ってくる定数関数を 学習するだけに終わるだろう。 だからといって、必ず 1 にいたるという保証にはなっていない。 大量の実例に基づいて法則性を探り当てる「帰納法」では 太刀打ちできない問題である。どうしても「演繹法」でいかないと ならない。
- 33. 考察
- 34. ある疑い ChatGPT は数学能力がゼロなのではあるまいか？ 学校の授業で、ある生徒が、たとえば 2 次方程式の解法について 先生から教わり、そのあとで、練習問題として 「𝑥2 − 2 𝑥 − 7 = 0 を解け」 という問題を出題され、正しく回答できたとする。 これは、「数学を習う営み」の例であって、ほんとうの 「数学をする営み」とは質的に異なるものである。 仮に、この生徒が 2 次方程式の解法を知らなかったとして、 解の公式を自力で編み出したとしよう。 そういうのが「数学をする営み」の例である。 過去に経験したことのない問題を目の前にしたときであっても、 しかも、解ける問題なのかどうかも不明だったとしても、 自力でなんとか解こうとするのが ほんとうの「数学をする営み」というものである。
- 36. ある疑い ChatGPT に数学の問題を与えると、正答を返してくることがある。 導出過程を正しく示すことができる場合もある。 これをもって、ChatGPT には、あるレベルの数学能力が備わったと みることができるかもしれない。 しかし、ChatGPT は、数学の問題を国語的に解いている感じがする。 学習したコーパスの中に類題とその模範解答がある場合は、 それを参照して、類推することぐらいはできるのかもしれないけど。 ChatGPT の数学能力は「数学を習う営み」の範疇に属するものであり、 真の意味での「数学をする営み」の能力は、まだ片鱗も 芽生えていないのではないか。
- 37. ある疑い ChatGPT の真の数学能力をテストするためには、 次のような条件を満たす数学の問題の例が見つけられると都合がよい。 (1) 人類はその問題の正解を知っている (2) しかし、ChatGPT が学習に用いたデータの中には その問題に対する模範解答や解法が含まれていなかったようで、 ChatGPT は、知識として、正解を知らない この条件を満たす問題の例として、次がある。 (1) ある数列の最初の 12 項は 3, 4, 6, 8, 12, 14, 18, 20, 24, 30, 32, 38 であるとき、その次の項は何か？ (2) m = 4 のとき、アッカーマン関数 A(m, n) の一般項を n の数式で 表すとどうなるか？ (Wikipedia の "Ackermann function" の項に書いてある。) (3) d 次元立方体をある方向から見たら正 2 d 角形に見えた。 このときの視線ベクトルを求めよ。 (Wikipedia の "Hypercube" の項に、正 2 d 角形が図示されている。 図示できたということは、視線ベクトルの正解が分かっているはずである。 しかしながら、そのベクトルそのものが具体的に示されているわけではない。 小林は自力で解いた。)
- 39. ある疑い 「真の意味で数学する能力 (= 正解を知らないときに自力で解く能力) を 機械に実装することは可能か？」 この問いは、解かれずに残っているのではないか？ 解かれていないどころか、ほとんど手づかずの状態なのではあるまいか？ もっとも、真の意味での数学をする能力を備えた人は、人類の中でも そんなに多くはない。 「汎用人工知能 (Artificial General Intelligence; AGI)」が、 並の人間ができることは、およそどんなことでもできる AI であるとすると、 AGI に真の数学能力を要求するのは酷かもしれない。 AGI が実現されたとする時点で、真の数学能力は備わっていない かもしれない。 しかしながら、「超知能 (Artificial Super Intelligence; ASI)」と なると、数学能力は必須と思われる。 つまり、ASI に至る道のりにおいて、巨大な問いが、まだほぼ手づかずで 控えているのではあるまいか。
- 42. 少し飛躍した話
- 43. ヒトはどうか？ (1) ヒトは思考が無限ループに陥らない 思考がループに入るときはあっても、数回繰り返すうちに、 その不毛さに自分で気がついて、強制的にループから抜ける。 アナバチは、外からいたずらすると、無限ループに陥るらしい。 (2) ヒトは深く考え込んでも、どこかであきらめて行動決断する 無限ループに陥っていないとしても、思考の対費用効果を考慮したかの ごとく、どこかで深い思考をみずから打ち切って、 行動出力に移すことができる。たとえば、将棋で秒読みされたときなど。 (3) 自己監視、自己脱出機能 無限ループに陥ったり、長い思考に沈んだりしたときに、 みずから打ち切って抜け出すことができているということは、 自己監視機能・自己脱出機能がはたらいているからだと考えられる。 不毛なことをやっていると気づいて、自分で止める。
- 45. フィードバック機構が必要 自己監視機能・自己脱出機能を実現するには、フィードバック機構が 必要であろう。 このフィードバック機構は、「予測符号化」における フィードバック機構とは別物と考えられる。 このフィードバック機構は、「自我」、「自意識」と関係が ありそうな感じがする。 低階層の思考 (対象に対してベタな、直接的思考) 上位の思考 (自意識・オレ感、思考の意義・価値を評価する「私」) ・ 下位の思考を監視し、その思考をすることの価値を評価 ・ 価値がコストに見合わないと判定したら、強制脱出命令をくだす 思 考 内 容 脱 出 命 令 監視する「私」 監視される「私」
- 47. 余談
- 48. 再帰的 (recursive) な論文 ある論文の参考文献の欄に、その論文自身の参照先が書かれているとき、 この論文を「再帰的 (recursive) な論文」という。 再帰的な論文は実在する。実際、見たことがある。 しかし、メモを取っておかなかった (あるいはなくしてしまった) ので、 情報が失われてしまった。 同じ号の雑誌に一人の著者が 2 本の論文を掲載していて、 互いに参照しあっていた。 読もうとすると無限ループに陥ってしまい、ひどい目にあった。