Download as PDF, PPTX
More Related Content
![SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習](https://cdn.slidesharecdn.com/ss_thumbnails/200611ssii2020os2weaksupervision-200609142553-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]A Simple Unified Framework for Detecting Out-of-Distribution Samples a...](https://cdn.slidesharecdn.com/ss_thumbnails/20181005misono2-181009052706-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Estimating Predictive Uncertainty via Prior Networks](https://cdn.slidesharecdn.com/ss_thumbnails/estimatingpredictiveuncertaintyviapriornetworks-190628002736-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]ICLR2020の分布外検知速報](https://cdn.slidesharecdn.com/ss_thumbnails/iclr2020ood-190927011524-thumbnail.jpg?width=640&height=640&fit=bounds)
20230925プレジデント社60周年.pdf
- 1.
- 2. 2 1. 人工知能とは 2. 人工知能の技術-- 模倣と探索 3. 人工知能の落とし穴 -- 私たちの欲しいものは何か 4. 人工知能の今後 -- 抱擁か閉じ込めか
- 3. 知的とは何か -- パズルを解く：ハノイの塔 P. H. Winston, Artificial Intelligence ISBN-13: 978-0201084542, 1977 1970年代の「最先端」 Source: Wikipedia
- 4. 4 ゲームに勝つ： ● 三目並べ --A S Douglas, 1952 ● チェッカー -- Chinock , 1992 - 1994 ● オセロ -- Logistello, 1992 - 1997 ● チェス -- Deep Blue, 1997 ● 将棋 -- Bonanza, あから2010など、2007 - 2017 ● 囲碁 -- AlphaGo, 2016 Silver, David, et al. "Mastering the game of Go with deep neural networks and tree search." nature 529.7587 (2016): 484-489.
- 5. 専門家を模倣する：感染症の診断システムMYCYIN Bruce G. Buchananand Edward H. Shortliffe, Eds., Rule-Based Expert Systems: The MYCIN Experiments of the Stanford Heuristic Programming Project, Addison Wesley, 1984 専門家の知識を “If … Then” ルールで記述する 65%の正解率
- 6. 数式を処理する：MACSYMA, 1968-1982 Richard Pavelleand Paul S. Wang. 1985. MACSYMA from F to G. J. Symb. Comput. 1, 1 (March 1985), 69-100.
- 7.
- 8.
- 9.
- 10.
- 11. 東京都の職員向けガイドライン ● 利用方法 ● 利用のルール ●効果的な使い方 出典：東京都 https://www.digitalservice.metro.tokyo.lg.jp/ict/pdf/ai_guideline.pdf
- 12.
- 13.
- 14. 仕事の変化 ● 約3億人分の仕事がジェネレーティブ（生成型）AIの影響を受ける可能性 ○ 出典：Goldman Sachs, “The Potentially Large Effects of Artificial Intelligence on Economic Growth”, March 2023. ● IBM、7,800人分の雇用がAIに置き換えられる可能性 ○ 出典： Bloomberg, IBM to Pause Hiring for Jobs That AI Could Do, May 2023. ● ただし、過去の例では、新しいテクノロジはより多くの新職業を生む ○ 自動車： 御者・飼葉業者・… ⇒ 巨大な自動車産業 ○ インターネット： 電話交換手 ⇒ Web関連産業
- 15.
- 16. 16 1. 人工知能とは 2. 人工知能の技術-- 模倣と探索 3. 人工知能の落とし穴 -- 私たちの欲しいものは何か 4. 人工知能の今後 -- 抱擁か閉じ込めか
- 17.
- 18. 18 観測とモデル化 ティコ・ブラーエ (1546-1601) 天体の膨大な観測を行った ヨハネス・ケプラー(1571-1630) 現象のモデル化：「ケプラーの3法 則」 ⇒ 天体の予測が可能に アイザック・ニュートン (1643-1727) メカニズムのモデル化：ニュート ン力学 ⇒メカニズムの理解が可能に 対象： 天体(惑星)の動き 出典： Wikipedia
- 19. 19 モデルの使い方その１-- 予測・推定 対象 モデル 入力 x∈ Dx 予測（Forecast）-- 未来の値のとき 推定（Nowcast） -- 現在の未知の値のとき（例：画像認識） シミュレーション -- 仮定の入力に対するとき モデル化 誤差 “すべてのモデルは間違っている。ただし、役に立つものもある” -- George Box 出力 y ∈ Dy 入力 x ∈ Dx 出力 y ∈ Dy
- 20.
- 21. 21 対象のモデル化： 2つのアプローチ 対象 観測 →統計モデリング （経験知識によるモデリング） 現象のモデル化 理解 → 先験知識によるモデリング メカニズムのモデル化
- 22. 経験知識に基づくモデリング -- 観測されたデータを模倣する 22 変量(変数)X 変量(変数) y モデル： y = ax + b + ε 観測データ
- 23. ChatGPTはどのように訓練されたか 大規模言語モデル(GPT3.5/4) 23 書籍 新聞 論文 SNS 大量の言語データ メール ビジネス文書 ある文脈cが与えられた時に、次に来る単語w の確率モデル Pr(w|c) 例: “マチルダは小さなお子さんのいる家庭に 夕食を提供する”の後に “サービス” が続く確 率はいくらか？ ChatGPT 出力の適切さに関する、大量の アノテータによるファインチュー ニング 研究者の驚き -- 言語モデルでそこまでできるのか！ * * 岡崎直観, 「大規模言語モデルの驚異と驚異」 , https://speakerdeck.com/chokkan/20230327_riken_llm
- 24. 統計モデリングの本質的限界 (1) 訓練データ DNN 過去の模倣-- 将来が過去と同じでないと正しく予測できない 時間軸 過去に観測されたデータ に基づいて訓練 訓練 訓練済みモデルに基いて 新しい値を予測 24
- 25.
- 26.
- 27. 27 Richard Suttonの「苦い教訓」, 2019 ●Mooreの法則によって、計算能力は黙っていても指数関数的に増大する ○ Moore則： 「ICのトランジスタ数は2年毎に2倍になる」 ● これによって、力任せの方法（Brute Force）が、人間の思考過程を模倣する手 法よりも常に勝つ ○ ChessにおけるDeepBlue、囲碁におけるAlphaGo ○ 音声認識、画像認識、機械翻訳、ChatGPT、… ● 「我々は、自分たちが思っているような人間の思考に基づく方法は長期的にうま く動かない、という苦い教訓を学ぶべきだ」 出典： https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf
- 28. 28 言語モデルにおけるスケール則 Kaplan, Jared, etal. "Scaling laws for neural language models." arXiv preprint arXiv:2001.08361 (2020). 言語モデルの性能は、訓練時間、訓練データ量、モデルのパラメタ数いずれとも、べき法則に従う
- 29. 人工知能のもう１つの流れ -- 解の探索 大西洋の戦い1942-1943 1942/10-12： コンボイ SC107 - 商船37隻＋護衛6隻 vs Uボート16隻 - 商船15隻喪失、Uボート2隻撃沈 … … … オペレーションズ・リサーチ生みの親 物理学者 ブラケット男爵 出典：Wikipedia Uボートの攻撃成功 率は、コンボイ周囲 長における護衛艦 密度によって決まる n n2 “被害を最小にするコンボイの構成は何か？” 所与の条件： ● 各商船の出発地・目的地・積荷・速度 ● 各護衛艦の兵力・速力・他の作戦目的 ● Uボートの攻撃成功率に関する仮説 1943/5： コンボイ SC130 - 商船37隻＋護衛9+4隻 vs Uボート25隻 - 商船喪失なし、Uボート3隻撃沈 Uボートの攻撃成功率に関する仮説 数理モデル化・ 最適化
- 30. 線形条件の下での解の探索 -- 線形計画法 出典:小暮仁 Web教材「ＯＲ（オペレー ションズ・リサーチ）」 実行可能空間が 線形不等式で表 される。 効用関数が線形 式で表される。 “緑色の (x, y) 空間の中で、3x + 2y を最大にする x, y を求めよ” 各商船・護衛艦の出発地・目的 地・積荷・速度… Uボートの攻撃成功確率に関す る仮説 見つかった 最適解
- 31. 離散領域における解の探索 ● 定義域が離散の制約充足問題 ○ ３充足問題など ●定義域が離散の最適化問題 ○ 巡回セールスマン問題 ○ ナップザック問題 これらはいずれもNP完全問題として知られ、最悪の場合は2n の時間がかかる 現在では経験的に効率のよいアルゴリズムがあり、ほとんどの現実問題は効率よく解ける 31
- 32. 効用関数が事前にわからない問題設定 -- ブラックボックス最適化 効用関数μ(x) の全体像はわからないが、ある点x が与えられたとき μ(x) の値を返す 手続き（オラクル）が先験知識として与えられている 32 - 多腕バンディット問題 - 実験計画法 - 進化計算 - 強化学習 - ベイズ最適化 - ： 期待値 μ(x1 ) μ(x2 ) μ(xn ) “期待値の不明なスロットマシンが n 台ある。 儲けを最大にするにはどうしたらよいか？ ” （ μ(xi ) が事前にわかっていれば簡単！） 探索（exploration）と活用（exploitation）のバランスの取れた組み合わせが必要！
- 33.
- 34. シミュレータにより、出力の望ましさ（報酬）を計算 34 X: センサ入力 Y: アクチュエータ 出力 Y= f(X, θ) u(S, Y): 報酬関数（効用関数） シミュレータ S: 現在の状態
- 35. 35 人工知能技術の２つの側面 過去の事例を模倣する ● 統計モデリング、深層学習、生成モデル、 … ●Stable Diffusion、ChatGPT、… ● 経験知識（データ）に基づく ● 仕様は例示（あいまいでよい） ● パターンを発見する ● 過去に例のないものは苦手 与えられた領域で条件を満たす解を 探索する ● 制約充足、数理計画、ブラックボックス最適 化、… ● AlphaGo、自動運転、… ● 先験知識に基づく ● 仕様（目的関数）の明示 ● 解を発見する ● 与えられた境界の外は探索しない 模倣と探索の組み合わせで、新たなシステムが次々と作られるだろう 人の通常の思考モー ドは主にこちら 理性に基づく合理的な思 考はこちら
- 36. 36 1. 人工知能とは 2. 人工知能の技術-- 模倣と探索 3. 人工知能の落とし穴 -- 私たちの欲しいものは何か 4. 人工知能の今後 -- 抱擁か閉じ込めか
- 37. 「意図しない結果」をもたらす機械学習 ● 2015年7月、Google Photosの新しいタグ付け機能で、黒人カップルが写っている写 真に「ゴリラ」というタグ付けがされた* ●2016年5月、米国の再犯罪率予測に使われることの多いソフトウェアCOMPASが、 黒人の再犯罪率を実際よりも高く評価することをProPublicaが指摘した** ● 2018年10月、Amazon.comは採用時に補助的に利用していた機械学習システム が、女性に対して不利益に働くことに気づき、このシステムの利用を停止したことをロ イターが伝えた*** * https://jp.reuters.com/article/amazon-jobs-ai-analysis-idJPKCN1ML0DN ** https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing *** https://gigazine.net/news/20150702-google-photos-gorilla/ 37
- 38.
- 39. 多くの問題の「期待」は制約＋目的関数で表現される ● 制約 ○ 各倉庫の場所 ○各倉庫間の距離 ○ 各倉庫をちょうど1期ずつ訪問 ○ 初期条件 ● 目的関数 ○ 合計の走行距離 与えられた制約の下で、目的関数を最小にする割当は何か？ 39 巡回セールスマン問題
- 40.
- 41. 41 そもそも要求は「事前に」定義できるか -- 人工知能の未解決問題 ●IJCAI 2017 Keynote by Stuart Russell, “Provably Beneficial AI” ○ 人：「コーヒーをとってきて」 ○ ロボット： スタバへ行き、列に並んでいる他の客を殺してコーヒーをとって くる ○ 人の指示は常に不完全 多くの要求事項は、「後だしジャンケン」 人工知能研究での未解決問題：「フレーム問題」
- 42. 要求の不確実性に対するソフトウェア工学の叡智：アジャイル開発 1. プロセスやツールよりも 個人と対話を。 2.包括的なドキュメントよりも 動くソフトウェアを。 3. 契約交渉よりも顧客との協調を。 4. 計画に従うことよりも 変化への対応を。 アジャイル・マニフェスト (2001) https://agilemanifesto.org/ 短い(1週-1月)サイ クルの「スプリント」 常に動く（完成形 の）ソフトウェア 優先順位付けされ た顧客要件（バック ログ） スプリント毎に顧客との 対話によりバックログを アップデート 変化を事前に予測するのではなく、 変化の事後に機敏に対応する 出典：https://backlog.com/ja/blog/what-is-agile-and-waterfall/ *QCD: Quality(品質), Cost, Delivery(納期) スプリント毎に顧客 の要求を再確認
- 43. 組織論：なぜ多くの日本企業が苦しんでいるか（私見） 43 1979年 ISBN-13 : 978-0674472150 2015年 ISBN-13: 978-4492396179 失われた 20年 この間に何が起きたのか？ 高度成長期 1986 - ISO 9000 品質マネジメント 2000 ISO 17799 セキュリティマネジメ ント コーポレート・ ガバナンス 現場力 カイゼン 統計的品質管理
- 44.
- 45. 組織論の発展： 自己組織型TEAL組織 出典：Frédéric Laloux,Reinventing Organizations, 2014.
- 46.
- 47. ちょっと待てよ。これってQCサークルでは？ QCサークルとは、同じ職場内で品質管理活動を 自発的に小グ ループで行う活動 ３つ基本理念 1. 人間の能力を発揮し、無限の可能性を引き出すこと。 2. 人間性を尊重して、生きがいのある明るい職場をつくること。 3.企業の体質改善・発展に寄与すること。 出典：Wikipedia 出典：Frédéric Laloux, Reinventing Organizations , 2014. つまりは日本式カイゼンへの回帰ともいえる 本来、日本が最も得意とする領域
- 48. 48 1. 生成モデルとは 2. 模倣と探索 3.欲しいものは何か 4. 人工知能と社会 -- 抱擁か閉じ込めか
- 49. 2022/11/30 OpenAIがChatGPTを公開 2023/03/28 Futureof Life Institute, 大規模言語モデル開発の6か月間停止を提案 2023/05/02 IBM、5年で3割の仕事をAIで置き換えと予想 2023/05/02 Hinton教授、Googleを退社。AIの脅威に警鐘 49 人工知能は人類にとって脅威か？
- 50. レイ・カーツワイル「シンギュラリティは近い」 50 エポック１： 宇宙の生成（物理定数の決定） エポック２： 生物の発生（DNAの情報） エポック３：脳の進化 （脳による情報処理） エポック４： テクノロジ（情報処理ツール） エポック５： 技術と脳の融合（シンギュラリティ） エポック６： 宇宙の覚醒 （宇宙全体の知性化） ChatGPTに関して、自民党 AIプロジェクトチーム 安宅さんの資料より シンギュラリティ: “When humans transcend biology with the power of technology” (人類が技術によって生物の限界を超えるとき） 収穫加速の法則 ASIN : B009QW63BI, 2006
- 51.
- 52. 52 AI倫理に関する様々な動き ● 内閣府「人間中心のAI社会原則」, 2019 ○https://www8.cao.go.jp/cstp/aigensoku.pdf ● 人工知能学会 倫理指針, 2017 ○ https://www8.cao.go.jp/cstp/tyousakai/humanai/1kai/siryo3-4.pdf ● Global Partnership on AI ○ https://gpai.ai/ ● EU AI規制法, 2023 ○ https://www8.cao.go.jp/cstp/aigensoku.pdf ● ：
- 53. 53 安全な自動機械は作れるか？：ロボット工学3原則 出典： アイザック・アシモフ 『われはロボット』 動かないロボット-- 第1条と効用のバランスを定量的に書き出す必要！
- 54. 54 機械は人を凌駕するか？ 「たまねぎの皮」のアナロジーも助けになる。脳や心の機能 を考えると、 私たちが説明できるある動作は純粋に機械的 なものであることに気づく。 私たちは、これは本当の心では なく、本当の心を見いだすために剥かなければならない皮 のようなものだと言う。しかしどんなものを見つけようとも そ の先にはまだ剥くべき皮がある、以下同様。この手の進み かたで 私たちはほんとうに「真の」心にたどりつけるのだろ うか、それとも ついにはもはや何も入っていない皮を剥い てしまうのだろうか? Alan Turing, Computing Machinery and Intelligence, 1950. 新山 祐介氏による翻訳、 http://www.unixuser.org/~euske/doc/turing-ja/index.html
- 55.
- 56.
- 57.
- 58. 私たちの将来： Contain（閉じ込め）か Embrace（抱擁）か Embrace：機械との一体化により、人類文明 全体として高次の存在を目指す ● カーツワイル「シンギュラリティ」 ●A.C.クラーク「幼年期の終わり」 ● 個人のアイデンティティは曖昧になるか もしれない ● いろいろな意味で「人間らしさ」を失うか もしれない ● 「基本的人権」を見直す必要があるかも しれない 58 Contain：機械に制約を課し、人間に対する脅 威とならないようにする ● 内閣府「人間中心のAI社会原則」 ● アシモフ「ロボット三原則」 ● 漏れのないポリシーは定義不可能かもし れない ● ポリシーを守らない人が出てくるかもしれ ない ● 地球外文明が、他種を抑圧する人類を 脅威とみなすかもしれない
- 59. ジョン・ダワー： 1938年生まれ。アメリカ合衆国の歴史学 者。マサチューセッツ工科大学名誉教授。専攻は、日本近 代史。1958年に来日。妻は日本人。米国における日本占 領研究の第一人者であり、1970年代の日本近代化論の 批判でも知られる。 John Dower,Embracing Defeat -- Japan in the Wake of World War II, ISBN 978-0393320275, 2000. 1945年8月～ それまで敵だった欧米の価値観を抱擁した日本
- 60. Thank You @maruyama ontwitter ISBN-13 : 978-4764906068 60