Download as PDF, PPTX
![34
GPTのIn-Context
Learning
p(output | input, task)
• “In-context learning”: インプットに加えられたコンテキス
トだけでタスクの内容を理解する
• コンテキスト①︓タスクの説明⽂
• コンテキスト②︓タスクサンプル
• 訓練時: “task” は特に明⽰しない
• Input = (token, context)
• Context = token直前の複数⽂章, max 2048 tokens
• ⽂章区切りに特別tokenを使⽤([SEP]の⽂章版)](https://image.slidesharecdn.com/aidx-201010115457/85/AI-33-320.jpg)
More Related Content
![[ビッグデータオールスターズ] クラウドサービス最新情報 機械学習/AIでこんなことまでできるんです! (Microsoft編)](https://cdn.slidesharecdn.com/ss_thumbnails/20161218dotsbigdataazureai-161218054508-thumbnail.jpg?width=640&height=640&fit=bounds)
![【会社紹介資料】株式会社カンゲンエージェント [ 2026/01 公開 ].pdf](https://cdn.slidesharecdn.com/ss_thumbnails/202501ver-260122081900-e7a475ff-thumbnail.jpg?width=640&height=640&fit=bounds)
![1位[ローソン]オオクワ型＿成城大学----------------------](https://cdn.slidesharecdn.com/ss_thumbnails/1-260120025741-59d1b2e9-thumbnail.jpg?width=640&height=640&fit=bounds)
AI とデジタル変革
- 1. AIとデジタル変⾰ 栄藤 稔 ⼤阪⼤学 先導的学際研究機構教授 株式会社 コトバデザイン 会⻑＆CEO 科学技術振興機構（JST) CREST⼈⼯知能領域総括 10/10/2020 1
- 2. © 2016 NTTDOCOMO, INC. All Rights Reserved.
- 3.
- 4.
- 5. ドメイン技術通信を伴うデジタル化 IoT = ICT+ OT (Operational Technology) IoT + AI ＝これまでコンピュータとは無縁だった産業 の⾃動化・⾃律最適化 Society 4.0はICT， Society 5.0はAIの時代． 5 Society 5.0の理解
- 6. ⾮定型 定型 知識労働 作業労働 第II象限: AIが強化 第Ⅰ象限 AI/ロボティクスが分担 第Ⅳ象限︓AI/ロボティクスが代替 スポーツの審判 スーパーのレジ係 第Ⅲ象限︓AIが代替 農産物の仕分け係 俳優 ⻭医者 読影医 保険の審査担当者 不動産のブローカー 消防⼠ 税務申告代理⼈ 司法書⼠建設機器操作員 経営者 エコノミスト 介護⼠ 精神科医 弁護⼠ ⼯場の組み⽴て係 ⼩売接客係 IoTのターゲット RPA! 注︓職ではなくタスクが置換される． 6
- 7.
- 8.
- 9. McKinsey Analytics Global AISurvey: AI proves its worth, but few scale impact 10
- 10.
- 11.
- 12. https://www.statista.com/chart/4298/amazons-long-term-growth/ Netflix(1997) Streaming iPod iPhone Product search: A> G Uberi-mode Waymo(2009) WeWork シェアリングエコノミー デジタル変⾰ AI応⽤の時代 13
- 13.
- 14. 限界費⽤０，Marginal Cost Zero 15 https://praxtime.com/2013/12/16/average-is-over-could-use-more-zero-marginal-cost-economics/ UnitCost Number Produced Marginal Cost of Digital Goods tends to be Zero. Marginal Cost of Traditional Goods eventually goes up due to constraints.
- 15.
- 16.
- 17. • ⽣物学は医療画像処理、プロテオーム解析、化学から創薬までAI応⽤の旬を迎えている。 • 創薬でAIの活躍が⽬覚ましい。⾃動診断も進化している。 •AIによる最初の創薬が⽇本で試験されようとしている。 18 医療・創薬 ⼤⽇本住友製薬と英国のAIを使った創薬企業Exscientia は1⽉30⽇、AIにより作られた新薬候補が臨床試験を⽇ 本で開始したと発表しました。 DSP-1181と呼ばれる新薬候補は、強迫性障害（OCD） の治療薬として開発されているもの。可能性のある化合 物を直接選別するアルゴリズムを使⽤し、それらをパラ メーターの巨⼤なデータベースと照合して作成されまし た。これにより、通常、4年半かかる開発を12か⽉未満 で完了したとのことです。
- 18. 19 JST CREST-AI • 精神医学×メディア解析技術による⼼の病の定量化・早期発⾒と社会 サービスの創出 •多施設⼤規模脳波データによるてんかん診断⽀援AIの構築 • 3D画像認識AIによる⾰新的癌診断⽀援システムの構築 • AIアプタマー創薬プロジェクト • ⼈⼯知能を⽤いた統合的ながん医療システムの開発
- 19. • 顔認識による２つの誤認逮捕がAI研究の 倫理リスクをハイライトしている。(May 2019, DetroitPolice, Jan.2020, Detroit Police) • Deep Fake対策に種々の法律が制定され 始めている。 • 因果推論(Casual Reasoning)が今後のAI 発展の鍵。モデル説明がAI安全の領域。 Asymmetric Shapley values (ASVs) が因果推論に重要。 20 責任を負うAI
- 20.
- 21. 22 秘匿計算、Federated Learning Googleにより2016年に始められたFederated Learningは今、⼤ブーム。OpenMined(Privacy-Preserving ML のOSSスタートアップ）がOSS FLを実装。 JST CREST-AIにも関連テーマあり︓ プライバシー保護データ解析技術の社会実装
- 22. SinGAN: Learning aGenerative Model from a Single Natural Image(SinGAN) は、ICCV2019において、Best Paper Award (Marr Prize)を受賞 23 画像認識
- 23.
- 24. • transformer ⾔語モデルはNLPの新たなユースケースを開拓。 •巨⼤モデルを⼤企業が莫⼤なコストをかけて開発するパワーゲームとなっている。 $1/1000 parameters -> GPT-3の予算は$10M • General Language Understanding Evaluation (GLUE) benchmarkで⼈類がコン ピュータに負けた。Super GLUEもコンピュータが凌駕。 • BERT、NLPの産業応⽤はGoogle Search, Microsoft Bingで顕著。 25 ⾃然⾔語処理
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32. 33 GPT進化の過程 2018 2019 2020 2/2019 SmallGPT-2 6/2018 GPT-1 11/2019 Full GPT-2 5/2020 GPT-3 2/2018 ELMo(Allen AI) 10/2018 BERT(Google) 6/2019 XLNet(Google) 10/2019 T5(Google) 2/2020 Turing-NLG(MS) 100M 1B 10B 100B 110M 1.5B 175B T5:11B NLG:17B 6 GB Book Corpus 40 GB WebText 570 GB Common Crawl 3.14E+23 FLOPS 100 V100 x 3.5y パラメータ数
- 33. 34 GPTのIn-Context Learning p(output | input,task) • “In-context learning”: インプットに加えられたコンテキス トだけでタスクの内容を理解する • コンテキスト①︓タスクの説明⽂ • コンテキスト②︓タスクサンプル • 訓練時: “task” は特に明⽰しない • Input = (token, context) • Context = token直前の複数⽂章, max 2048 tokens • ⽂章区切りに特別tokenを使⽤([SEP]の⽂章版)
- 34. FOMO症候群に なりそう （Cherry Picking だろう説沸騰中） 35 App andlayout tools https://github.com/elyase/awesome-gpt3 Search and data analysis Program generation and analysis Writing full emails from key points Content creation Text generation General reasoning
- 35.
- 36.
- 37.
- 38.
- 39. • AI創薬・医療 • 巨⼤⾔語モデル •計算機資源パワーゲーム。 • AR,VR • Google, Graphcore, and NVIDIA • VUCAへの対応 • 個⼈データの扱い 40 今後のAIを語るキーワード
- 40. 41 Composable Enterprise 6 ReasonsWhy APIs Are Reshaping Your Business
- 41.
- 42. © 2016 NTTDOCOMO, INC. All Rights Reserved. Gartner Hype Cycle for Emerging Technologies, 2020
- 43. 45 https://www.cbinsights.com/research/artificial-intelligence-top-startups/ ヘルスケア ⾦融・保険 建設輸送 ⼩売・倉庫エンタメ公共・都市 教育 製造 ⾷費・農業 エネルギー 通信 不動産 法務 鉱⼭
- 44.
- 45. 基礎研究 応用研究 開発 47 事業化 将来の実社会が克服べき課題 研究動機事業動機 グローバルな技術プール 研究開発エコシステム
- 46. Source: Waymo. Software hardwareIntegration from scratch Scalable Training and Testing Infrastructure With huge amount of Real Data Cyber(AI)-Physical(Simulation by Modeling) Integration Hardware-Backed Advanced AI Technologies (Architecture Search/Transfer Learning) Software Development and Operation 48
- 47.
- 48.
- 49. ダイブなしに浮上なし︕ 51 Time Gain Loss Shallow Dive Deep Dive Failure9/10 Success 1/10（J Curve)
- 50.
- 51.
- 52. • Industry Focus(B2B)の傾向は変わっていない。ただトレンドはある。 • Machine Learning(Zero-Shot, GAN, Federated Learning)が銀の弾丸ではないこと、 PoCの壁が乗り越えられない症候群の淘汰が顕在化。⽣存率１５％。 • 領域︓ヘルスケア、⾦融＆保険、輸送、建設、⼩売&倉庫業、政府・都市計画、法律、 鉱業、⾷品&農業、メディア&娯楽、教育、エネルギー、通信、製造、不動産 • 共通基盤技術(産業横断)︓AIプロセッサー、⾃然⾔語処理＆⾃然⾔語⽣成＆画像認識、 セールス＆CRM、AIモデル開発、DevOps＆モデルモニタリング,サイバーセキュリ ティ、BI&運⽤知能化。 • CB Insightsの評価項⽬︓特許、健全性、ビジネスパートナーシップ、市場規模、競争 関係、企業注⽬度、トレンド 54 AI Startupの傾向
- 53.
- 54.
- 55. • ML(機械学習）は多くの実際の問題解決に無⼒。 • 運⽤・保守。データは常に変化し、ブラックスワン(COVID-19)も出現。 •データ整備への投資が過⼤。 • PoC⽌まり症候群。顧客対応のカスタマイゼーションが⾼負荷。 57 AIスタートアップの何が⾟いか 技術コンサルタントに⾏き着く • ⼤会社の判断遅すぎ。調達先に⼊ るために⾮常に⻑い期間必要。 • SaaSビジネスの⿊字転換
- 56.
- 57. • セキュリティ，コンプライアンス要件の過度な強要，知財保証，納品検査など， リスクを全てスタートアップに押し付ける制度設計。 • ⼤企業内部にもエンジニアリング⼒とスピードが必要。 •技術競争を⾏わないと⽣き残れないと本気で考えているTOPが不在。 • ベンチャーを下請けとせず対等な⽴場、もしくはベンチャーを育てるという意 識を持っているTOPが不在。 • データ収集とシステム開発等のインフラ投資へのROI判断能⼒ 59 ⼤企業側の課題 焼畑農業の被害者化 栄藤稔、 ⽯⼭洸、⻑⾕川順⼀、上原⾼志（２０１７） ベンチャー育成・⾦融連携TF