https://machine-learning15minutes.connpass.com/event/269868/ 第73回 Machine Learning 15minutes! Broadcast IBM AI Foundation Modelsへの取り組み 日本アイ―・ビー・エム株式会社 平山 毅(Tsuyoshi Hirayama)、山口武彦(Takehiko Yamaguchi) の発表資料です。

1. 第73回 Machine Learning 15minutes!
IBM AI Foundation Models への取り組み
—
Tsuyoshi Hirayama (平山毅)
Engineering Manager, IBM Client Engineering, IBM Technology
Takehiko Yamaguchi (山口武彦)
Data Scientist, IBM Client Engineering, IBM Technology

2. 自己紹介（平山毅）
IBM Client Engineering での活動概要
AI Foundation Models とCodeflare
自己紹介（山口武彦）
AI Foundation Models概要
IBMの取り組み：NLP Foundation Modelsと製品群
- NLPタスクにおけるFoundation Model
Foundation Modelsのエンタープライズ活用に向けて
- NLP分野での展望
- NLP以外の分野での展望
- エンタープライズ活用への展望
まとめ
アジェンダ

3. 平山 毅 Tsuyoshi Hirayama
日本アイ・ビー・エム株式会社 テクノロジー事業本部
クライアントエンジニアリング本部
プリンシパルエンジニアリングマネージャー
金融・保険・新規事業開発、３つの部門を担当
IBM Technical Experts Council of Japan Steering Committee Member
東京理科大学理工学部卒業（同学SunSiteユーザーで電子商取引研究）。早稲田大学大学院経営
管理研究科ファイナンス専攻修了（AACSB EQUIS 認定MBA／ブロックチェーンファイナンス
研究）。GMOインターネット、サイバーエージェント、東京証券取引所、野村総合研究所、アマ
ゾンウェブサービスを経て2016年2月日本IBM入社。クラウド事業、Red Hatアライアンス事業、
Data AI事業、ガレージ事業、、立ち上げを経て2021年10月より金融保険チームを率い、2023年
より新規事業開発も兼務。グローバルカンファレンス登壇多数。著作7冊。早稲田大学ビジネス
スクールゲスト講師。事業構想大学院大学ゲスト講師。産業技術大学院大学情報アーキテク
チャー専攻ゲスト講師、神奈川大学工学部電気電子情報工学科特別講義プログラム講師。
第 ３回 Machine Learning 15minutes! IBM Watsonの機械学習サービスとWatson Knowledge Studio-
第11回 Machine Learning 15minutes! Data Science Experience and Watson Machine Learning on Bluemix
第33回 Machine Learning 15minutes! AIバイアスとIBM Watson AI OpenScale & AI faireness 360 の活用
第50回 Machine Learning 15minutes! IBM Watson ML サービス 最新 Update
第56回 Machine Learning 15minutes! IBM Cloud Pak for Data As a Service で始めるAI Laddar スモールスタート
第60回 Machine Learning 15minutes! IBM Data Fabricで実現するアカデミック分析アプローチ
第65回 Machine Learning 15minutes! 業界ごとのデータ分析を支援するIBM IBM Data and AI Acceleratorsのご紹介
に過去登壇
自己紹介(平山毅)

4. Client Engineeringでのメンバーと活動の紹介
https://www.ibm.com/blogs/solutions/jp-ja/category/cocreation/
対談記事化希望者は
平山、まで。
HIRATSU@jp.ibm.com

5. AI Foundation Models と Codeflare
Codeflare
2021年12月には基盤モデルを扱うようにIBMがオー
プンソース化したソフトウェア。分散環境で動作す
るように構成されている。
https://github.com/project-codeflare
AI Foundation Models
様々なAIモデルを派生させて学習する元とすることが
できる大規模なAIモデル。自己教師あり学習と転移学
習を利用して、ある状況について学習した情報を他の
状況に適用することができる。
※ AI Foundation Modelsによって、AIの学習コストとオーバーヘッドが大きく軽減され、
Codeflareによって、マルチクラウド分散コンピューティングにおいての実装が可能になる。
高精度で効率的な学習によって、より複雑な構成でのAI実装が可能に。

6. 自己紹介（山口武彦）
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 6
役割 Advisory Client Engineering Data Scientist, IBM Client Engineering, Technology
氏名 山口 武彦
LinkedIn Profile: https://www.linkedin.com/in/takehiko-yamaguchi-8b01a46/
略歴 1996年～2001年 東京大学卒業後、経済産業省の貿易投資保険事業を支援する団体にて、海外の政治経済などカントリーリスク調査・格付け・経済予測に従事
2002年～2008年 企業就業を挟みつつ、青山学院大学国際ビジネス修士、大阪大学経済学修士、ETH Zurich MSc Quantitative Finance (金融保険数学)を修了
2009年～2010年 国立統計数理研究所にて特任研究員として、薬剤疫学、社会疫学における応用統計プロジェクトに従事
2010年～2013年 大阪大学金融保険教育研究センター、立命館大学総合科学技術研究機構にてリサーチアシスタントとして、JST/CRESTプロジェクト「複雑な
金融商品の数学的構造と無限次元解析」に従事
2013年～2017年 外資製薬会社Biometrics部門におけるSASエンジニア、総合出版企業ECサイトのデータマイニングエンジニアを経て、ネットマーケティング
リサーチ企業、スタートアップ、グローバル食品製造業、外資系総合コンサルファームにおけるデータサイエンティスト、などを経験
2017年～2020年 三菱電機FAシステム事業部門にて、データ分析コンサルティング新規事業の立ち上げ及びハンズオンで分析コンサルチームリード
2020年～2021年 AI戦略コンサルスタートアップにて、主に大手製造業のお客様に対してAI戦略コンサル及びPOCプロジェクトの組成・デリバリーに従事
2021年～現在 日本IBMのテクノロジー事業本部にて、生命保険・損害保険会社様及びクロスインダストリーのData&AI案件にて体験型Presalesに従事
お客様の業務改革や新規ビジネスなどに対して、IBMテクノロジーを用いたPOC実施やMVPの共創と価値検証に従事
参画プロジェクト
(他社での実績も含む)
業界 プロジェクト名 役割
生命保険会社 能動白地顧客の集客コンテンツとして性格診断及び営業職員マッチングのWebアプリ開発（モック） データサイエンティスト
政府系金融・保険IT ヘルプデスク業務（コールセンター、チャットボット、Web）高度化の構想策定、STT利活用デモ データサイエンティスト
ガスメーター製造 組み立て工程データを用いた基準検査工程の良否予測分析 データサイエンティスト
ファスナー製造 画像認識による不良検知の自動化 シニアリサーチャー
製鋼 データサイエンス研修 プロジェクト・マネジャー
自動車 エンジン鋳造の不良予測・要因分析 プロジェクト・マネジャー
資格/知見 • Financial Risk Manager (FRM) Certificate (ID: 40303), Global Association of Risk Professionals (GARP)
• JDLA Deep Learning for GENERAL 2020#2 (ID:6273096722) 及びJDLA Deep Learning for ENGINEER 2021#2 (ID:400117964), JDLA
• 過去10年以上、データサイエンティストとしてビジネス領域及びマニュファクチャリング領域のデータ分析業務や分析コンサルティングPM業務、分析サービ
ス事業立ち上げ、などに従事
• Python、R、Hadoop/Spark などOSSを用いたデータ分析業務を多く経験、SAS、SPSS、QlikView、Tableauなど商用データ分析S/Wも幅広い経験を有す
• IBM製品では、分析基盤のCP4D、非構造化データ（テキスト、音声、画像）向け各種Watson製品、Palantir for CP4D、SPSS Modeler、などカバー
• IBMでは、生保・損保の営業、事務、マーケティング、コールセンター等の業務領域におけるDX課題に取り組み、専門家Squadチームをリード

7. AI Foundation Model概要
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 7
エキスパートシステム
人の手によるシンボリック
データ
機械学習
特定のタスク用に人手で
つけられた特徴量表現
深層学習
特定のタスク用に学習
された特徴量表現
1980s 1980s to ~2010
ビッグデータ 大量のラベル付きデータ
+
計算機パワー
Foundation Models
(基盤モデル)
一般化 & 適応可能な
学習された表現
大規模な自己教師あり学習
+
大量のラベル無しデータ
+
計算機パワー
2017+
推論エンジン
AIの歴史はデータ表現の歴史
投影のみ

8. Foundation models(基盤モデル):
一般化かつ様々なタスクに適応可能
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 8
Self-supervised
training
特定のタスク向
けに追加学習
Foundation model
翻訳モデル
文章要約モデル
質問応答モデル
+
自己教師あり学習
Foundation model
(基盤モデル)
投影のみ

9. Foundation models(基盤モデル):
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 9
自動翻訳向
け
学習データ
自動翻訳モデル
従来の機械学習によるAI開発
文書分類向
け
学習データ
文書分類モデル
要約生成向
け
学習データ
要約生成モデル
ファウンデーション・モデルによるAI開発
大量の
文書
データ
ファウン
デーション
･
モデル
自動翻訳向
け
学習データ
自動翻訳モデ
ル
文書分類向
け
学習データ
文書分類モデ
ル
要約生成向
け
学習データ
要約生成モデ
ル
…
…
…
…
自己教師
あり学習
１つの巨大なファウンデーション・モデルを作成し、用途別に少量
（従来の1/10~1/100）のデータでファイン・チューニング
用途毎にモデルを作成
投影のみ

10. IBMの取り組み：NLP Foundation Modelsと製品群
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 10
– Foundation Model自体がNLP分野から出てきたこともあり、IBMでのFoundation Model活用もNLP分野
で先んじて製品への組み込みが進んできた
– 2020年6月、Watson Discoveryのテキスト分類に使われたのが最初
– 現在、以下のNLP分野の製品のいろいろなNLPタスクに使われている：
– IBM Watson Assistant
– IBM Watson NLP for Embeddable AI (embeddable library)
– IBM Watson NLP in Watson Studio (SaaS and Cloud Pak)
– IBM Watson Natural Language Understanding API (SaaS)
– IBM Watson Discovery (SaaS and Cloud Pak)
– IBM Robotic Process Automation (SaaS and Cloud Pak)
Watson Discovery
Answer Finding API
質問に対する回答をピンポ
イントで検索する機能
1. ユーザーが自然言語で質問を入力
2. 文書群から文書を検索
3. 回答を含むパッセージ（文節）を検索
4. [新規部分] パッセージの中から、さら
に回答の箇所を検索
パッセージ
回答
1 3
© 2 0 2 2 I BM Corp oration

11. NLPタスクにおけるFoundation Model
• モデルの変遷 – パラメータ数が膨大に
• BERT (2018, Google, 110M/340M)、RoBERTa (2020, Facebook, 250M/560M)、T5 (2020, Google, 60M-
11B)、GPT-3 (2020, OpenAI, 175B)、ChatGPT (2022, OpenAI, ?)、BLOOM (2022, 176B)
• NLPタスク（エンティティ抽出、センチメント分類、テキスト分類、関係抽出、テキスト生成など）
• 自己教師あり学習でFoundation Modelを開発
• 下流NLPタスクへラベル付きデータでファインチューニング
• プロンプトエンジニアリング
(1) Few-shot prompt engineering
(2) Zero-shot prompt engineering
• 推論
• ChatBot GPTについて
• エンタープライズ向けConversational AIプラットフォームとしてデザインされていない
• GPTオンリーのアプローチでは、正確性、会話能力 (逸脱、明確化など)、ドメイン適応などで課題
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 11

12. Foundation Modelsのエンタープライズ活用に向けて
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 12
– FMの利点
– コスト軽減（学習データ収集やラベリングに
かかる労力や先行投資を軽減できる）
– 価値実現までの時間短縮（同じFMから複数
のユースケース向け下流アプリをより少いデ
ータで開発可能）
– 精度の向上（AIの歴史の変曲点としても考え
られるほど）
– FMの短所
– FMのスクラッチ開発には、大量のラベル無
しデータと計算資源が必要
– ただし、FM開発・運用のS/W環境は急
速に成熟しつつある
– モデルのサイズが大きいので、推論は従来モ
デルに比べ高コストになる
– エンタープライズ利用に向けた考え方の整理
– インフラ・コスト的に
– パラメータ数1Bのモデルに対し、100Bのモデ
ルは大雑把に100倍のストレージや計算能力が
必要
– パラメータ数10-20Bなら単一ノードのメモリー
に乗るが、100+Bのモデルはカスタムしたプラ
ットフォームが必要となり、コストがかかる
– 結果品質的に
– パラメータ数10Bを超えるサイズのモデルでは
、結果品質のゲインがコスパ的に釣り合わなく
なってくる
– 多くの実用的な目的では、10B程度のモデルが
コスパ的にベストであり続けるのではないか
– 100+B規模のモデルは、特定用途向けの特注品
など限られたユースケース向けか

13. NLP分野での展望
• Foundation Modelsの製品への活用の拡大を継続
• 現在製品に組み入れいてるモデルよりもモデルのサイズを拡大
• マルチリンガル対応を拡大
• ファイン・チューニングの機能強化
• 自己教師あり学習に使う大量のインターネットデータから受ける悪影響を軽減する
• コーパスの品質管理
• バイアス、ヘイトスピーチを回避
• Trustworthy AIへの積極投資
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 13

14. NLP以外の分野での展望
• AI for Code (IT Automation)
• 2022年、Project Wisdom for Red Hatを発表（https://research.ibm.com/blog/ai-for-code-project-wisdom-
red-hat）
• コード生成（特にAnsible）向けのFMを用いて、誰でもAnsible PlaybookをAIによるリコメンデーショ
ンで容易に書けるように
• 様々なデータモーダリティへの応用
• カスタマーケア
• 金融時系列
• イメージ生成
• 文書理解（OCR、手書き文字認識など）
• NorBERT（ネットワーク監視）
• MolFormer（化学応用）
• 合成データ生成
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 14
巨大言語モデルによる顧客対応（Customer Care）
© 2022 I BM Corporation
既存のコーパス(ヘルプページ)… …質問応答モデルを訓練する
のに利用する
自然言語処理用に事前
に作られた基盤モデル
ラベル付きデータで
ファインチューニングする
17
モデルはチャットエージェントに埋め込まれ、高
い精度で顧客に回答を提供する
agent: How can I help you today?
user: Well I am having trouble with my mac, and I
need to repair it. How do I go about doing that?
agent: You can start by checking your AppleCare
coverage. I f your device has coverage, you can
contact Apple and set up a repair. I f your device
doesn't have coverage, you can contact support and
request a replacem ent from Devices@ I BM.
user: how do I check if I have coverage?
agent: You can check your coverage by navigating to
Check Coverage on Apple's website, then entering
your device's serial number to check your coverage.
user: ok, and where do I find my device’
s serial
number?
agent: You can find your device’
s serial number by
referring to Find the serial number of your Apple
product on Apple Support, then clicking the type of
device you have and following the directions.
user: excellent. I t seems like I do have coverage. So
what next?
agent: I f you have coverage, you can contact Apple
and set up a repair. For your country’
s Apple support
phone num ber, refer to Hardware Support for Apple
Devices: Repair and Replacement. I dentify yourself as
an I BM employee to get the best warranty service.
user: Ok. out of curiosity, is there any special coverage
we have on these IBM devices?
agent: Yes. IBM-owned Apple devices in some
countries include AppleCare, w hich extends the
coverage for Macs to three years and for iPhones and
iPads to tw o years.
user: Ok. The problem is that my laptop’
s screen is
cracked -I accidentally dropped it.
agent: I f your device has accidental damage, you can
request a replacem ent device. For instructions, refer
to Request a Device.
user : wait -so for a screen that is cracked, do I go
through Apple Care or do I go directly and request a
replacement device?
agent: For a screen that is cracked, you would request
a replacement device.
user: I see. thank you so much!!!
agent: You're welcom e!
基盤モデルはデータから化学に関する“言語”を学び，多数の“発見” を加
速することができる
大規模な化学
データ集合:
例: GDB-17 (166B),
ZINC-15 (200M),
ChEMBL, PubChem,
USPTO
Retrosynthesis
Product prediction
Generation
Inverse design
Property prediction
Virtual screening
分子
言語表現
(例: SMILES)
化学空間で
の新しい分子
MolFormer は分子
の潜在空間を学習
する
例えば，モデルは原子価
や環構造，結合位置など
を含むデータから基礎化
学を学ぶ
SMI LES
分子生成:
• 水溶性?
• 代謝的安定性?
• 毒性?
属性:
分子
Generation
Property prediction
分子
IBM Research, Accelerating Antimicrobial Discovery with Controllable Deep Generative Models and Molecular Dynamics. Nature Biomed. Eng. 2021.
IBM Research, Augmenting Molecular Deep Generative Models with Topological Data Analysis Representations. ICASSP May 2022.
IBM Research, CogMol: Target-Specific and Selective Drug Design for COVI D-19 Using Deep Generative Models. NeurIPS, Dec. 2020.
IBM Research, Sample-Efficient Generation of Novel Photo-acid Generator Molecules using a Deep Generative Model. NeurIPS, Deep GenerativeModelsand Downstream Applications, 2021.
属性予測
仮想スクリーニング
生成
逆合成
生成物予測
逆分子設計

15. エンタープライズ活用への展望
• Foundation Modelsは、エンタープライズAIのあり方を変える
• 高品質の特定用途向けモデルをAPIとして提供したり、データからインサイトを抽出したり、など
• エンタープライズ活用を促進するために
• Foundation Modelのワークロードを受け入れられるように、インフラやハイブリッド・クラウド・プラットフォームを改
善
• Foundation Model AIのためのRed Hat Openshiftベースのフルスタック環境を開発中（
https://research.ibm.com/blog/full-stack-foundation-models）
• お客様専用のAI Foundation Model環境の構築
• CodeFlare – 基盤モデルの転移学習を大幅に自動化（ https://www.ibm.com/blogs/think/jp-ja/codeflare-greatly-
automates-transfer-learning-of-underlying-models/）
• お客様やパートナーによる Foundation Model AIのS/W製品やSaaSへの利用促進
• 大規模化よりは特定用途向け開発により注力
• お客様のDXイニシアチブを加速させる
• お客様ご自身のデータを活用したFoundation Modelsの活用をご支援
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 15

16. まとめ
Group Name / DOC ID / Month XX, 2022 / © 2022 IBM Corporation 16
– Foundation Models の成功例は，自然言語処理にとどまらず，他の分野にも広がり始めています。
– IBMでは，お客様ご自身のデータで，お客様専用のFoundation Modelsの構築，具体的なビジネス価値
を生む下流タスクに向けての追加学習，学習済みのモデルの利用までを行うサポートのご提供も準備
しています。
– また，これらをすべてクラウドサービスとして実現することを目指しています。
– IBMは，お客様とのco-creationを通じて，Foundation Modelsのさらなる活用を目指していきます。