第2回 GPT / ジェネレーティブAI 勉強会 ChatGPTのビジネス活用とセキュリティ 増渕大輔

1. ChatGPTの
ビジネス活⽤とセキュリティ
第2回 GPT / ジェネレーティブAI 勉強会
増渕⼤輔
（元！）Microsoft Xbox チーム所属
3PP向けクラウドソリューション

2. ⾃⼰紹介 増渕⼤輔
• 所属
• 12年 IBM
• 13年 マイクロソフト
• 今⽉退社予定
• 直近までは、Xboxチーム に所属。
• 3PP向け技術⽀援担当
• Azure for Gaming
• PlayFab
• パラレルキャリア
• 株式会社ノビシロ
• ジーズアカデミー
• ムーンショットプロジェクト
• メディカルギーク
• その他、フリーのコンサル
5⽉までマイクロソフトに所属しています
発表内容は報告者個⼈の⾒解に基づくものであり、
組織（マイクロソフト）の公式⾒解ではありません

3. ChatGPT、拡がる期待値
検索・提案の
インター
フェース
製品・サービス
に関するマニュ
アルサポートの
問い合わせ対応
がチャット化
法律・医学・
会計など専⾨
知識のアドバ
イザ
英語の先⽣の
代わり
カウンセリン
グサービス
コミュニケー
ションの練習や
を⾼めるための
カウンセリング
創作、開発補
助サービス
記事の
執筆補助
イラスト・デ
ザインの開発
SNSやアン
ケートなどの
評判サマライ
ズ
マッチングサ
イトにおける
提案
ゲームキャラ
クターへの組
み込み
企業キャラク
ターづくり
⾃動翻訳サー
ビス
ビジネスにお
ける報告書作
成
ソフトウェア
のバグ報告の
⾃動解析
広告コピー
の⽣成
レシピの
提案
旅⾏プラ
ンの提案
⾳楽の歌
詞⽣成
映画の脚
本作成
電⼦書籍の
⾃動要約
⾃動ニュー
ス記事⽣成
ポッドキャス
トのトランス
クリプション
FAQの⾃
動⽣成 オンライン掲
⽰板のモデ
レーション
詩の作成
スケジュー
ル管理アシ
スタント
メールの
⾃動返信
イベント企
画のアイデ
ア提案
ウェブサイ
トのコンテ
ンツ最適化
ソーシャメ
ディア投稿
の⽣成
商品説明
⽂の作成
オンラインコ
ミュニティの
会話促進
データ分析
の⾃然⾔語
解説
⾃動インタ
ビュー⽣成
オンライン
デートの会話
アシスタント
仮想アシス
タントの応
答改善
ユーザーレ
ビューの⾃
動⽣成
プログラミ
ングの質問
解決
ショッピン
グアシスタ
ント
オンライン教
育のチュータ
リング
インター
ネットスラ
ングの解析
コンピュー
ターセキュリ
ティの脅威分
析
企業内情報共
有プラット
フォームの⾃
然⾔語検索
マーケティ
ング戦略の
最適化提案
リアルタイ
ムの⾔語学
習サポート
⾃動プレゼ
ンテーショ
ン資料作成
⾳声合成によ
るオーディオ
ブック⽣成
感情分析を利
⽤したカスタ
マーサポート
改善

4. 個⼈で気をつけるセキュリティ
企業や組織で守りたいデータで、

5. チャット履歴の削除機能の追加
• New ways to manage your data in ChatGPT (openai.com)
1.チャット履歴オフ機能
2.モデル訓練・改善への影響なし
3.Settingsの設定で簡単に変更
4.会話保持期間：30⽇
5.不正使⽤を監視されてから削除
When chat history is disabled, we will retain new conversations
for 30 days and review them only when needed to monitor for
abuse, before permanently deleting.

6. 本資料における「ビジネス利⽤」とは・・・︖
企業や組織で守りたいデータで、

7. ChatGPT のセキュリティ、気になるポイント
• 投⼊するデータの⼆次利⽤
• ブラウザからの⼊⼒は、学習データとして利⽤されることがある
• APIで使う場合、投⼊データは⼆次利⽤されない
• OpenAI.com, Azure OpenAI Services ともに守られる
• 新機能
• ChatGPTに｢会話を学習させない｣モードが追加
• その他のセキュリティリスク
• 偽情報や差別的な⾔葉の⽣成リスク。
• APIでアプリを開発する際には要注意
• プロンプトインジェクション。
• API開発の際は、フィルタリングなどの仕組みが必要

8. ChatGPT を⽤いた開発
UI APPL
無印ChatGPT
ブラウザ利⽤
ネット上学習
した知識
社内アセット

9. インフラ選定
無印ChatGPT
ブラウザ利⽤
OSS API
＋
独⾃ホスティング
（野良PC）
Azure OpenAI
Services
無印OpenAIの
API Subscription
ホスティング Azure resource
ホスティング

10. gpt4all
• ⾼性能なチャットボットの多くは、オンラインで使う必要があるか、⾼性能な
PCを必要とする。対して、Nomic AIは、低スペックのPCでも動作するように
最適化されたgpt4allを作りました。
• 4ビットに量⼦化されたモデルを使⽤
することで、メモリ使⽤量や推論時間
を⼤幅に削減
• ユーザーのPC上でローカルに動作する
ため、インターネット接続やAPIキー
などが不要
• モデルのサイズやパラメータ数は⼩さ
いため、⼤規模なモデルに⽐べて精度
や多様性に劣る
• 英語

11. Alternatives
• ChatGPT is GPT-3.5 finetuned with RLHF
(Reinforcement Learning with Human
Feedback) for human instruction and chat.
チャットのために RLHF (⼈間によるフィー
ドバックによる強化学習) で微調整
• Alternatives: Projects featuring different
instruct finetuned language models for chat.
チャット⽤に細かく調整された⾔語モデル
を搭載した別のプロジェクト
• https://github.com/nichtdax/awesome
-totally-open-chatgpt
1.The list
1. lucidrains/PaLM-rlhf-pytorch
2. togethercomputer/OpenChatKit
3. oobabooga/text-generation-webui
4. KoboldAI/KoboldAI-Client
5. LAION-AI/Open-Assistant
6. tatsu-lab/stanford_alpaca
1. Other LLaMA-derived projects
7. BlinkDL/ChatRWKV
8. THUDM/ChatGLM-6B
9. bigscience-workshop/xmtf
10.carperai/trlx
11.databrickslabs/dolly
12.LianjiaTech/BELLE
13.ethanyanjiali/minChatGPT
14.cerebras/Cerebras-GPT
15.TavernAI/TavernAI
16.Cohee1207/SillyTavern
17.h2oai/h2ogpt
18.mlc-ai/web-llm
19.Stability-AI/StableLM
20.clue-ai/ChatYuan
21.OpenLMLab/MOSS

12. Azure OpenAI Services
• 特徴
• OpenAI の強⼒な⾔語モデルを Azure で提供
• ユーザーの Subscription 内にリソースとして、作成する
• セキュリティの担保がしやすい
• ネットワーク
• 認証・認可
• 契約・コンプライアンス・原則
• なぜマイクロソフトなのか︖
• OpenAI とのアライアンス
• 2社でAPI を共同開発し、互換性を確保し、⼀⽅から他⽅への移⾏を保証

13. ⼈⼯⼀般知能（AGI）が⼈
類に利益をもたらすように
する
地球上のすべての⼈と組織
がより多くのことを達成で
きるようにする
GPT-3/3.5
Text
ChatGPT/GPT-4
Conversation
Codex
Code
DALL·E 2
Images

14. OpenAIと
Microsoftの関係性
• 2019年からパートナーシップ締結
• AI技術の開発で協⼒関係
• GPT-3を含むAIモデルは、様々な
マイクロソフト製品に活⽤される
• OpenAIは、Azure データセンター
を使って開発・運営されている

15. Microsoft and OpenAI extend partnership
（Microsoft社のブログ等、より抜粋）
⼤規模なスーパーコンピューティング
– マイクロソフトは、OpenAI の画期的な独⾃の AI 研究を加速さ
せる専⽤スーパーコンピューティングシステムの開発と展開への
投資を拡⼤します。また、今後も Azure の先進的な AI インフラの
構築を継続し、お客様が AI アプリケーションを世界規模で構築し
展開できるよう⽀援していきます。
AI を活⽤した新たな体験
– マイクロソフトは、OpenAI のモデルを当社のコンシューマー製
品とエンタープライズ製品に展開し、OpenAI のテクノロジをベー
スとした新たなカテゴリーのデジタル体験を⽤意します。その中
には、マイクロソフトの Azure OpenAI Service も含まれています。
これによって開発者は、Azure の信頼できるエンタープライズレベ
ルの機能と AI に最適化されたインフラやツールに⽀えられた
OpenAI モデルに直接アクセスし、最先端の AI アプリケーション
が構築できるようになります。
独占的クラウドプロバイダー
– Azure は、OpenAI の独占的クラウドプロバイダーとして、研究
や製品、API サービスなど、OpenAI のすべてのワークロードを⽀
えます。
https://fourweekmba.com/openai-microsoft/

17. OpenAIの機能をマイクロソフト製品で使う
Microsoft Teams Viva Sales Insights Power BI
Microsoft Word Microsoft Excel Microsoft PowerPoint
Microsoft Outlook
Microsoft Dynamics
Bing
Microsoft Azure
オフィスワーカー 開発者・IT技術者
Open AIモデル
を独⾃
ホスティング

18. チャットだけじゃない。Generative AI
Prompt:
Write a tagline for an ice
cream shop.
Response:
We serve up smiles with every
scoop!
Prompt:
Table customers, columns =
[CustomerId, FirstName,
LastName, Company, Address,
City, State, Country,
PostalCode]
Create a SQL query for all
customers in Texas named Jane
query =
Response:
SELECT *
FROM customers
WHERE State = 'TX' AND
FirstName = 'Jane'
Prompt: A white Siamese cat
Response:
GPT-3 Codex DALL·E
GPT-3はテキスト補完⽤
⾃然⾔語を理解し、⽣成する
ことができるモデルの集合体
Codexは、⾃然⾔語とコードの翻訳
コードを理解し⽣成することができる
GPT-3の派⽣（⼦孫）
⾃然⾔語とコードの両⽅をトレーニング
DALL-Eは、⾃然⾔語から画像を
⽣成できるモデルのセット

19. Codex

22. Azure OpenAIを使ったカスタムChatGPT
https://medium.com/microsoftazure/custom-chatgpt-with-azure-openai-9bee437ef733

29. ChatGPT vs GPT-3
どちらも⾃然⾔語を理解するモデルではありますが・・・・・
GPT-3は汎⽤的な⾔語モデル
ChatGPTは対話専⽤の⾔語モデル

30. Azure OpenAI｜トップ4の機能とユースケース
コールセンター・アナリティク
ス： カスタマーサポートの会話
ログのサマリー
テレメトリーデータの自然言語
からSQLへの変換（またはその
逆
主題専門家による文書要約（財
務報告、アナリスト記事など）
自然言語から独自のデータモデ
ルへのクエリへの変換
コード・ドキュメンテーション
特定の製品・サービスに関する
レビューを検索する
ソーシャルメディアトレンドの
まとめ
情報発見と知識マイニング
エンド・ツー・エンドのコールセンター分析： 分類、センチメント、エンティティ抽出、サマリゼーション、メール生成
顧客360：顧客からの問い合わせや傾向をタイムリーにまとめ、検索し、コンテンツ生成することでハイパーパーソナライゼーションを実現する。
コールセンター・アナリティク
ス： 顧客からの問い合わせに対
する回答を自動生成
ウェブサイト用のパーソナライ
ズされたUIを生成する
ビジネスプロセスの自動化： 構造化・非構造化ドキュメントの検索、データモデルへのクエリコードの生成、コンテンツ生成

32. Azure OpenAIで構造化データをクエリする
https://medium.com/microsoftazure/querying-structured-data-with-azure-openai-e59ee43867e5

33. Azure OpenAIで構造化データをクエリする
https://medium.com/microsoftazure/querying-structured-data-with-azure-openai-e59ee43867e5

35. 個別組織へのカスタマイズとセキュリティ

36. Azure OpenAI データ、プライバシー、セキュリティ
https://learn.microsoft.com/legal/cognitive-services/openai/data-privacy
For Enterprise
Opt-out 申請ページ
※Microsoft アカウントチームと連携する
マネージドのお客様とパートナー様のみ
※お客様から提供されたトレーニング データは、お客様のモデルをファインチューニングするためにのみ使
⽤され、Microsoft が Microsoft のモデルをトレーニングまたは改善するために使⽤することはありません。
不正使⽤の監視 and/or コンテンツフィルタ
※プロンプトや補完がモデルに保存されることはなく、プロンプ
トや補完がモデルのトレーニング、再トレーニング、または改善
に使⽤されることもありません。

37. https://learn.microsoft.com/ja-jp/azure/cognitive-services/cognitive-services-virtual-networks

38. Azure OpenAIの⽴ち位置・価値（増渕の理解）
OpenAI
Studio
Cognitive
Services
Network
Identity
（AD）
規約
契約
LLM
モデル
生成系AI
ビジネス
利用基盤
＋ ＋ ＝
無印
OpenAI
Microsoft
技術⼒
カスタマイズ性
Microsoft
セキュリティ
Azure
OpenAI
その他
Azure機能
Office
Windows
Community
＋
Microsoft
エコシステム
SQL Server
GitHub

39. 202304 Azure OpenAI Developers Seminar より引⽤

40. 202304 Azure OpenAI Developers Seminar より引⽤

41. おまけ︓ Semantic Kernel
Semantic Kernel（SK）
AI⼤規模⾔語モデル（LLM）を従来のプログラミング⾔語と統合できる軽量SDK
SKは、プロンプトテンプレート、関数チェーン、ベクトル化されたメモリ、インテリジェントプラ
ンニング機能をサポート
プロジェクトは初期のアルファ版であり、GitHub DiscussionsやGitHub Issuesを使⽤してコミュニ
ティと共同開発していくことが期待されています。

42. 公式ブログ
https://devblogs.microsoft.com/semantic-kernel/hello-world/
⽇本マイクロソフト社員のQiita説明
https://qiita.com/nohanaga/items/430b59209b02c298ef2aあ
Youtube
(4) Azure OpenAI Developers セミナー ‒ YouTube

43. まとめ
• セキュリティの分類
→ ブラウザ、API利⽤、野良PC上のホステッドアプリ、Azure上の利⽤などの違い
• Azure OpenAI Services の理解
• モデルのファインチューニング
• チャット（ChatGPT）
• プロンプト
• オンラインバッチ処理向けのシナリオ（GPT-3プレイグラウンド）
• セキュリティ
• Azure AD
• ネットワーク
• シナリオ
• ドキュメントオートメーション
• コールセンター
• 公式・⽇本マイクロソフトのリソース
• Microsoft Build をチェック