Azure OpenAI for Java

1. Azure OpenAI を利用した
Java 開発の最新情報
Sr. Cloud Advocate
Yoshio Terada

2. 自己紹介 from Bing Chat

3. 本日のアジェンダ
1. Chat GPT 利用のおすすめ
2. GitHub Copilot の紹介
3. GitHub Copilot Chat の紹介
4. Azure OpenAI について
5. Azure OpenAI の利用方法
6. Azure OpenAI の利用シーン
7. Azure OpenAIを活用した開発
8. Azure OpenAI Java SDK の紹介

4. 日常生活から業務まで
使ってみましょう Chat GPT !!
24 時間 365 日、常に寄り添う事のできる強い味方

5. 文章生成系
分類系
従来からのタスクは精度が向上し、新たに文脈理解・文章生成系タスクができるようになった
要約
小学生にも分かるように
300文字程度で要約して
感情分析
喜び/怒り/悲しみの感情を
0~5で表現して
エンティティ分析
場所/人物名/組織名を
抽出して
キーフレーズ抽出
次の文章の重要なフレーズを
抽出して
インサイト抽出
次のレビューから商品の
改善点を考えて
校正
誤字/脱字/タイプミスを
見つけて
添削/評価
〇〇の基準で10点満点で
評価して
翻訳
次の文章をフォーマルな
日本語に翻訳して
問題作成
次の文章から4択問題を
作成して
コード作成
OpenAIのAPIを実行する
コードを書いて
アイデア創出
人気の出るブログの
内容案を提案して
記述アシスタント
このメールの日程調整をする
メールを書いて
情報検索
WEBアプリの要件定義に
ついて教えて
情報抽出系
文脈理解系
チェック系
翻訳系
従来からできるタスク
新しくできるタスク
テキスト分類
次のニュース記事の
カテゴリを教えて
思考の壁打ち
〇〇という考えで抜けている
点を指摘して

6. Bing Chat や ChatGPT は
24 時間 365日怒らずに
常に皆様に寄り添います
❤️
今日だけ Chat GPT-4
をお試し頂けます

7. 日本 の 首都 は
GPT
東京
入力されたテキストからし、最も確率の高いと推論される次の文字列を生成
95
12.5
6.8
0.1
0 50 100
東京
京都
奈良
…
次の単語の出現率(%)
※ 説明のための、かなり抽象化した表現です。実際の処理とは異なります
事実関係でなく出現確率である点に注意

8. GitHub Copilot
• AI を利用してコードの自動生成を行うツール
コードの一部を書くと、残りの部分を提案
• GitHub 上の数億行のコードから学習
様々な言語やフレームワークに対応
• テストやドキュメントも生成も可能
コードの品質や可読性を向上可能
• ユーザーのコードを学習
提案されたコードを受け入れたり、修正したりすることで、
より良いコードを生成するようになります。

9. GitHub Copilot X(Chat)
• 開発課題に特化した ChatGTP
• 例外が発生したら聞く(ググれ→Chat で聞く)
• どうすれば修正できるか聞く
• コード内のバグ探し
• コードの最適化
• サンプル・コードの作成（小規模〜）
• 開発画面から出ないので集中力が途切れない
• Visual Studio Code – Insiders で利用可能

10. Azure OpenAI

11. Microsoft Cloud
と AI の信頼性
お客様のデータはお客様のもの
データは高度なエンタープライズ
コンプライアンス、セキュリティ制御によって
保護されます
お客様のデータはAIモデルのトレーニングに
利用しません
お客様管理の鍵で暗号化
VNET、RBAC
Soc2, ISO, HIPPA, CSA STAR コンプライアンス

12. 機械学習プラットフォーム
カスタマイズ可能なAIモデル
Cognitive Services
シナリオベースのサービス
Applied AI Services
アプリケーション
プラットフォーム
AI Builder
オフィスワーカー向け
アプリケーション Partner Solutions
Power BI Power Apps Power Automate Power Virtual Agents
Azure Machine Learning
Vision Speech Language Decision
Azure OpenAI
Service
Immersive Reader
Form Recognizer
Bot Service Video Indexer Metrics Advisor
Cognitive Search
開発者&
データサイエ
ンティスト
ビジネス
ユーザー
Azure Machine Learning

13. Speech API と OpenAI を使用したコールセンター会話記録分析
コールセンター
担当
お客様対応
お客様
問い合わせ
会話記録 Azure
Storage
Azure Cognitive Services –
Speech & OpenAI
インテリジェントな文字起こし
Speech-to-Text Azure OpenAI
Service
会話の傾向
&インサイト
Power BI Insights
(ほぼリアルタイム)
音声
ファイル
概要、通話理由などを含む
詳細な通話履歴
CRM
通話記録から豊富な分析情報を抽出する

14. Power BI
Web
アプリケーション
Cosmos DB
PDF OCR
パイプライン
Azure Cognitive
Search
Azure OpenAI
Service
Azure Forms
Recognizer
ドキュメント
ドキュメント検索/プロセスの自動化
手書き文字や紙資料などの非構造化データから
豊富な洞察を抽出し、要約する

15. AzureOpenAI
GitHub Copilot

16. https://platform.openai.com/docs/libraries

17. https://learn.microsoft.com/azure/cognitive-services/openai/

18. https://qiita.com/yoshioterada/items/2a4cc2c9995254560fce

19. https://qiita.com/yoshioterada/items/3e575828368bf3767532

20. 文字を多次元配列（ベクトル）に変換する

21. 多次元配列（ベクトル）を計算し類似テキストを検索
（コサイン類似度など）

22. ２つの計算の結果1 は全く同じ
（1に近い値が類似しているテキスト）

23. SELECT filename,pageNumber
FROM VECTOR_TABLE ORDER BY embedding <-> ‘[ARRAY]' LIMIT 5 ;
PostgreSQLの pgvector に対するクエリの例

24. 社内ドキュメントを Embedding で検索
ドキュメントからベクトル生成 入力内容をベクトル化し検索
検索結果を要約し返却
https://qiita.com/yoshioterada/items/fddbc738cca9f24dac8b

25. 動画からテキスト（翻訳、要約まで）
Azure OpenAI
Speech-to-Text
データ・ソース コントローラ

26. 次のバージョンから利用可能 (1.0.0-beta4)
現時点で未対応

27. https://github.com/microsoft/semantic-kernel

28. AI を利用した Java 開発の最新情報
Sr. Cloud Advocate
Yoshio Terada

29. © 2018 Microsoft Corporation. All rights reserved.
© 2020 Microsoft Corporation. All rights reserved.
本情報の内容 (添付文書、リンク先などを含む) は、公開日時点のものであり、予告なく変更される場合があります。
本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。