SlideShare a Scribd company logo
1 of 11
Download to read offline
生成系AIの
センテンスジェネレーションを
業務効率化の実現手段として
検討した経緯をご紹介
SBS情報システム
公共事業本部
土屋明生
2つの取り組み
1つ目:(今回の話題)
業務ドキュメント検索システムの取り組み
・目的:部署全体の工数削減
2つ目:(今回は未記載)
類似画像グルーピングシステム(仮称)の取り組み
・似通った画像の類似度を計算しグルーピングする
⇒ CNNとDNNを両方試したが、何故か成果が出せない
マニュアル
データファイル
(WORD等)
各お客様との
対応履歴
マニュアル
データファイル
(WORD等)
各お客様との
対応履歴
こんなことはありませんか?
システムAの
エキスパート
システムBの
エキスパート
受付担当者
システムCとDのエキスパートは、
お客様002に出向き打合せ中
お客様001から
システムAと
システムCの
緊急問合せを受付
スライド1
現時点の社内リソース
マニュアル
データファイル
(WORD等)
各お客様との対応履歴
こんなことできたらいいな
受付担当者
各エキスパートは専門業務
に専任出来る
・お客様との打合せ
・システム開発
・ドキュメント更新
お客様001からシステムAと
システムCの緊急問合せ
マニュアル
データファイル
(WORD等)
各お客様との対応履歴
全システムの情報
スライド2
最初に試した大雑把なフロー
マニュアル
データファイル
(WORD等)
TEXT
抽出
OCR
TEXT
Cleaning TEXT Files 大雑把な
要約 text
Vector
Store
作成API
平文のドキュメント
(idは一つ)
LLM
OpenAI
API利用
スライド3
初期スクラッチのエッセンス
import openai
# OpenAI APIキーを設定----------------------------------------------
openai.api_key = 'sk-*********************'
# ドキュメントの登録関数--------------------------------------------
def upload_document(file_path):
with open(file_path, 'rb') as file:
response = openai.File.create(file=file)
document_id = response['id']
return document_id
# ドキュメントの検索関数--------------------------------------------
def search_document(query, documents):
response = openai.Answer.create(
search_model="davinci",
model="davinci",
question=query,
documents=documents,
examples_context=query
)
return response['answers'][0]['document']
# ドキュメントのファイルパス----------------------------------------
document_path = '*************************/document.txt'
# ドキュメントを登録する----------------------------------
document_id = upload_document(document_path)
# 検索するクエリ(質問)を定義--------------------------------------
search_query = '「XXXをoooしたいが、どうしたらよいでしょうか?」'
# ドキュメントを検索する--------------------------------------------
search_result = search_document(search_query, [document_id])
# 検索結果を出力する------------------------------------------------
print(search_result)
最初スクラッチで記述したソースの抜粋
まともには、動きませんでした。
スライド4
平文のドキュメント
(idは一つ)
変更後の大雑把なフロー
マニュアル
データファイル
(WORD等)
TEXT
抽出
OCR
TEXT
Cleaning TEXT Files 大雑把な
要約 text
登録textの
最適化処理
Vector
Store
作成API
Vector Store
最適化された
登録ドキュメント
LLM
OpenAI
API利用
スライド5
変更したスクラッチのエッセンス
import openai
# OpenAI APIの設定--------------------------------------------------
openai.api_key = 'sk-*********************'
# ドキュメントの登録------------------------------------------------
def register_documents(documents):
examples = []
for doc in documents:
examples.append({'document': doc['content'], 'metadata': doc['id']})
openai.Answer.create(
search_model="davinci",
examples=examples,
documents=documents
)
# ドキュメントの検索と回答------------------------------------------
def search_documents(query, documents):
search_results = openai.Search.create(
search_model="davinci",
query=query
)
top_result = search_results['data'][0]['document']
answer = ""
for doc in documents:
if doc['id'] == top_result['metadata']:
answer = doc['content']
break
return answer
# ドキュメントを最適化して登録する(簡易的なVector Store)----------
documents = [
{'id': 'doc1', 'content': 'これはドキュメント1です。'},
{'id': 'doc2', 'content': 'これはドキュメント2です。'},
{'id': 'doc3', 'content': 'これはドキュメント3です。'},
]
register_documents(documents)
# 質問文------------------------------------------------------------
query = "ドキュメント2について教えて。"
# ドキュメントを検索する--------------------------------------------
answer = search_documents(query, documents)
# 回答を表示する----------------------------------------------------
print(answer)
・ドキュメント登録時にカテゴリ分けして、
最適化したテキストデータ登録を行う。
・登録内容を意識した質問文を作成すると、
回答が得られた。
メリット :僅かながら改善がみられる
デメリット:データ作成に手間がかかる
※:データ登録数が一定程度ないと
回答が行われない
大雑把な
要約 text
textを最適化
スライド6
OpenAI API
一般的な概念図(まだ未実装)
Vector
Store
Add Vector
API
質問 入力
回答 表示
LLM1
LLM2
LLM3
Query
Document
Files
Text
Files
JSON
Files
Text
Cleaning
Text
Indexing
FineTuning
Enbedding
LLM1-i/f
LLM2-i/f
LLM3-i/f
スライド7
OpenAI API
教育現場で求められる概念図
Vector
Store
質問 入力
回答 表示
LLM1
LLM2
LLM3
Query
JSON
Files2
JSON
Files1
JSON
Files3
JSON
Files4
物
化
地
生
関連項目1
関連項目2
関連項目3
関連項目4
物
化
地
生物学的な
回答を主に
表示
関連内容を
少し表示
データの登録や
作成方法に工夫
が必要
ダッシュボードをイメージ
Vector Storeに極力登録を行い、外部LLMの依存度を
下げる事で、有害コンテンツが表示される可能性を、
下げる効果が期待できると思われる。
スライド8
[物][化][地][生]が、各関連業務名に変わるだけで、ビジネスの現場でも同じことが求められる。
OpenAI API
使い続ける為にはメンテが大切!!
Vector
Store
質問 入力 回答 表示
Query
JSON
Files
新規追加情報
苦労して作成した仕組やデータを使い続ける為には、メンテナンスが不可欠。
データ 削除
API
新機能追加や、不要な機能の削除等により、Vector Storeの登録情報を調整する。
LLM1
LLM2
LLM3
削除
データ
データ 追加
API
スライド9

More Related Content

Similar to AIの取り組み.pdf

yokyo-unv.
yokyo-unv.yokyo-unv.
yokyo-unv.
hirano
 
A12 既存のデータベース環境で分析業務を加速させるには? DB2が実現するソフトウエア分析ソリューション(DB2 BLU Acceleration)の仕...
A12 既存のデータベース環境で分析業務を加速させるには? DB2が実現するソフトウエア分析ソリューション(DB2 BLU Acceleration)の仕...A12 既存のデータベース環境で分析業務を加速させるには? DB2が実現するソフトウエア分析ソリューション(DB2 BLU Acceleration)の仕...
A12 既存のデータベース環境で分析業務を加速させるには? DB2が実現するソフトウエア分析ソリューション(DB2 BLU Acceleration)の仕...
Insight Technology, Inc.
 
New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...
New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...
New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...
takaya imai
 
Big data解析ビジネス
Big data解析ビジネスBig data解析ビジネス
Big data解析ビジネス
Mie Mori
 

Similar to AIの取り組み.pdf (20)

SIGMOD 2019 参加報告
SIGMOD 2019 参加報告SIGMOD 2019 参加報告
SIGMOD 2019 参加報告
 
[Japan Tech summit 2017] PRD010
[Japan Tech summit 2017] PRD010[Japan Tech summit 2017] PRD010
[Japan Tech summit 2017] PRD010
 
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
 
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介
データを集めて貯めて分析する…  最先端のテクノロジーが詰まったIBMクラウドのご紹介データを集めて貯めて分析する…  最先端のテクノロジーが詰まったIBMクラウドのご紹介
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介
 
やはりデータ設計は大切です 藤原紀章
やはりデータ設計は大切です 藤原紀章やはりデータ設計は大切です 藤原紀章
やはりデータ設計は大切です 藤原紀章
 
Data × AI でどんな業務が改善できる? ​製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? ​製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介Data × AI でどんな業務が改善できる? ​製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? ​製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
 
ユーザ目線の実践的BPM
ユーザ目線の実践的BPMユーザ目線の実践的BPM
ユーザ目線の実践的BPM
 
yokyo-unv.
yokyo-unv.yokyo-unv.
yokyo-unv.
 
カスタマーサクセスのためのデータ整備人の活動記録
カスタマーサクセスのためのデータ整備人の活動記録カスタマーサクセスのためのデータ整備人の活動記録
カスタマーサクセスのためのデータ整備人の活動記録
 
kintone Cafe 新潟 Vol.3
kintone Cafe 新潟 Vol.3kintone Cafe 新潟 Vol.3
kintone Cafe 新潟 Vol.3
 
A12 既存のデータベース環境で分析業務を加速させるには? DB2が実現するソフトウエア分析ソリューション(DB2 BLU Acceleration)の仕...
A12 既存のデータベース環境で分析業務を加速させるには? DB2が実現するソフトウエア分析ソリューション(DB2 BLU Acceleration)の仕...A12 既存のデータベース環境で分析業務を加速させるには? DB2が実現するソフトウエア分析ソリューション(DB2 BLU Acceleration)の仕...
A12 既存のデータベース環境で分析業務を加速させるには? DB2が実現するソフトウエア分析ソリューション(DB2 BLU Acceleration)の仕...
 
やはりデータ設計は大切です 藤原紀章
やはりデータ設計は大切です 藤原紀章やはりデータ設計は大切です 藤原紀章
やはりデータ設計は大切です 藤原紀章
 
New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...
New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...
New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...
 
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
 
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
 
Two Dataflows
Two DataflowsTwo Dataflows
Two Dataflows
 
AIの取り組み[改訂版].pdf
AIの取り組み[改訂版].pdfAIの取り組み[改訂版].pdf
AIの取り組み[改訂版].pdf
 
Big data解析ビジネス
Big data解析ビジネスBig data解析ビジネス
Big data解析ビジネス
 
Database Modeling (2018)
Database Modeling (2018)Database Modeling (2018)
Database Modeling (2018)
 
ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決
ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決
ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決
 

More from KunihiroSugiyama1

More from KunihiroSugiyama1 (12)

生成系AIで変わるソフトウェア開発の現在と未来(修正版).pdf
生成系AIで変わるソフトウェア開発の現在と未来(修正版).pdf生成系AIで変わるソフトウェア開発の現在と未来(修正版).pdf
生成系AIで変わるソフトウェア開発の現在と未来(修正版).pdf
 
LLM+LangChainで特許調査・分析に取り組んでみた
LLM+LangChainで特許調査・分析に取り組んでみたLLM+LangChainで特許調査・分析に取り組んでみた
LLM+LangChainで特許調査・分析に取り組んでみた
 
生成系AIとChatGPT講座_明星大学経営学部様講演資料_配布版.pdf
生成系AIとChatGPT講座_明星大学経営学部様講演資料_配布版.pdf生成系AIとChatGPT講座_明星大学経営学部様講演資料_配布版.pdf
生成系AIとChatGPT講座_明星大学経営学部様講演資料_配布版.pdf
 
明星大学経営学部様生成系AIご紹介プレゼンテーションマテリアル.pdf
明星大学経営学部様生成系AIご紹介プレゼンテーションマテリアル.pdf明星大学経営学部様生成系AIご紹介プレゼンテーションマテリアル.pdf
明星大学経営学部様生成系AIご紹介プレゼンテーションマテリアル.pdf
 
神戸市における生成系AIの活用_230822
神戸市における生成系AIの活用_230822神戸市における生成系AIの活用_230822
神戸市における生成系AIの活用_230822
 
GASG0801sato.pdf
GASG0801sato.pdfGASG0801sato.pdf
GASG0801sato.pdf
 
ifLink[改善版].pdf
ifLink[改善版].pdfifLink[改善版].pdf
ifLink[改善版].pdf
 
AITec0718.pdf
AITec0718.pdfAITec0718.pdf
AITec0718.pdf
 
Generative AI Study Group_2ndSesssion_20230620.pdf
Generative AI Study Group_2ndSesssion_20230620.pdfGenerative AI Study Group_2ndSesssion_20230620.pdf
Generative AI Study Group_2ndSesssion_20230620.pdf
 
Generative AI Study Group_FirstSesssion_20230606.pdf
Generative AI Study Group_FirstSesssion_20230606.pdfGenerative AI Study Group_FirstSesssion_20230606.pdf
Generative AI Study Group_FirstSesssion_20230606.pdf
 
小学校向けAI導入企画0606.pdf
小学校向けAI導入企画0606.pdf小学校向けAI導入企画0606.pdf
小学校向けAI導入企画0606.pdf
 
生成系AI研究会発起会アジェンダ_230526.pdf
生成系AI研究会発起会アジェンダ_230526.pdf生成系AI研究会発起会アジェンダ_230526.pdf
生成系AI研究会発起会アジェンダ_230526.pdf
 

Recently uploaded

Recently uploaded (8)

LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアルLoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
 
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
 
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
 
Keywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltdKeywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltd
 
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdfネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
 
情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイント
 
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイルLoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
 
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
 

AIの取り組み.pdf