20230708_JacassonFes_LT.pdf

LLMオーケストレーションってので、
嫌なやつには逆類似検索するボットを自
宅のKubernetes on Raspberry Piで動
かして検証してみる事で新しい発見があ
るかもしれない説

#自己紹介
name: いけだしんのすけ
like:
- バイク
- 読書
- 映画
- アニメ
- ゲーム
myboom:
- PS5でアーマードコア出るのが楽しみ
- 娘の成長が楽しみ
work:
- インフラ・ SRE 🐣
- 昔は映画やTVドラマのADさんやってた
company: Alterbooth.Inc
other: 今日はお集まり頂いて本当に有難うございます 🌝
@ocr_jj

AIチャットボットがかつてないほど、
流行ってますねえ。
でもね

バカAI
使えない
うそつき
ポンコツ
いらない
クソ
うるさい

こんな汚い言葉を投げかけても

ありがとうございます。
申し訳ありません。
不快な思いをさせてすみません

と、丁寧な答え。
そして

あなたに適切な情報を...
適切な情報を...

心労えぐすぎる！！！

あ、だいじょうぶっす

もっと適当で大丈夫っす

いやなヤツには適当に返答し
ておきなよ。

って感じでもいいんじゃない
か。

つまり何か
LLMオーケストレーション → OpenAI Funccolling
ベクトル検索 → 類似検索と逆類似検索
そのデータをもとに回答を生成 → ChatGPT
上記のAPIをRaspberry Pi (Ubuntu) にK8s環境(MicroK8s) 作って動かしてみた

映画のレビューデータから
オススメを教えてくれるボット
検証テーマ

データ引用元
https://github.com/ku-nlp/JMRD
この情報源をベクトル化してテーブルストレージ (Azure )に格納している。
その情報を元に回答を生成します。

FuncCollingで悪意を判断してみよう
こいつ良いやつ。
正しい情報検索しとこ。
こいつクソやわ。
適当な情報返しとこ。
おい。バカAI
オススメの泣けるアニメ教え
ろ
AIちゃん。
オススメのハラハラドキドキする
映画を教えてほしいな。
大好きだよ

どのベクトル検索関数を使うかAIが判断
AIの判断でどの関数を呼び出す
か判断する関数A
関数B
メッセージから類似度の高い
情報をクエリ
メッセージから乖離度の高い
情報をクエリ
あなたへの
オススメは〇〇です
( 嘘 OR ホント )
映画のレビューDB
Vector Search

最初のデプロイ - 先週時点ではFunccollingは使ってなくて...
Azure
Azure OpenAI
Cognative service Storage Blob
Static Web App
Step1: メッセージをネガポジ分析
Step2: 1の結果で実行するベクトル検索を変更
Step3: 3の結果をAzureOpenAIに渡して回答を生成

AzureOpenAIのコンテンツフィルター
https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/how-t
o/content-filters
「申し訳ありませんが、あなたの言葉遣いには対応できません。」
バ◯ , ボ◯, カ◯, ◯ねなどといった暴言にはちゃんとフィルターにかかるっぽい。さす
がは企業利用を前提に作られている。
プロンプトでこれらの暴言はスルーしろと指示しても、効果なし。
https://qiita.com/orc_jj/items/eb0dc19d87121f795eff
ここまで纏めたQita

なるほど。作り直そう！

いま
FastAPI FastAPI FastAPI
おれんち
Nginx
Nginx
FastAPI
FastAPI
FastAPI
Nginx
Step1: メッセージをFunccollingで受ける
Step2: 1の結果でベクトル検索の実行を変更
Step3: 3の結果をOpenAIに渡して回答を生成

検証結果
やっぱり丁寧なほうが良い

この後はこれを活かした下ネタですので、ご注
意を🐣
ご清聴ありがとうございました。

20230708_JacassonFes_LT.pdf

Recommended

Recommended

More Related Content

Featured

Featured (20)

20230708_JacassonFes_LT.pdf