Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language Model Meta-AI (LLaMA) Using Medical Domain Knowledge"

1. 研究背景
- 今の事前学習モデル(GPT etc)は医療知識に乏しく、医療診断などにおいて危険な意思決定をする恐れがある
- 医療特化型のLLMの開発必要
概要
- Fine-tuning による学習と推論時に外部情報を用いることで、GPT-4を上回る医療特化のLLM
を実現した
手法
- Fine-tuning
- HealthCareMagicというプラットフォームから実際の患者と医師の会話ログデータ
- 外部情報の自動参照
- LLMが知識を持っていないドメインの質問をされると的外れな回答をする(幻覚)
- また、入力の仕方によっては違う回答が出る(レスポンスが不確実)→医療では良くない
- 外部情報参照によって正確かつ安定性のある回答を実現する
- MedlinePlus(多くの病気の症状・治療法・検査法などを網羅したデータベース)

2. 外部情報参照の仕方
- いかなる入力に対しても適切にかつ自動的に参照
させたい
☞固定された参照プロセス(プロンプト)をあらかじめ
埋め込む
1. 質問から重要なキーワードを抽出させる
2. そのキーワードに関連する情報をデータベースから
抽出させる
3. 抽出された情報と質問をもとに回答

3. 実験
- ChatDoctor とChatGPTを比較
- iCliniqを入力とし出力はそれに対応する実際の医師の回答とした
- 評価にはBERTScoreを用いた
- 事前学習BERTモデルに回答を入力しエンべディングしたものそれぞれと実際の医師の回答のコサ
イン類似度で評価

4. 議論
- 外部情報と内部情報の使い方はもっと工夫できる
- 選択
- 融合
- 代替案
リミテーション
- まだアカデミックの研究段階であるから実際の医療への実応用は危険を伴う
- どのような参照をしているかのチェックや実際の医師を含めた評価が重要である
- そういったモデルの安全面の評価指標開発も必要
コメント
- 埋め込みのプロンプトをうまく操作すれば回答の専門性(レベル)を変えれそう