![2
企業が抱える問題
技術継承の阻害[1]
高齢化を背景に、十分な技術継承がされないまま退職
教育時間の不足[2]
人材不足で、業務上必要な知識を教えることが困難
属人化[3]
特定の従業員に依存して、他の人が対処不可
情報を効率的に伝達する必要がある
[1] 経済産業省, 厚生労働省, 文部科学省. 2023年版ものづくり白書（ものづくり基盤技術振興基本法第8条に基づく年次報告）.
https://www.meti.go.jp/report/whitepaper/mono/2023/index.html. (2024/02/05 閲覧)
[2] 厚生労働省. 令和4年度「能力開発基本調査」. https://www.mhlw.go.jp/stf/houdou/newpage_00127.html. (2024/02/05 閲覧)
[3] デジタル・ナレッジ. 中小企業における人材育成とオンライン研修に関する調査報告書. https://www.digital-knowledge.co.jp/archives/25523/. (2024/02/05 閲覧)](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
More Related Content
Similar to 【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
Similar to 【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究 (20)
More from harmonylab
More from harmonylab (20)
Recently uploaded
Recently uploaded (8)
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
- 1. 北海道大学 工学部 情報エレクトロニクス学科 情報理工学コース 複合情報工学分野 調和系工学研究室 学部4年 上前諒輔 大規模言語モデルを用いた マニュアル文章修正手法に 関する研究
- 2. 2 企業が抱える問題 技術継承の阻害[1] 高齢化を背景に、十分な技術継承がされないまま退職 教育時間の不足[2] 人材不足で、業務上必要な知識を教えることが困難 属人化[3] 特定の従業員に依存して、他の人が対処不可 情報を効率的に伝達する必要がある [1] 経済産業省, 厚生労働省, 文部科学省. 2023年版ものづくり白書（ものづくり基盤技術振興基本法第8条に基づく年次報告）. https://www.meti.go.jp/report/whitepaper/mono/2023/index.html. (2024/02/05 閲覧) [2] 厚生労働省. 令和4年度「能力開発基本調査」. https://www.mhlw.go.jp/stf/houdou/newpage_00127.html. (2024/02/05 閲覧) [3] デジタル・ナレッジ. 中小企業における人材育成とオンライン研修に関する調査報告書. https://www.digital-knowledge.co.jp/archives/25523/. (2024/02/05 閲覧)
- 3. 3 情報を伝えるための手段 マニュアル 行動のための情報や説明を、作成者が利用者に伝達 業務手順書 取扱説明書（製品・サービス） マニュアルを作ることは簡単ではない マニュアル作成をする機会は多い[4] しかし、ビジネスマンの43.7%が資料作成に自信なし[5] [4] 株式会社アイディエーション. 第2回「マニュアル手順書ツール」ユーザー満足度調査結果発表. https://www.ideation.co.jp/column/research-column/manual_research_2021. (2024/02/05 閲覧) [5] NTTコム リサーチ, ビジネスマンの資料作成に関する調査, https://research.nttcoms.com/database/data/001928/, (2024/02/05 閲覧)
- 4. 4 マニュアルに必要な要素[6][7] 網羅性 利用者が調べる可能性が高い内容を全て記載 検索性 調べたい内容に素早くアクセス可能 正確性 記載している内容が正しい 可読性 記述している内容が読みやすく、明確に理解可能 [6] 一般財団法人テクニカルコミュニケーター協会. トリセツのつくりかた：品質追求編（新編集版）. 一般財団法人テクニカルコミュニケーター協会出版事業部会. 2015 [7] 浅岡伴夫. “SE・製造技術者・理工系学生のための技術文書の作り方・書き方”. シーエーピー出版. 2006
- 5. 5 マニュアルに必要な要素[6][7] 網羅性 利用者が調べる可能性が高い内容を全て記載 検索性 調べたい内容に素早くアクセス可能 正確性 記載している内容が正しい 可読性 記述している内容が読みやすく、明確に理解可能 [6] 一般財団法人テクニカルコミュニケーター協会. トリセツのつくりかた：品質追求編（新編集版）. 一般財団法人テクニカルコミュニケーター協会出版事業部会. 2015 [7] 浅岡伴夫. “SE・製造技術者・理工系学生のための技術文書の作り方・書き方”. シーエーピー出版. 2006 本研究では、可読性に着目 利用者が行動するときに 直接的に影響する要素 （読みながら作業するなど）
- 7. 7 可読性が高い文章に関連する研究 タスク 内容 概要 学習 データ 多様な 書き方 学習 時間 指示の 具体性 手法例 スペル チェック[8] 誤字脱字を 修正 多 低 多 明確 ルールベース 教師あり学習 文法誤り 訂正[9] 不自然な 文法を修正 多 中 多 曖昧 教師あり学習 ＋強化学習 文章 要約[10] 文章の要点を 短く記述 多 中 多 曖昧 教師あり学習 スタイル 変換[11] 内容を変えず 表現のみ変更 少 高 少 明確 言語モデル ＋プロンプト [8] 高橋 諒, 蓑田和麻, 舛田明寛, 石川信行. Bidirectional LSTM を用いた誤字脱字検出システム. 人工知能学会全国大会論文集, Vol.JSAI2019, pp.3C4J903–3C4J903 (2019). [9] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Shubha Guha, and Kenneth Heafield. Approaching Neural Grammatical Error Correction as a Low-Resource Machine Translation Task. Proceedings of the 2018 Conference of the NorthAmerican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), New Orleans, Louisiana, Association for Computational Linguistics, pp.595–606 (2018). [10] Romain Paulus, Caiming Xiong, Richard Socher. A deep reinforced model for abstractive summarization. arXiv preprint arXiv:1705.04304 (2017). [11] Emily Reif, Daphne Ippolito, Ann Yuan, Andy Coenen, Chris Callison-Burch, and Jason Wei. A Recipe for Arbitrary Text Style Transfer with Large Language Models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), Dublin, Ireland. Association for Computational Linguistics, pages 837–848 (2022).
- 8. 8 可読性を上げる手法 可読性が高い文章を書くための技術 手法 概要 効果 使用場面例 トピック ライティング 主題やタスクごとに 文章を分割する書き方 利用者にとって 情報を探しやすい ブログ マニュアル パラグラフ ライティング トピックごとに 段落を分ける書き方 内容の流れを 理解しやすい エッセイ 論文 テクニカル ライティング 文書全体から単語まで 可読性を高くする書き方 作成者が伝えたい知識や 利用者がすべき行動を、 正確かつ明確に伝達 マニュアル 議事録 案内文
- 9. 9 可読性を上げる手法 可読性が高い文章を書くための技術 手法 概要 効果 使用場面例 トピック ライティング 主題やタスクごとに 文章を分割する書き方 利用者にとって 情報を探しやすい ブログ マニュアル パラグラフ ライティング トピックごとに 段落を分ける書き方 内容の流れを 理解しやすい エッセイ 論文 テクニカル ライティング 文書全体から単語まで 可読性を高くする書き方 作成者が伝えたい知識や 利用者がすべき行動を 正確かつ明確に伝達 マニュアル 議事録 案内文 本研究では、テクニカルライティングに着目 テクニカルライターが頻繁に使用 1つ1つの文章の可読性を高くする
- 10. 10 本研究で扱う書き方のルール ライティングルール[12] 一文単位で使用できるライティングルールに着目 利用者・内容・使用目的によらず、幅広い場面で適用可能 一文単位のライティングルールでも60個以上 マニュアルの可読性に、特に影響する5つに着目（下表） テクニカルライターの間でも、判断が分かれる 準拠する／しないの判断は、一意には定まらない [12] 一般財団法人テクニカルコミュニケーター協会. 日本語スタイルガイド（第3版）. 一般財団法人テクニカルコミュニケーター協会出版事業部会. 2022 ライティングルール 説明 一文一義 1つの文には、1つの行動・事柄のみを記述する 二重否定の未使用 二重否定を使用しない（例：「～ないと、～ない」） 読点の基準 理由・条件・目的・場合を示す表現の後に、読点をつける 主述の正しい対応 主語と述語が文章として正しい対応関係になる 修飾語の位置 修飾関係が明確になるように、修飾語を配置する 本研究で対象とするライティングルールと説明
- 11. 11 データセットの作成 文章の特徴 実際のマニュアルに使用している文章 テクニカルライターが修正を依頼された文章 文章数（全300文） 5つのライティングルールのそれぞれに対して 準拠しない文：30文 準拠する文（準拠しない文を修正した文）：30文 データセットの構成 ライティングルール アノテーション 文章 一文一義 準拠する 通話中にディスプレイを使って、電話番号などのメモを登録できます。 ⋮ ⋮ ⋮ 一文一義 準拠しない LE AudioはBluetooth技術の新しい音声通信規格で、… 二重否定の未使用 準拠する 用紙セットカバーを下ろすと給紙が可能になります。 ⋮ ⋮ ⋮ 修飾語の位置 準拠しない 電源を入れるときは、軽く手前に本体中央にある赤いボタンを引く。
- 14. 14 提案手法：判定モジュール (1/4) プロンプトの作成方法 以下の内容を追加・変更しながら試行錯誤 ライティングルールの説明文 判定過程の設計 例示に使用する文章の選択 4つのプロンプトを検討する Zero-Shot Few-Shot Zero-Shot & Chain-of-Thought (CoT) Few-Shot & CoT 各プロンプトの共通部分（ライティングルール：二重否定の未使用） 構成要素 内容 命令部分 入力文章に、二重否定が使用されているかを判定しなさい。 ライティングルールの説明 「二重否定の未使用」とは、 1つの文に2つ以上の否定表現を使用しない書き方である。 入力文章 （判定対象の文章が入る）
- 15. 15 提案手法：判定モジュール (2/4) プロンプトごとの違い：出力形式 Zero-Shot, Few-Shot ライティングルールに準拠するかしないかのみ出力 Zero-Shot & CoT, Few-Shot & CoT 判定過程と結果を出力 プロンプトごとの出力形式（ライティングルール：二重否定の未使用） プロンプト 内容 Zero-Shot Few-Shot “result”:（準拠しない場合は0、準拠する場合は1を出力する） Zero-Shot & CoT Few-Shot & CoT “step1”: （入力文章中から否定表現を使用している部分を抽出する） “step2”: （抽出した否定表現を複数使用しているかを確認する） “result”: （準拠しない場合は0、準拠する場合は1を出力する）
- 16. 16 提案手法：判定モジュール (3/4) プロンプトごとの違い：例示部分 Zero-Shot, Zero-Shot & CoT 例示部分は無い Few-Shot, Few-Shot & CoT 入出力の例を複数記述 それぞれの出力形式に合わせる プロンプトごとの例示部分（ライティングルール：二重否定の未使用） プロンプト 内容 Zero-Shot Zero-Shot & CoT （例示部分は無い） Few-Shot （入力例） 機能を有効にしないと、自動更新が行われません。 （出力例） “result”: 0 Few-Shot & CoT （入力例） 機能を有効にしないと、自動更新が行われません。 （出力例） “step1”: (「有効にしない」と「行われません」が抽出される) “step2”: (上記の否定表現が組み合わせて使用されている) “result”: 0
- 17. 17 提案手法：判定モジュール (4/4) プロンプトの具体例（Few-Shot：一文一義） 入力（ライティングルールに準拠するかを判定するように指示） ##### 命令 ##### 以下の入力文章は、一文一義を満たしているかを判定しなさい。 ##### 一文一義の説明 ##### 一文一義とは、1つの文に、1つの情報や行動だけを記述する書き方である。 一文一義では、複数の情報や行動を記述してはならない。 ##### 入力文章 ##### ポンプに取り付けてある流量調整バルブはケースパージライン用であり、スピンドルパージラインの遮断 はできません。 ##### 出力形式 ##### {"result": <一文一義を満たしている場合は1、そうでない場合は0のみを出力する。数字のみで出力する。>} ##### 例示部分 ##### ##### 入力文章例1 ##### 販売期限を確認するときは、先入れ・先出しができているかも確認し、販売期限が前後していたら直しま す。 ##### 出力文章例1 ##### {"result": 0} （省略：例が続く） 出力（ライティングルールに準拠するかを判定して結果を出力） {“result”: 0}
- 19. 19 提案手法：修正モジュール (1/2) 以下の構成要素を持つプロンプトを与える 判定モジュールの判定過程をプロンプトを含む 入力文章のどの部分を修正すべきかを指示 プロンプトの構成（ライティングルール：二重否定の未使用） 構成要素 内容 命令部分 入力文章を、二重否定を使用しない表現に修正しなさい。 ライティングルールの説明 「二重否定の未使用」とは、 1つの文に2つ以上の否定表現を使用しない書き方である。 入力文章 （修正対象の文章が入る） 判定モジュールの判定過程 （判定モジュールの判定過程が入る） 出力形式 （ライティングルールを適用した後の文章を出力する）
- 20. 20 提案手法：修正モジュール (2/2) プロンプトの具体例（一文一義） 入力（ライティングルールに準拠するかを判定するように指示する） ##### 命令 ##### 以下の入力文章は、一文一義を満たしていない。「入力文章中の情報や行動」と「入力文章の分析結果」 を参考にして、入力文章を一文一義を満たす文章に変換しなさい。 ##### 一文一義の説明 ##### 一文一義とは、1つの文に、1つの情報や行動だけを記述する書き方である。 一文一義では、複数の情報や行動を記述してはならない。 ##### 入力文章 ##### ポンプに取り付けてある流量調整バルブはケースパージライン用であり、スピンドルパージラインの遮断 はできません。 ##### 入力文章中の情報や行動 ##### {'id': 0, 'type': '情報', 'content': 'ポンプに取り付けてある流量調整バルブはケースパージライン用である。'}, {'id': 1, 'type': '情報', 'content': '流量調整バルブはスピンドルパージラインの遮断はできない。’} ##### 入力文章の分析結果 ##### {‘explanation’: ‘id:0,1が組み合わせている。’} ##### 出力形式 ##### {"result": <変換後の文章のみを出力する。文字列で出力する。解説を出力しない。>} 出力（ライティングルールに準拠するかを判定して結果を出力する） {“result”: “ポンプに取り付けてある流量調整バルブはケースパージライン用です。このバルブではスピンド ルパージラインの遮断はできません。”}
- 21. 21 実験：目次 実験① 判定モジュール 入力文章がライティングルールに準拠するかの判定精度を確認 実験② 修正モジュール ライティングルールを適用できているかを検証 可読性が高い文章になるかを検証
- 22. 22 実験：目次 実験① 判定モジュール 入力文章がライティングルールに準拠するかの判定精度を確認 実験② 修正モジュール ライティングルールを適用できているかを検証 可読性が高い文章になるかを検証
- 24. 24 実験①：実験結果 Few-Shot & CoTの正解率が高い傾向 判定過程を明確にすることによる精度が向上 Few-Shot & CoTで不正解の場合は、 他のプロンプトでも不正解になることが多い 80% ~ 85% 判定モジュールにおけるプロンプトごとの正解率 ライティングルール Zero-Shot Zero-Shot & CoT Few-Shot Few-Shot & CoT 一文一義 50% 68% 54% 74% 二重否定の未使用 60% 76% 64% 92% 読点の基準 78% 80% 56% 86% 主述の正しい対応 92% 88% 88% 90% 修飾語の位置 66% 68% 68% 86%
- 25. 25 実験①：実験結果 Few-Shot & CoTの正解率が高い傾向 判定過程を明確にすることによる精度が向上 Few-Shot & CoTで不正解の場合は、 他のプロンプトでも不正解になることが多い 80% ~ 85% 判定モジュールにおけるプロンプトごとの正解率 ライティングルール Zero-Shot Zero-Shot & CoT Few-Shot Few-Shot & CoT 一文一義 50% 68% 54% 74% 二重否定の未使用 60% 76% 64% 92% 読点の基準 78% 80% 56% 86% 主述の正しい対応 92% 88% 88% 90% 修飾語の位置 66% 68% 68% 86%
- 26. 26 実験①：実験結果例① Few-Shot & CoTによって改善した例 データの内容 項目 内容 入力文章 電源プラグが確実に差し込めていないときは電源を入れないでください。 ライティングルール 二重否定の未使用 アノテーション 0（準拠しない） プロンプトごとの出力結果（概要） プロンプト 出力結果 否定表現の抽出 入力文章の分析 Zero-Shot Few-Shot 1 （CoTを含まない） （CoTを含まない） Zero-Shot & CoT 1 • 確実に差し込めていない • 入れないでください 異なる事柄に対する 単独の否定である Few-Shot & CoT 0 • 確実に差し込めていない • 入れないでください 2つの否定表現を 組み合わせている この文章を判定 ※下線部は否定表現を示す 否定表現の抽出が可能 二重否定であることを認識
- 27. 27 実験①：実験結果例② すべてのプロンプトで 判定結果がアノテーションと異なる例 データの内容 項目 内容 入力文章 三角フラスコに室温の蒸留水を45.0g加え、50.0ｇの希釈スラリーとする。 ライティングルール 一文一義 アノテーション 1（準拠する） プロンプトごとの出力結果（概要） プロンプト 出力結果 行動・情報の抽出 入力文章の分析 Zero-Shot Few-Shot 0 （CoTを含まない） （CoTを含まない） Zero-Shot & CoT Few-Shot & CoT 0 • 三角フラスコに 室温の蒸留水を45.0g加える • 50.0gの希釈スラリーとする 2つの行動・情報を、 組み合わせている この文章を判定 2つの行動・情報に分離 （分離して解釈することも可能） すべてのプロンプトで アノテーションと異なる結果
- 29. 29 実験：目次 実験① 判定モジュール 入力文章がライティングルールに準拠するかの判定精度を確認 実験② 修正モジュール ライティングルールを適用できているかを検証 可読性が高い文章になるかを検証
- 30. 30 実験②：実験内容 実験目的 ライティングルールを適用できているかを検証 可読性が高い文章になるかを検証 評価方法 アンケート調査 実験設定 言語モデル：GPT-4 (gpt-4-1106-preview) アンケートの構成 アンケート 内容 回答者群 ① 修正後の文章は、着目するライティングルールに準拠するか A ② 修正前後の文章は、どちらが読みやすいか B ③ 修正前後の文章は、どちらが内容を理解しやすいか B ※回答者群A：テクニカルライター25人 ※回答者群B：マニュアル作成会社の従業員113人