2023年7月28日開催【Kompass】にて発表資料 「ChatGPTとKompiraの連携によるAIOps」 【Kompass】とは Kompiraの活用ノウハウをユーザー同士で共有し合うコミュニティです。 企業の枠組みを超え、情報をパスし合う場として、システム運用の効率化・最適化への道を示す羅針盤となることを目的としております。 ※Kompiraについて、https://www.kompira.jp/ 資料公開作業について

1. 【 Kompass 】
ChatGPTとKompiraの連携によるAIOps
2023/07/28

2. ChatGPT×Kompiraで解決できる運⽤課題
2
運⽤のルール化が進んでいない：属⼈的
• ⼈よってスキルにバラツキがあり、エスカレーション内容や報告書内容がわかりにくい
ルールベースで⼈⼿で運⽤しているが、⾃動化が難しい
• ⾼度な⾃動化ツールを設定するスキルがない
• 現状のルールを⾃動化するのに⼯数がかかりすぎる
• ルールに変更があった際に⾃動化の仕組みで巻き取るのが難しい
ChatGPT×Kompira
⾃動化ツールごとの仕組みを理解して精緻な条件やプログラムを記載しなくても
アラートフィルターやエスカレーション、報告書の⽣成が可能
→よりスキルを必要としない⾃動化構築、変更が可能

3. Why Fixpoint
3
メッセージ受付からアクションまでの流れをGUIで定義できるプラットフォーム
⾼い処理速度
アラート集約によるトークン量削減
架電機能
電話⼝にて⽣成された⽂⾯の⾃動⾳声読み上げが可能
ログ収集やその他コマンド実⾏で追加情報を含めたプロンプト⽣成が可能
ChatGPTからの戻り値を元にした⾃動処理
アラート集約によるトークン量削減
WordファイルやExcelファイルをテキストに変換して連携可能
フィックスポイントがZABBIXアラート⽤にチューニングしたChatGPT

4. 株式会社フィックスポイン
ト
ChatGPT×Kompira連携具体例
・エラーログの分析
・報告書の⾃動⽣成

5. 5
エラーログの分析
内部ネットワーク
ChatGPT
システム担当
監視
アラート
アラート情報連携 SSHでログ取得
ログ分析
通知
ChatGPT を利⽤し、Enterpriseで取得したアラートに関連す
るログを分析。
分析結果を元にAlertHubが該当するシステム担当者へ通知。
ChatGPTが⽣成した⽂⾯でPigeonによる電話通知も⾏う。
Kompiraでアラートに関連するログを取得してChatGPTに連携することで、
障害の重要度や原因を⾃動で分析させ、その後のアクションを変更することができる。
分析結果
サーバなど

6. 6
①〜②アラートの検知と受信
データベースサーバ
10.20.0.3
内部ネットワーク
ChatGPT
システム担当
①監視
②アラート
③アラート情報連携 ④SSHでログ取得
⑤ログ分析
⑦メール・Pigeon通知
アラート
IP: 10.20.0.3,
PATH: /var/log/mysql/error.log,
DATETIME: 2022/04/24 20:23:16
⑥分析結果

7. 7
データベースサーバ
10.20.99.3
内部ネットワーク
ChatGPT
システム担当
①監視
②アラート
③アラート情報連携 ④SSHでログ取得
⑤ログ分析
⑥分析結果
⑦メール・Pigeon通知
エラーログ
2023-06-20T14:42:29.377Z [ERROR] InnoDB: Cannot allocate memory
for the buffer pool
2023-06-20T14:42:29.378Z [ERROR] Plugin 'InnoDB' init function
returned error.
2023-06-20T14:42:29.378Z [ERROR] Plugin 'InnoDB' registration as a
STORAGE ENGINE failed.
③〜④Enterpriseによるログの取得
エラーログ
2023-06-20T14:42:29.377Z [ERROR] InnoDB: Cannot allocate memory for
the buffer pool
2023-06-20T14:42:29.378Z [ERROR] Plugin 'InnoDB' init function returned
error.
2023-06-20T14:42:29.378Z [ERROR] Plugin 'InnoDB' registration as a
STORAGE ENGINE failed.

8. 8
データベースサーバ
10.20.99.3
内部ネットワーク
ChatGPT
システム担当
①監視
②アラート
③アラート情報連携 ④SSHでログ取得
⑤ログ分析
⑥分析結果＆Pigeon⽂⾯
⑦メール・Pigeon通知
重要度:「最重要」
重要度を決めた理由:InnoDBストレージエンジンが正常に起動していないた
め、データベースサービスが停⽌してしまう可能性があるため。
原因:バッファプールにメモリを割り当てることができなかったため、
InnoDBストレージエンジンが起動できなかった。
対応⼿順:
1.サーバのメモリを増やす。
2.MySQL設定ファイルのinnodb_buffer_pool_sizeを減らす。
3.MySQLを再起動する。
⑤〜⑥ChatGPTによる分析結果

9. 9
データベースサーバ
10.20.99.3
内部ネットワーク
ChatGPT
システム担当
①監視
②アラート
③アラート情報連携 ④SSHでログ取得
⑤ログ分析
⑦メール・Pigeon通知
重要度:「最重要」
…
⑥分析結果
⑦通知

10. 10
⾃動電話で読み上げるテキスト
データベースサーバでメモリ不⾜のエラーが起こりました。
メモリの使⽤率が90%を超え、99%に達したため、データベーストランザク
ションが中断されました。このエラーの原因は、メモリ不⾜のためであると
思われます。
ChatGPT を⽤いて
⼈が聞き取りやすい⽂章に要約
重要度:「最重要」
重要度を決めた理由: サーバーがメモリ不⾜により、トランザクションが中
断されたため、DBサーバーが正常に動作していません。このまま放置する
と、ユーザーに影響があり、データの取り扱いやWebアプリケーションの利
⽤ができなくなる可能性があります。
原因: DBサーバーのメモリ容量が限界値を超えているため、トランザク
ションを処理しきれなくなった。
対応⼿順:
1. DBサーバーのメモリ容量の増設を⾏う。
2. メモリ使⽤量が⾼いクエリを特定し、修正する。
3. DBサーバーの再起動を⾏い、正常な動作を確認する。

11. 報告書の⾃動⽣成
報告フォー
マット
キーワード
検索マスター
ChatGPT
③プロンプト⽣成 & ⽣成依頼
各担当者が記載した
症例情報
報告フォーマットに沿った
報告書
①サーバーに追加された
ファイルを取得 ④⽣成された報告書を指定場所へ格納
②プロンプト⽣成に必要な情報を収集

12. ChatGPT×Kompiraで
⼈⼿のスキルに依存していた
アラートの分析や報告書の⽣成などの
運⽤業務を⾃動化できる

13. 株式会社フィックスポイン
ト
ChatGPT×Kompira連携
クローズドβご紹介

14. 構成図
14
システム担当
Kompira AlertHubに受け付けたアラート情報をChatGPTに連携することで、
AlertHubでアラート種別ごとに読み上げ⽂⾯やメール⽂⾯を⽤意しなくてもわかりや
すい⽇本語でアラート報告を受けられる。
ChatGPT
API
(フィックスポイント提供
のAI⽤エンドポイント)
アラート

15. エスカレーション⽂⾯の⽣成(Pigeon架電例)
15
システム担当
ChatGPT
⽂⾯の⽣成
アラート情報
2023-06-20T14:42:29.377Z [ERROR] Out of memory:
Kill process 12345 (mysqld) score 253 or sacrifice child
2023-06-20T14:42:29.378Z [ERROR] Application
process could not be started due to insufficient memory
2023-06-20T14:42:29.378Z [ERROR] Cannot allocate
memory
Kompira Pigeon読み上げ内容
2023年6⽉20⽇、サーバでメモリ不⾜のエラーが発⽣しま
した。プロセス番号12345の「マイエスキューエル
ディー」が強制終了されました。
これは、システムがメモリを節約しようとした結果で
す。さらに、メモリ不⾜のためアプリケーションプロセ
スを開始できないというエラーも発⽣しました。メモリ
を割り当てることができないというエラーメッセージも
出ています。
アラート

16. インシデント報告⽂⾯の⽣成(メール⽂⾯例)
16
【メッセージ】
Problem: ICMP: Unavailable by ICMP ping
【概要】
ICMPによるpingが利⽤できない問題が発⽣しています。
【深刻度（クライアント/システム影響=最⾼/⾼、中期影響=中、情報=低）】
最⾼
【原因】
ネットワーク接続の問題、または対象のホストがダウンしている可能性があります。
【エスカレーション先】
ネットワーク管理者またはシステム管理者
【対応⽅針】
まず、ネットワーク接続と対象のホストの状態を確認します。問題が解決しない場合は、ネットワーク設定を⾒直すか、ホストの再起動を検討します。
【対応⼿順】
1. 対象のホストに対してpingコマンドを実⾏して接続を確認します。
コマンド: ping <ホスト名またはIPアドレス>
2. ホストがダウンしている場合は、ホストを再起動します。
コマンド: shutdown -r now
3. ネットワーク設定を確認し、必要に応じて修正します。
コマンド: vi /etc/sysconfig/network-scripts/ifcfg-<インターフェース名>
【対応する際の注意事項】
ネットワーク設定を変更する場合は、その影響を⼗分に理解した上で⾏ってください。また、ホストを再起動する場合は、サービスへの影響を考慮してください。

17. ステータス割り振りによるアクション変更
17
システム担当
ChatGPT
アラート重要度の振り分け
重要度別にアクションを設定
・アラート情報と重要度の前提条件となるデータセット
・アラート情報の連携(集約も可能)
or

18. 利⽤環境
18
・監視システム「ZABBIX」の利⽤
・「Kompira AlertHub」スタンダードプランのご契約
・「Kompira Pigeon」スタンダードプランのご契約
以上の環境が必要です。
クローズドベータ版の利⽤期間は3ヶ⽉間を想定しております。
提供内容
・Kompira AlertHubのルール、ランブックのテンプレート
・フィックスポイントが保有するChatGPTへ連携するためのAPIエンドポイント
・検証終了後のフィードバック