Splunk機械学習を使ったアンケートコメント分析
•
1 like•595 views
この資料はSplunk ユーザー会(GOJAS)で発表した資料です。 Splunk ワークショップのアンケートコメントをSplunkの機械学習機能を使って分析し可視化・運用しております。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Splunk機械学習を使ったアンケートコメント分析
Similar to Splunk機械学習を使ったアンケートコメント分析 (20)
Splunk機械学習を使ったアンケートコメント分析
- 1. Title 機械学習を使って Workshop アンケートのコメント分析をしてみました 11 Sep 2020 Splunk Service Japan Junichi Maruyama
- 2. 自己紹介 Name: Junichi Maruyama Splunk歴: 1 year 6 month 得意な領域： ・ インフラ全般（サーバ・ストレージ・ネットワーク・仮想化） ・ Solaris ・ 機械学習（経験浅） - E資格 趣味： 将棋（初段） Qiita https://qiita.com/maroon
- 3. Splunk Virtual Hands-on Workshop ? 550名 25回 Basic Enterprise Security ITSI Machine Learning Phantom AWS Security Azure Seurity 2020/2月 – 8月実施成績 お申し込みはこちら (随時更新） https://www.splunk.com/ja_jp/about- us/events.html#filter/defilter1/list-item- block/defilter2/Workshops/defilter3/list-item-block Free !!
- 4. Splunk + Google アンケート 取り込みの仕組み • オンラインフォームのため、PC / Mobile に対応 • Workshop 終了直後に、結果を確認できる • Splunk にデータが溜まっているので、過去アンケートも含めた可視化・レポートが可能 Google Formsのアンケート結果をSplunkに自動収集して分析してみた。 https://qiita.com/maroon/items/144f210212019480d7f7
- 5. Splunkのダッシュボードによる可視化・分析 これまでの主な利用方法 ・ 満足度スコアによる確認 ・ 顧客のロール分析によるコンテンツ調整 ・ コメントによるフォローアップや今後の修正 ・ 傾向分析 コメントについては、そのまま読んで反省や今後 の参考にさせてもらうだけで可視化ができていな かった。 データ量が増えてくると全体の傾向分析が困難
- 6. 前回のGOJAS. IIJ 鈴木様の発表を聞いて 雷に打たれたような衝撃！ Spacy + Ginza というライブラリを使うことで、様々な自 然言語処理ができる。しかも日本語にも対応！ 早速、アンケートのコメントも分析してみよう！！ でも、自然言語処理は初心者なので、暖かい目で見守ってね
- 9. チャレンジ１： キーワード分析 どのようなワードが使われているか分析する 形態素解析によるトークン化 と品詞ラベリング Word Cloudによる可視化 DLTK (spacy) Word Cloud Splunkの基本動作の勉強になりました。ありがとうございました。 'Splunk:NOUN|基本:NOUN|動作:NOUN|勉強:NOUN|な り:VERB|まし:AUX|ありがとう:INTJ|ござい:VERB|まし:AUX' ‘Splunk: 5 |基本: 2 |動作: 2|勉強:4| ・・・ DLTK : Deep Learning Toolkit MLTK : Machine Learning Toolkit 名詞・動詞・形容詞を抽出し カウント
- 10. キーワード分析ダッシュボード
- 11. チャレンジ２： コメント抽出 TF-IDF によるスコアリングにより、情報量の多いキーワード・コメントの抽出 形態素解析によるトークン化 と品詞ラベリング TF-IDF によるスコアリング DLTK (spacy) MLTK (TF-IDF) 'Splunk:NOUN|基本:NOUN|動作:NOUN|勉強:NOUN|な り:VERB|まし:AUX|ありがとう:INTJ|ござい:VERB|まし:AUX' DLTK : Deep Learning Toolkit MLTK : Machine Learning Toolkit
- 12. スコアの高いコメントをピックアップ Splunkの基本動作の勉強になりました。ありがとうございました。 3.0 5.0 8.0 6.0 0.8 0.2 2.0 0.8 Score： 25.8 スコアの高いコメントをピックアップ 例）
- 14. チャレンジ3： コメント内容のクラスタリングによる傾向分析 コメント内容を分類し全体の傾向を掴む word2vec によるベクトル化 PCA による次元圧縮 ＆ 可視化 DLTK (spacy) MLTK (PCA) G-Means による クラスタリング MLTK (Gmeans) Splunkの基本動作の勉強になりました。ありがとうございました。 100 次元ベクトルに変換 (ginza のデフォルト値) 2 次元ベクトルに圧縮(-0.2424, 0.7833) クラスタリング分類 DLTK : Deep Learning Toolkit MLTK : Machine Learning Toolkit
- 15. ２次元に圧縮することで可視化が可能になる 似たような単語が使われてい るコメントは近い場所に集まる • コメントの整理 • ワークショップ毎に傾向分析 • 満足度とのコメントの比較 クラスタリング
- 18. まとめ Word Cloudによる可視化 形態素解析によるトークン化 と品詞ラベリング TF-IDF によるスコアリング word2vec によるベクトル化 PCA による次元削減 ＆ 可視化 G-Means による クラスタリング チャレンジ１ キーワード分析 チャレンジ２ コメント抽出 チャレンジ3 クラスター分類 キーワードの抽出 可視化によるワードの傾向分析 情報量の多いコメントを抽出する ことで、大量のコメントから効率 的にコメントをピックアップする 形態素解析によるトークン化 と品詞ラベリング 類似コメントをグルーピングする ことでどのようなコメントが多い かを分析。 ただし文章の意味に関する精 度は低いためあくまで単語レベ ルの類似分類にとどまる
- 19. 感想 充実した機械学習ライブラリ データ収集の自動化 成形処理 (前処理) 機械学習分析 可視化 ダッシュボード / レポート自動化による運用 Splunk一台で全てを 実行可能 やっぱ便利だなー
- 20. Deep Learning Toolkit を使ってみたくなったら https://qiita.com/maroon/items/8ef1832f80562eb94020https://qiita.com/maroon/items/5a8b027631a674d6d8be こちらのチェックもお願いします!
- 21. Thank you
- 22. spacy を使ったトークン化と品詞ラベル DLTK の ノートブック spacy_ner.ipynb を少し編集し全ての品詞を出すようにする 編集済みのノートブックはこちらからダウンロードできます。 https://github.com/maroon-spec/splunk_spacy_vector 固有表現抽出 (default) 品詞ラベルとトークン抽出
- 23. spacy を使った word2vec DLTK の ノートブック spacy_ner.ipynb を少し編集しベクトル化できるようにした 編集済みのノートブックはこちらからダウンロードできます。 https://github.com/maroon-spec/splunk_spacy_vector 固有表現抽出(default) ベクトル化