グラフ解析で社長の脳内さらす！

©2017 Nextremer Co., Ltd.
グラフ解析で社⻑の脳内さらす！
26th Oct. 2017
株式会社 Nextremer
両⾓和軌
皆
さ
ん
こ
ん
に
ち
は

⾃⼰紹介
両⾓和軌 (もろずみかずき)
株式会社 Nextremer プログラマー / 採⽤・⼈事
※対話システムの研究開発をしている企業です
• やってること
• エンジニアのスカウト・⾯接
• ⼈事制度の整備
• サーバーサイド開発
• ここ最近扱った技術
• Terraform, Ansible, Packer ← Infrastructure as Code！
• Docker, kubernetes, Apache Mesos ← ポータビリティさいこう！
• Python, Scala, javascript(ES6) ← 関数型うまく書けると気持ちいい！
• Finagle, React.js ← マイクロサービスしたい！リアクティブしたい！

Nextremer CEO 向井とは
「僕は全部オープンデータだから好きに使って！」と⾔ってくれます
お⾔葉に⽢えて脳内を晒してやりました
ヤバイBotになったりイケてるCEOみたいになったりします

弊社社⻑の向井が Slack, facebook に投稿したデータをグラフ解析
こ
う
な
っ
て
る
ん
だ

どうやって脳内を晒すか？
1. 単語の共起関係からグラフを作る
2. PMI を計算しエッジ(辺)の重みにする
3. PageRankを計算しノード(点)の重みにする
4. ノードをクラスタリングする
5. 可視化する

1. 単語の共起関係からグラフを作る
• 単語をノード、同じ⽂に出た単語間にエッジ
• ストップワード、特定の品詞を除く
• 単語の出現回数、単語ペアの共起回数を記録しておく
• 後のPMIの計算で使うので

• PMIを計算してエッジの重みにセット
• 1でカウントした単語の出現回数、共起回数を利⽤

• PMIって？？
• Pointwise Mutual Information (⾃⼰相互情報量)
• ある2つのデータがどれくらい⼀緒に出現しやすいかを表す尺度
• PMIが⼤きいほどその単語ペアは同じ⽂に出現しやすいということ
• 計算式
𝑃𝑀𝐼 𝑥, 𝑦 = log+
𝑃(𝑥, 𝑦)
𝑃 𝑥 𝑃(𝑦)
= log+
共起回数 / 総単語数
単語0の出現回数 / 単語1の出現回数

3. PageRankを計算しノード(点)の重みにする
• PageRankを計算し、スコアをノードの重みにセット
• エッジの重みを考慮したPageRankを計算

4. ノードをクラスタリングする
• Infomapでノードをクラスタリング
• エッジ媒介中⼼性, 貪欲アルゴリズム, スペクトラル, スピングラス,
ラベル伝播法 …など多数のクラスタリングアルゴリズム
• 構造に⼤きく左右されるので、どれがベストとは⼀概には⾔えない

5. 可視化する
• Gephi を利⽤して可視化
• 全体を俯瞰して⾒れて、必要に応じて部分にフォーカスできる
• javascriptベースのものは巨⼤なグラフ全体を⾒るのは使いにくい

それらの⼿順を経てこの図が作られています
な
る
ほ
ど

Neo4jとの使い分け
• データ設計の検討にR, Python や Gephi などのツールを使う
• 全体を俯瞰していろいろなパターンを試したい
• システムに組み込むために neo4j を使う
• Cypher のクエリは超強⼒
• ⼤量データの格納や分析
• Spark GraphX とかも使えるらしい

続きはWebで！
• 詳しくは「もろずblog 社⻑の脳内晒す」で検索！
• 今回話した内容についてのブログ記事です

最後に・・・！
Nextremerでは⼀緒に対話システムを開発して頂けるエンジニアを
探しています！
Facebookから両⾓へメッセージ or Wantedly よりご連絡いただければ、
いつでもNextremerオフィスの雰囲気をご案内させていただきます
両⾓のFacebookアカウント
Nextremer Wantedly ページ

これで本当におしまい
ありがとうございました！
Nextremer東京オフィス開発⽤GPUマシン
謎に包まれた対話ロボット
AI-Samurai
待
っ
て
る
よ

補⾜. GML (Graph Modeling Language)
• グラフ構造をテキストで表すデータ形式
• ノード、エッジのプロパティが記述できる点がGood

補⾜. Gephi
• グラフ可視化・解析ができるデスクトップアプリケーション
• Windows, Mac, Linux に対応
• GMLファイルをロードできる

補⾜. igraph
• R, Python, C から利⽤できるグラフ解析のパッケージ
• GMLファイルをロードできる
• PageRank, infomap 等の多くのアルゴリズムをサポート

グラフ解析で社長の脳内さらす！

More Related Content

What's hot

Recently uploaded

グラフ解析で社長の脳内さらす！