Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
LOGLY,Inc. © Copyright, All Rights Reserved
ログリー技術部 大久保悟
Neo4jが可能にする
ニュースを異なる言語
異なる地域で対照的に捉える技術
〜レコメンド開発研究の現場から〜
ver.1.0
LOGLY,Inc. © Copyright, All Rights Reserved.
2
資源輸送で注目される「北極海航路」を
異なる国や地域で対照的に捉える
LOGLY,Inc. © Copyright, All Rights Reserved.
3
「情報を対照的に捉える」とは?
興味の対象
関連情報
関連情報
関連情報
レコメンドやフェイクニュースの検知に使える
LOGLY,Inc. © Copyright, All Rights Reserved.
4
「興味の対象」を異なる国や地域で対照的に捉える
興味の対象 関連情報
関連情報
関連情報
興味の対象
関連情報
関連情報
興味の対象
関連情報
関連情...
LOGLY,Inc. © Copyright, All Rights Reserved.
5
Word2vecなどを使うと
人間と機械の概念の違いが問題に!
ライオン シマウマ トカゲ
哺乳類 爬虫類
動物
ライオン シマウマ トカゲ
動物園 ...
LOGLY,Inc. © Copyright, All Rights Reserved.
6
w(t-2)
w(t-1)
w(t+1)
w(t+2)
W(t) W(t)
w(t-2)
w(t-1)
w(t+1)
w(t+2)
CBOW SKIP...
LOGLY,Inc. © Copyright, All Rights Reserved.
7
Neo4jの驚異的なAdobe社の成功例
MongoDBの125台のクラスター
Casandraに移行して48台のクラスターへ
Neo4jに移行して3...
LOGLY,Inc. © Copyright, All Rights Reserved.
8
Neo4jの特徴
• 数千万、数億レコードでも高速
• 多段Joinもインデックスが劣化せずに超高速
• 高速な全文検索
• UTF-8ネイティブ
•...
LOGLY,Inc. © Copyright, All Rights Reserved.
平行概念
9
対象
上位概念、平行概念を設定
膨大な言葉の統計を管理
対象の周辺に現れる言葉を観測
分析手法のイメージ
関連
情報
関連
情報
関連
情報...
LOGLY,Inc. © Copyright, All Rights Reserved.
10
「北極海航路」の属する概念と平行概念を作成
LOGLY,Inc. © Copyright, All Rights Reserved.
11
概念に「概念の種」をセットする
LOGLY,Inc. © Copyright, All Rights Reserved.
12
平行概念に概念の種をセットする
LOGLY,Inc. © Copyright, All Rights Reserved.
13
クロールさせた後
学習させて概念木を組ませる
LOGLY,Inc. © Copyright, All Rights Reserved.
14
ターゲット
概念の骨格ができたイメージ
ターゲット概念 平行概念
平行概念 平行概念
LOGLY,Inc. © Copyright, All Rights Reserved.
15
ターゲット周辺の概念を調べる
MARPOL 原子力 砕氷船 ムルマンスク
LOGLY,Inc. © Copyright, All Rights Reserved.
16
「北極海航路」の関連情報
北極海航路 ムルマンスク
MARPOL
原子力
砕氷船
LOGLY,Inc. © Copyright, All Rights Reserved.
17
「ムルマンスク」を調べると
北極海航路の重要な都市で、パイプラインの出力場所らしいことが分かる
北極海航路と「原子力」を調べると
北極海航路では原子...
LOGLY,Inc. © Copyright, All Rights Reserved.
18
英語のターゲットの関連情報
LOGLY,Inc. © Copyright, All Rights Reserved.
19
ロシア語のターゲットの関連情報
LOGLY,Inc. © Copyright, All Rights Reserved.
20
中国語のターゲットの関連情報1
LOGLY,Inc. © Copyright, All Rights Reserved.
21
中国語のターゲットの関連情報2
LOGLY,Inc. © Copyright, All Rights Reserved.
22
中国語で「北極海航路」を調べると
連雲港と言う場所が重要な拠点であり
北極海航路はアイスシルクロードと呼ばれていることが分かる
北極海航路の開発は、...
LOGLY,Inc. © Copyright, All Rights Reserved.
23
「北極海航路」を異なる地域や言語で比べた結果
北極海航路 ムルマン
スク
原子力
環境保護
Arctic sea
route
Russia
Arct...
Upcoming SlideShare
Loading in …5
×

Neo4jが可能にするニュースを異なる言語異なる地域で対照的に捉える技術 〜レコメンド開発研究の現場から〜

449 views

Published on

2019/2/21 ログリー主催イベント「.LOG(ドットログ」
第二回アドテクノロジーを支える技術
勉強会発表用資料

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Neo4jが可能にするニュースを異なる言語異なる地域で対照的に捉える技術 〜レコメンド開発研究の現場から〜

  1. 1. LOGLY,Inc. © Copyright, All Rights Reserved ログリー技術部 大久保悟 Neo4jが可能にする ニュースを異なる言語 異なる地域で対照的に捉える技術 〜レコメンド開発研究の現場から〜 ver.1.0
  2. 2. LOGLY,Inc. © Copyright, All Rights Reserved. 2 資源輸送で注目される「北極海航路」を 異なる国や地域で対照的に捉える
  3. 3. LOGLY,Inc. © Copyright, All Rights Reserved. 3 「情報を対照的に捉える」とは? 興味の対象 関連情報 関連情報 関連情報 レコメンドやフェイクニュースの検知に使える
  4. 4. LOGLY,Inc. © Copyright, All Rights Reserved. 4 「興味の対象」を異なる国や地域で対照的に捉える 興味の対象 関連情報 関連情報 関連情報 興味の対象 関連情報 関連情報 興味の対象 関連情報 関連情報 興味の対象 関連情報 関連情報 関連情報 関連情報 日本 ロシア アメリカ 中国 周辺情報の違いを比較する
  5. 5. LOGLY,Inc. © Copyright, All Rights Reserved. 5 Word2vecなどを使うと 人間と機械の概念の違いが問題に! ライオン シマウマ トカゲ 哺乳類 爬虫類 動物 ライオン シマウマ トカゲ 動物園 ペット 動物 人間 機械 なのに上手に修正する手段がない
  6. 6. LOGLY,Inc. © Copyright, All Rights Reserved. 6 w(t-2) w(t-1) w(t+1) w(t+2) W(t) W(t) w(t-2) w(t-1) w(t+1) w(t+2) CBOW SKIP-Gram 文章の分類の制御には膨大な リレーションの管理が必要! そこで登場、Neo4j
  7. 7. LOGLY,Inc. © Copyright, All Rights Reserved. 7 Neo4jの驚異的なAdobe社の成功例 MongoDBの125台のクラスター Casandraに移行して48台のクラスターへ Neo4jに移行して3台のクラスターへ Neo4jで少ないディスク容量、高い利用率、高い機能性
  8. 8. LOGLY,Inc. © Copyright, All Rights Reserved. 8 Neo4jの特徴 • 数千万、数億レコードでも高速 • 多段Joinもインデックスが劣化せずに超高速 • 高速な全文検索 • UTF-8ネイティブ • Java実装で高速な並列処理
  9. 9. LOGLY,Inc. © Copyright, All Rights Reserved. 平行概念 9 対象 上位概念、平行概念を設定 膨大な言葉の統計を管理 対象の周辺に現れる言葉を観測 分析手法のイメージ 関連 情報 関連 情報 関連 情報 ターゲット概念 平行概念 平行概念
  10. 10. LOGLY,Inc. © Copyright, All Rights Reserved. 10 「北極海航路」の属する概念と平行概念を作成
  11. 11. LOGLY,Inc. © Copyright, All Rights Reserved. 11 概念に「概念の種」をセットする
  12. 12. LOGLY,Inc. © Copyright, All Rights Reserved. 12 平行概念に概念の種をセットする
  13. 13. LOGLY,Inc. © Copyright, All Rights Reserved. 13 クロールさせた後 学習させて概念木を組ませる
  14. 14. LOGLY,Inc. © Copyright, All Rights Reserved. 14 ターゲット 概念の骨格ができたイメージ ターゲット概念 平行概念 平行概念 平行概念
  15. 15. LOGLY,Inc. © Copyright, All Rights Reserved. 15 ターゲット周辺の概念を調べる MARPOL 原子力 砕氷船 ムルマンスク
  16. 16. LOGLY,Inc. © Copyright, All Rights Reserved. 16 「北極海航路」の関連情報 北極海航路 ムルマンスク MARPOL 原子力 砕氷船
  17. 17. LOGLY,Inc. © Copyright, All Rights Reserved. 17 「ムルマンスク」を調べると 北極海航路の重要な都市で、パイプラインの出力場所らしいことが分かる 北極海航路と「原子力」を調べると 北極海航路では原子力砕氷船や洋上原子力発電所が重要だと分かる。 MARPOLについて調べると MARPOLはタンカーがひっくり返った場合に、海洋生物が死滅することを 防ぐための条約であることが分かる。
  18. 18. LOGLY,Inc. © Copyright, All Rights Reserved. 18 英語のターゲットの関連情報
  19. 19. LOGLY,Inc. © Copyright, All Rights Reserved. 19 ロシア語のターゲットの関連情報
  20. 20. LOGLY,Inc. © Copyright, All Rights Reserved. 20 中国語のターゲットの関連情報1
  21. 21. LOGLY,Inc. © Copyright, All Rights Reserved. 21 中国語のターゲットの関連情報2
  22. 22. LOGLY,Inc. © Copyright, All Rights Reserved. 22 中国語で「北極海航路」を調べると 連雲港と言う場所が重要な拠点であり 北極海航路はアイスシルクロードと呼ばれていることが分かる 北極海航路の開発は、一帯一路の国家プロジェクトの一環である ことが分かる。
  23. 23. LOGLY,Inc. © Copyright, All Rights Reserved. 23 「北極海航路」を異なる地域や言語で比べた結果 北極海航路 ムルマン スク 原子力 環境保護 Arctic sea route Russia Arctic Проход Северного Ледовитого океана грузовой 北冰洋通道 俄罗斯 冰丝路 連雲港 一帯一路 日本 ロシア アメリカ 中国 中国は「北極海航路」で進んでいるっぽい

×