データマイニングのテロリズム応用

813 views

Published on

非エンジニアも含めた社内プレゼン会の LT 発表内容なのでわりと浅めです。
別の勉強会でまるっと同じ事をやっていたひとがいましたのでありがちな内容なのか。

Published in: Technology
  • Be the first to comment

データマイニングのテロリズム応用

  1. 1. Takami Torao データマイニングのテロリズム応用 2013年7月17日 株式会社オウケイウェイヴ 技術本部 プラットフォーム開発部 鷹見 虎男
  2. 2. Takami Torao データマイニングでテロは防止できるか? 2002年11月、米連邦政府による大規模なデータマイニング計画「テロ情報認知 (TIA)」が明るみになった。  → 「データマイニング」という言葉が広く認知された。 PRISM 米国家安全保障局により2007年から運用されている通信監視プログラム。 は拒否 協力
  3. 3. Takami Torao 実際に使ってみましょう。 Let's commit terrorism act.
  4. 4. Takami Torao めしてろめしてろ!!
  5. 5. Takami Torao 飯テロとは! Mission 最も過激な飯テロを目指して やっぱデータじゃね?
  6. 6. Takami Torao データ収集方法 毎度おなじみ Twitter Sample Stream 全世界の公開ツイートから1%を流してくれるAPI。 秒間30〜120ツイート (一日約450万ツイート) 程度。 誰でも無料で利用可能。 複数本接続しても同じツイートが流れるので意味なし。 Filter 特定ユーザのツイートや、特定の キーワード、ハッシュタグを含む ツイート、特定の緯度/経度内での ツイートを抽出。 Firehose 全公開ツイートを流してくれる API。有料、っつうか年間おいくら 億円契約。
  7. 7. Takami Torao https://github.com/torao/tweet-reflector データ収集の構成 Sample Stream (JSON) 30-120[tw/s] 750-2,200[tw/s] MySQL 5.5 930[MB/day] Riak 1.3 (4 nodes cluster) Local File (CSV) 980[MB/day] 30-120[tw/s] Scala 2.10 Twitter4j
  8. 8. Takami Torao 突然ですが Riak の CM Riak  Amazon Dynamo の論文に基づいて実装された KVS。  Availability 重視型。保存/参照ごとに Consistency, Partition-tolerance を調整可能。  ドキュメント指向、列指向。というより素直にスケールする KVS です。  MapReduce あります。セカンダリインデックスあります。  yum や apt-get で簡単に入ります。  ノードの追加/削除が簡単です。シングルポイントありません。  Erlang です。オープンソース (Apache License 2.0) です。  EngineYard が対応しています。  Solr を組み込んだ検索機能 Yokozuna を開発中ですが  まだインデックスの再作成などができなくて、実用的  なものになりそうかは微妙なところ。
  9. 9. Takami Torao Sample Stream データシート 収集期間: 6月24日(月) – 6月30日(日) の 7 日間 全ツイート数: 32,038,270 日本語ユーザのツイート: 4,597,921 (14.4%) 位置情報付きツイート: 583,234 (1.8%) ユ ザ言 比率ー 語 en ja es pt id ar fr tr ru ko 他 タイムゾ ンー 指定無 Central Time (US & Canada) Eastern Time (US & Canada) Pacific Time (US & Canada) Tokyo Brasilia Bangkok 他
  10. 10. Takami Torao Sample Stream データシート
  11. 11. Takami Torao Sample Stream データシート つぶやきの多い≒人の居る時間は?
  12. 12. Takami Torao Sample Stream データシート 22:30〜23:00のようだ
  13. 13. Takami Torao Sample Stream データシート だが待て。
  14. 14. Takami Torao Sample Stream データシート
  15. 15. Takami Torao 結論 飯テロは 0:00〜0:15 を狙え (日本の場合)

×