Successfully reported this slideshow.
Your SlideShare is downloading. ×

ソーシャル・ニュースリーダー「Crowsnest」におけるTwitterのリアルタイム解析と情報整理の未来

Advertisement

ソーシャル・ニュースリーダー「Crowsnest」におけるTwitterのリアルタイム解析と情報整理の未来

  1. 1. Crowsnest Twitter 12 1 30
  2. 2. • • @kaiseh • TopHatenar, Blogopolis 12 1 30
  3. 3. • Web • 12 1 30
  4. 4. • Web Twitter URL 12 1 30
  5. 5. • Twitter • Twitter 12 1 30
  6. 6. • Twitter • • RT 12 1 30
  7. 7. • RT Twitter • Google Twitter 12 1 30
  8. 8. • • URL • • 12 1 30
  9. 9. http://www.crowsnest.tv/ 12 1 30
  10. 10. • Crowsnest • 12 1 30
  11. 11. : URL ✴ • URL ✴Crowsnest • URL 12 1 30
  12. 12. : ✴ •< , ID > ✴Crowsnest •< ID, ID > 12 1 30
  13. 13. : ✴ • • ✴Crowsnest • ID • 12 1 30
  14. 14. : ✴ • URL ✴Crowsnest • : URL 12 1 30
  15. 15. • Crowsnest • Crowsnest • Web 12 1 30
  16. 16. • • Flipboard Cover Stories • Summify 12 1 30
  17. 17. 12 1 30
  18. 18. Flipboard 12 1 30
  19. 19. • Crowsnest 12 1 30
  20. 20. URL • Search API (search.json) • “http” • Streaming API (statuses/filter.json) • “http” • Timelines API (statuses/home_timeline.json) • 12 1 30
  21. 21. • 80 distinct URLs / sec • 6.9M distinct URLs / day • 2.3 Tweets / URL • 15.9M Tweets / day • 72 URL 12 1 30
  22. 22. Crowsnest (1) • • Crowsnest • Apache Solr 12 1 30
  23. 23. Crowsnest (2) • • → , , , , , , , , bigram • Crowsnest • 1000 → ID1, ID2, ... , ID1000 12 1 30
  24. 24. • Java • • • 12 1 30
  25. 25. • URL→ ID • URL • URL • • 12 1 30
  26. 26. • • • ID 32 • etc 12 1 30
  27. 27. • fastutil • Map<Integer, Integer> Int2IntMap • 1 • 12 1 30
  28. 28. • • URL • • Simple9 • MessagePack 12 1 30
  29. 29. ID 32 • 64 ... • 32 ID 12 1 30
  30. 30. Web Fetcher Fetcher Fetcher Indexer Indexer Indexer In-Memory In-Memory In-Memory Index Index Index MySQL 12 1 30
  31. 31. Crowsnest • iOS • • URL • 12 1 30
  32. 32. • Web • • 12 1 30
  33. 33. http://www.crowsnest.tv/ 12 1 30

×