Tweetをヒートマップに表示する仕組みを作った。 社内勉強会で発表した内容

1. HeatHash
地図 Twitter NoSQL JPEG

2. HeatHashってなに？
• 世界中でつぶやかれている
Tweetをヒートマップに表示
するシステムです。
• 僕がKLabに入ったきっかけ
です。

3. キーポイント
• Tokyo Cabinetで地理情報を扱っ
てみました。
• keyを工夫してます。GeoHashの
変形です
• HornetQを使ってみました。
• Nettyを使ってみました。
• JPEGをバイトデータの結合だけ
で作ってみました。

4. 目標にしたこと
• 軽い
• 速い
• スケーラブルっぽい
• NoSQL使ってみよう

5. 構成
クローラ TCストアPG タイル画像サーバ
HornetQ TC

6. こんなサーバーで動かして
ます
• Dell Dimension9150
• メモリ4GB
• PentiumD2.8GHz DualCore
• CentOS5.4 64bit
!
• の上のOpenVZ仮想マシン
• 物理マシンの半分くらいのリソース
を割当

7. クローラ部分
• Twitter Streaming APIを使ってます
• tweet垂れ流しのAPI
• Rubyのプログラムで受信して位置情報を持っ
てるのだけHornetQに送信

8. HornetQ
• Javaメッセージングシステム
• RubyとはSTOMPを使って連携
• 疎結合を目指してみた
• tweetを受け取るRubyプログラムとTCに格納
するJavaプログラムを結合

9. TCにストアする部分
• Javaで作成
• tweetに含まれるキーワードをAC法で分類
• TCの空間キーが一致するデータをインクリメ
ント

10. NoSQLと地理情報
• NoSQL>単一のキーの検索は高速
• 二つの座標(X,Y)をどうやって一つのキーで扱うか？
• そこでGeoHash

11. キーの設計1
Lat 35.661913 1691547476
Lon 139.700943 3814180817
メルカトル投影して整数化
1101>01010001のように1bitづつ間をあけて、
Lonだけ1左シフトして論理和する。
空間インデックス -4892471399664340206
左から一致しているビットが多いほど
近いエリアにある点

12. キーの設計2
• キーワードID+地図のズームレベル+空間イン
デックス=TCのキー
• このキーの範囲検索により、地球上の1タイル
領域を選択できる。
• TCで使ったのはBツリーDB

13. Netty
• JavaのNIOクライアントサーバーフレームワー
ク
• 非同期イベント駆動でハイパフォーマンスでハ
イスケーラブル
• これで画像だけ送出するHTTPサーバーを作成
した

14. JPEG生成
• データ構造
• 作る画像 256x256決めうち 8x8のグリッド
• ヘッダはそのまま
• MCUの大きさとRSTブロック

15. JPEGの構造
ヘッダ 画像データはMCU単位
でDCT、量子化、ハフ
量子化テーブル
マン符号化される。
ハフマン符号化テーブル MCUは前のMCUと関連
MCU RST 繰り返し しており、RSTでリ
セットされる。
EOI

16. JPEG生成の処理
• ヘッダと量子化テーブル、ハフマンテーブル
は、あらかじめ用意する
• RSTを必ずMCUの前につければ、用意したバ
イト列の結合だけでJPEG作れちゃうね
• 元になるデータはGimpで作成してバイナリエ
ディタで加工したよ

17. この方法の利点
• 画像を展開するメモリがいらな
い 256x256x4=262144 > 10000
!
• 画像を描画する処理がいらない
• JPEG変換の処理がいらない
• 決められたバイト列を使いまわ
すわけだからキャッシュにも乗
りやすいよね

18. というわけで実演

19. iPadでも見られるよ
• iOS用アプリ作ってみました

20. 地理情報は何が面白い
か？
• リアルに直結した情報
• スマフォなど端末が普及
• 便利、楽しいの可能性
!
• 位置ゲー作ろうぜ！

21. 次回予告
• ガラケーはムービーメーカーの夢を見るか
• 携帯用Webアプリで動画編集に挑戦！