第3回Twitter API勉強会 - ストリーミングAPI #twtr_hack

Streaming API

Yusuke Yamamoto

Twi$er'API
REST'API' '
' '
' '
' '
' '

:' '
API
:'Java,'Objec8ve9C '

API
Streamed'Tweets'
,' '
Java,'Python,'PHP,'Ruby,'Objec8ve9C '

Web API
' Web'Intents
:'Web '
' @Anywhere
:'HTML,'JavaScript'

Yusuke Yamamoto 2

ストリーミングAPI
• ツイート、DMなどを受信し続けられる
• レートリミットがない
• 利用出来る場面ではREST APIより優先的に利用

• 技術
• 普通のHTTP

• レスポンスに終わりがない

• cometでもWebSocketでもない

Copyright(c) Yusuke Yamamoto All rights reserved.

デモ
$ wget --output-document=- --user=*** --password=*** https://
stream.twitter.com/1/statuses/sample.json


ストリーミングAPIの接続
• 十分に帯域のある環境で利用
• 3G接続は推奨されない(モバイルアプリ不可)

• 再接続アルゴリズムを正しく実装
• アグレッシブに再接続すると一時的に使えなく
なる


再接続アルゴリズム
1. 最初に接続切れを起こした場合

• 即座に再接続を試みる。

2. TCP/IPレベルのネットワークエラーが発生した場合

• 250ミリ秒から始め、最大16秒までエラー毎に250ミリ秒足してい
くなど線形的に待ち時間を増やしていく。

3. HTTPエラー(ステータスコードが201以上)が返った場合

• 10秒から始め、失敗する毎に待ち時間を最大で240秒まで倍ずつ指
数関数的に増やしていく。

• HTTPエラーは認証情報の間違いやプロキシの不具合などアプリ
ケーションの設定に起因する問題の可能性があるのでユーザーへ
通知することも考慮に入れる。

参考: Twitter APIポケットリファレンス P265
https://dev.twitter.com/docs/streaming-api/concepts#connecting

ストリーミングAPIの種類
• Streamed Tweets
• パブリックタイムラインを取得

• User Stream
• 単一ユーザーのタイムライン、イベントを取得

• Site Stream
• 複数ユーザーのタイムライン、イベントを取得


Streamed Tweets
• sample
• ﬁlter
• ﬁrehose
• links
• retweet


sample
• パブリックなツイートのうち1%を取得
• エンドポイント(GET)
‣ https://stream.twitter.com/1/statuses/sample.json

• パラメータ
‣ なし

• レスポンス
‣ statusオブジェクトのjson (REST APIと同じ)


sample
• 使いどころ
• ツイート分析

‣ 言語
‣ クライアント
‣ 流行の固有名詞抽出
• 等々


FAQ
• sample.jsonを複数接続すれば・・・・
• 同じツイートが返るので無意味。１%以上はとれない


ﬁlter
• 指定した条件のツイートを取得
• エンドポイント(POST)
‣ https://stream.twitter.com/1/statuses/ﬁlter.json

• パラメータ
‣ 色々(次ページ)

• レスポンス
‣ statusオブジェクトのjson (REST APIと同じ)


ﬁlterのパラメータ
• follow
• 指定したユーザーIDのツイートを取得
follow=1235,5678

• track
• 指定したキーワードを含むツイートを取得

• 1キーワードは60文字まで

• 日本語はトークナイズされない

‣ 日本語ハッシュタグは指定可能
track=%25twtr_hack,%25twtter4j


ﬁlterのパラメータ(続き)
• locations
• 区域を指定してツイートを取得
locations=138.927,35.500,139.932,35.795

南西北東

139.932,35.795

経度・緯度順なのに注意

138.927,35.500


FAQ
• 日本全体をカバーする区域を指定すれば・・
• ヒットするツイートが多すぎる場合はその旨が通知される
{"limit":{"track":1234}}

• 大量の区域を指定したい場合は？
• 要相談

• プロテクトアカウントのツイートは？
• 取得できない。User StreamかSite Streamを利用


User Stream
• 単一ユーザーのタイムライン、イベントを取得

• 目的: デスクトップの通知ツールなど
• タイムラインのツイート、DM、fav / follow等を受信

• プロテクトアカウントのツイートも受信可能

• 要OAuth( or XAuth)


User Stream
‣ https://userstream.twitter.com/2/user.json

• レスポンス
‣ statusオブジェクトのjson等


Site Stream(beta)
• 複数ユーザーのタイムライン、イベントを取得

• 目的: Twitter連携するサービスなど
• タイムラインのツイート、DM、fav / follow等を受信

• プロテクトアカウントのツイートも受信可能

• 要OAuth


Site Stream
‣ https://sitestream.twitter.com/2b/site.json

• パラメータ
‣ follow: 受信するユーザーIDをカンマ区切りで指定、100人まで

follow=1234,5678,91023,45324....

• レスポンス
‣ statusオブジェクトのjson等


Site Streamのコネクション管理
• 接続時に指定できるユーザーは100人まで
• 事前にOAuth認証しておく必要がある

• コントロールストリームでユーザーの追
加、削除可能

• 1コネクションで最大1000人まで受信可能


コントロールストリーム
• Site Stream接続時にコントロール用エンドポ
イントが返る
{"control": {
"control_uri":"/2b/site/c/1_1_54e345d655ee3e8d"
}}

• RESTでコントロール用エンドポイントを操作
https://sitestream.twitter.com/2b/site/c/1_1_54e345d655ee3e8d"

https://dev.twitter.com/docs/streaming-api/control-streams


コントロールストリームのメソッド

• ユーザーの追加 (POST)
https://sitestream.twitter.com/2b/site/c/****/add_user.json"

• パラメータ

‣ user_id: カンマ区切りのユーザーID(100人まで)


コントロールストリームのメソッド

• ユーザーの削除(POST)
https://sitestream.twitter.com/2b/site/c/****/remove_user.json"

• パラメータ

‣ user_id: カンマ区切りのユーザーID(100人まで)


ベストプラクティス
• とにかく使う
• 参照系はレートリミット回避のためできるかぎりREST
APIよりもStreaming APIを利用

• gzipを使う
• 帯域を節約

• 接続ネットワークを確認
• 3G接続での利用は推奨されない。接続が切られることも


FAQ
• ストリーミングAPIはJavaScriptから使える？
• 使えない。サーバサイドの仕組みが必要

• 1%以上のツイートにアクセスしたい
• http://gnip.com/

• ﬁrehoseは？
• 一般に提供はされていない


Twitter API ポケットリファレンス
• 好評発売中！

http://amzn.to/twtr-ref
Yusuke Yamamoto 27

第3回Twitter API勉強会 - ストリーミングAPI #twtr_hack

More Related Content

What's hot

Similar to 第3回Twitter API勉強会 - ストリーミングAPI #twtr_hack

More from Yusuke Yamamoto

第3回Twitter API勉強会 - ストリーミングAPI #twtr_hack

Editor's Notes