長いの

長いの @emasaka

自己紹介● @emasaka● 本名：高橋正和● 40代フリーター● ブログ「本を読む」http://emasaka.blog65.fc2.com/● ja.wikipedia.orgで「Locator/Identifier Separation Protocol」のページを立てた人● 代表作：Bash on Rails

twitterでオヤジギャグを流す人 ※それはシュレーディンガーです

Twitter

togetterとか● t.coだらけになっちゃう● t.coを展開するとbit.lyだったり

汎用展開のWeb API

Untiny● 多段展開してくれるけどURLは1つのみ

Long URL Please.com● 複数のURLを1リクエストで展開してくれるけど1段のみ

なければ作る

nagaino● 複数URLを多段展開するWeb APIサービス

使い方% curl http://nagaino.herokuapp.com/api/v0/expand?format=json_simple&q=http%3A%2F%2Ft.co%2F2XTGcnPZ&q=http%3A%2F%2Ft.co%2FS5NCrzZD{"status_code":200,"data":{"expand":{"http://t.co/S5NCrzZD":"http://shibuya.lispusers.org/2011/10/18/sltt7lter/","http://t.co/2XTGcnPZ":"http://atnd.org/events/20328"}}}

特性・要件● 参照透過性 ● 同じ入力からは常に同じ出力● 並行性 ● 複数のURLを同時に展開● PaaSで動作 ● マルチコア（たぶん）のサーバーを無料で、自分で管理せずに

Clojure

Heroku便利● Clojure対応してるPaaS

Herokuを使うのに用意するもの● Leiningen ● Leiningenは、Rails 3でいうと、railsコマンドと bundlerとrakeとrvmを足したようなもの● git● Herokuのアカウントとツール

あとは● ringアプリを作る ● ringは、RackとかWSGIとかPlackとかClackとかみたいな層 ● ringじゃなくてもいいかもしれないけど未調査 ● ちなみに、ringの作者のMark McGranaghan （mmcgrana）はHerokuの人

Herokuの使い方

プロジェクトを作る% lein new nagaino% cd nagaino

gitのローカルリポジトリを作る% git init% git add .% git commit m initial commit

アプリを書く(defroutes mainroutes (GET "/" [] "<h1>Hello World Wide Web!</h1>") (route/resources "/") (route/notfound "Page not found"))

Procfileを1行書く% > Procfile <<<web: lein run% git add Procfile% git commit m Procfile

Heroku上にアプリを新規作成する% heroku create stack cedar nagaino

git pushでデプロイ% git push heroku master

これだけでWebアプリが動く

ちなみに、“lein”が“ライン”で“lain”が“レイン”なのは、なんとなく納得いかない気がするけど（ローマ字的に）、まあどうでもいいですね

実装

やることのイメージ("http://t.co/AAA" "http://t.co/BBB" "http://t.co/CCC" ) 　　　　↓("http://bit.ly/XXX" "http://tinyurl.com/YYY" "http://goo.gl/ZZZ" ) 　　　　↓("http://example.com/000" "http://example.jp/111" "http://example.org/222" ) ※URLはイメージです。実際の展開結果には対応しません

全体の流れ ※figures by blockdiag

(defn apiexpand [params] (>> params query>longurl (transformresult (params "format")) (res (:format params)) ))(defroutes route (GET "/api/v0/expand" [:as params] (apiexpand (:queryparams params)) ) (POST "/api/v0/expandText" {params :params} (apiexpandtext params) ) (route/files "/" {:root "./resources/public"}) )

処理本体

(defn expandurls [sq] (>> sq distinct (map #(> % string>nagainourl updatedone )) (expandnagainourls {}) updatecache (map nagainourl>map) ))

展開本体

(defn expandnagainourls1 [table nurls] (let [nurls2 (expandfromcache nurls) table2 (updatetable table nurls2) ] [table2 (map #(>> % (expandfromtable table2) updatestatus ) nurls2 )] ))(defn expandnagainourls [table nurls] (let [[table2 r] (expandnagainourls1 table nurls)] (if (every? :done? r) r (recur table2 r)) ))

HTTPリクエストして変換テーブルを作る

(defn updatetable [table sq] (>> sq (filter #(> % :done? not)) (map #(> % :long_url_path first)) distinct (groupby #(if (refind bitlyurlregex %) :bitlyurls :urls )) (#(map deref (concat (urls>expmseq (:urls %)) (bitlyurls>expmseq (:bitlyurls %)) ))) flatten (reduce (fn [r v] (conj r {(:short_url v) v})) table )))

キャッシュ● 問い合わせは、fetchの:$inで、1フェーズ1クエリで ● SQLのSELECTのIN相当● 保存は、mass-insert!で、1リクエスト1クエリで ● SQLのbulk insert相当● 多段URL展開のサブセットも保存 ● A→B→Cなら、A→B→CとB→Cを保存

TODO● APIのドキュメントを書く● コードをGitHubに上げる ● ブログ記事のコードスニペットをコピペして改造している箇所があるので、その扱いをどうするか…● Clojure 1.3化 ● clojure.contribが1.3に対応してないので…● HTTPクライアントライブラリを変更 ● 作者がもうやめるとかなんとかReadmeに… ● 非同期リクエストとか使ったほうがいいのかな…● 異常系に地味に対応 ● URLが100個とか来たときどうしようか…

http://emasaka.blog65.fc2.com	294
http://webcache.googleusercontent.com	2
http://translate.googleusercontent.com	1

長いの

by emasaka on Oct 22, 2011

Accessibility

Categories

Upload Details

Usage Rights

3 Embeds 297

Statistics

長いの — Presentation Transcript