CloudSearch初披露 (2012-05-18 JAWS-UG 札幌 第6回 勉強会)

1,313 views

Published on

CloudSearchって、実は凄いデータベースなんじゃないかな

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,313
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
2
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

CloudSearch初披露 (2012-05-18 JAWS-UG 札幌 第6回 勉強会)

  1. 1. 1位 DynamoDB2位 SimpleDB3位 CloudSearch4位 Route535位 S3
  2. 2. とくがみ りゅういち 東京から来た大阪コアメンバー
  3. 3. 札幌に来た理由
  4. 4. というわけで今日は CloudSearch
  5. 5. まず質問
  6. 6. Resultfacet Result こんな使い方facetfacet Result
  7. 7. { name = 完訳 ファーブル昆虫記 第1巻 上 , author =[ ジャン=アンリ・ファーブル , 奥本 大三郎 ], format =[ 単行本 ], price = 2940 , } { name = ファーブル昆虫記 <1> ふしぎなスカラベ , Result author =[ 奥本 大三郎 ],facet format =[ 単行本 ], price = 1680 , } Result { こんな使い方 name = 完訳 ファーブル昆虫記 <1> (岩波文庫) ,facet author =[ J.H.ファーブル , J.H.Fabre , 山田 吉彦 , 林 達夫 ], format =[ 単行本 ],facet price = 2940 , } Result
  8. 8. 自動でスケール
  9. 9. ちょっとデモ
  10. 10. こんなCloudSearchですが
  11. 11. データもってないと使えない?
  12. 12. ここから事例紹介
  13. 13. うちはクローラ屋さん
  14. 14. だけど万能ではない
  15. 15. 商品名:旭食品 旭 ポンズ 360ml価格:697円
  16. 16. 機械的に収集するには?
  17. 17. セレクタ:span#btAsinTitle 正規表現:<span id= btAsinTitle>(.*?)</span> おそらくこうするセレクタ:td#actualPriceValue>b.priceLarge正規表現:<span id= actualPriceValue .*?¥([D,]+)s</b>
  18. 18. これが1サイトなら問題ない
  19. 19. 100サイト、10000サイトなら?
  20. 20. ....
  21. 21. これを解決する技術 特許取りました
  22. 22. AWS上に実装しサービス化 ユーザ・課金の管理 サービスの窓口API 独自に作った分散処理の仕組み
  23. 23. ユーザ・課金の管理 IAM 課金情報 ユーザ作成 顧客情報http://member.mushikago.org/entry
  24. 24. サービスの窓口 API 負荷api. (subdomain) metadata 増減 認証 message 利用量
  25. 25. 独自に作った分散処理 metadataデータ statusデータ message 利用量データ EC2増減 message数
  26. 26. この仕組みでやっていること HTMLのパース 各ノードに重み付け 最適なノードの抽出と学習 そして、各項目の抜き出し 少しだけ詳しいことは2010/12/16に行われた 第6回JAWS-UG勉強会の資料を見て下さいhttp://www.slideshare.net/tottokug/simpledb
  27. 27. 具体例
  28. 28. 具体例{ name = 完訳 ファーブル昆虫記 第1巻 上 , author =[ ジャン=アンリ・ファーブル , 奥本 大三郎 ], format =[ 単行本 ], price = 2940 ,}{ name = ファーブル昆虫記 <1> ふしぎなスカラベ , author =[ 奥本 大三郎 ], format =[ 単行本 ], price = 1680 ,}{ name = 完訳 ファーブル昆虫記 <1> (岩波文庫) , author =[ J.H.ファーブル , J.H.Fabre , 山田 吉彦 , 林達夫 ], format =[ 単行本 ], price = 2940 ,}
  29. 29. 実装例 { name = 完訳 ファーブル昆虫記 第1巻 上 , CloudFront author =[ ジャン=アンリ・ファーブル , 奥本 大三郎 ], format =[ 単行本 ], 動的コンテンツ price = 2940 , } {html,js name = ファーブル昆虫記 <1> ふしぎなスカラベ , author =[ 奥本 大三郎 ], format =[ 単行本 ], CloudSearch price = 1680 , } { name = 完訳 ファーブル昆虫記 <1> (岩波文庫) , author =[ J.H.ファーブル , J.H.Fabre , 山田 吉彦 , 林 達夫 ], format =[ 単行本 ], price = 2940 , }
  30. 30. ちょっと宣伝hanamgri(はなむぐり)近日β版リリース予定 www.mushikago.org

×