Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

JAWSUG Osaka S3 CloudSearch

9,316 views

Published on

S3とCloudSearchの説明

Published in: Internet
  • Be the first to comment

JAWSUG Osaka S3 CloudSearch

  1. 1. Amazon Simple Storage Service & Amazon CloudSearch NRIネットコム株式会社  佐々木拓郎 2015/2/7JAWSUG関西特別編
  2. 2. 佐々木拓郎 @dkfj 課長 AWSの事業推進の他に モバイルとデータ解析チームの マネジメントをしています blog: http://blog.takuros.net 自己紹介
  3. 3. ちょっと宣伝 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 http://amzn.to/1lsJ5id ジュンク堂書店 コンピュータ書年間 総合ランキング14位
  4. 4. もう1つ宣伝 AWS本を執筆中 ある程度、AWSを理解した上で、 ・AWSのサービスの選択のポイント ・セキュリティの考え方 ・運用のノウハウ ・サードパーティ製の便利なサービスの紹介 ・パターン別構築例 もう一歩レベルが上げられるような内容を目指しています。 想定の対象読者は、JAWSUGに参加している皆さんです
  5. 5. NRIネットコム Web周りのビジネスを専門としている会社 • Webシステムの企画・設計・開発・運用 • 24時間365日の運用体制 • デザインを重視し、自社内でディレクタ/デザイナが多数在籍 • スマホ/タブレットも得意 • もちろんAWSをはじめとするクラウドにも力を入れている 会社の紹介
  6. 6. Amazon Simple Storage Service
  7. 7. 究極のオンライン・ストレージサービス
  8. 8. 安価かつ高い耐久性を持つオンライン ストレージサービス AWSのストレージサービス S3 Glacier StorageGateway EBS 超安価かつ高い耐久性を持つコールド ストレージサービス オンプレミス環境と連携した バックアップ&ストレージサービス 仮想サーバ(EC2)にマウントできる ディスクサービス
  9. 9. S3の用語 バケット オブジェクトの保管場所。バケット名は一意の必要がある バケット名は、ドメインと同じで早い者勝ち オブジェクト S3上に保存されたファイル 99.999999999%の耐久性(イレブン・ナイン) キー オブジェクトごとに付与される一意のキー ディレクトリ構造に似て見えるが実態はフラット構造
  10. 10. オンラインストレージ 全てのオブジェクトには、一意のURLが付与 オブジェクトは、APIを通じて操作 とにかく堅牢 3か所以上のデータセンタに自動複製 99.999999999%の耐久性(イレブン・ナイン) 従量課金で安い 1バイト∼5TBまで。オブジェクト数は無制限 1GB/月で約3円 Amazon S3の特徴
  11. 11. S3の利用料金(東京リージョン) データ保存料金 月あたり$0.0330/GB∼ より低コストな低冗長化ストレージもある。$0.0264/GB∼ APIリクエスト料金 PUT,Copy,Post,List 1,000リクエストあたり$0.0047 GET 10,000リクエストあたり$0.0037 データ転送料金 外部からAWS(イン) 無料 AWSから外部へ(アウト)$0.140/GB∼ AWSから別のAWSリージョン $0.090/GB∼
  12. 12. 主な機能 アクセスコントロール ロギング ライフサイクル機能 バージョニング イベント通知機能 静的Webサイト機能 相手先払い(DevPay) Glacier連携
  13. 13. 静的Webサイトホスティング機能 S3 Webホスティング費用 ・ストレージ料金 $0.033/GB ・リクエスト料金 $0.0037/10,000回 ・転送量 $0.140/GB ・300ページビュー 10円程 ・3万ページビュー 260円程 ・300万ページビュー 2万6千円程
  14. 14. デモ http://youtu.be/er3S2MH6jEY
  15. 15. デモ http://youtu.be/er3S2MH6jEY
  16. 16. バケットの作成 一意の バケット名を入力
  17. 17. Websit Hostingの設定 Enable Website Hostingを選択
  18. 18. バケットポリシー(アクセス権限)の設定 { "Version": "2008-10-17", "Statement": [ { "Sid": "AllowPublicRead", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": "s3:GetObject", "Resource": arn:aws:s3:::your-bucke-name/* } ] } 対象のバケット名を指定
  19. 19. イベント通知 ファイル Put,Post, etc 通知 SQSキュー SNSトピック Lambda Function () S3のオブジェクトに対しての処理を イベントを検知し、後続の処理を行う イベント
  20. 20. Amazon CloudSearch
  21. 21. CloudSearchとは? Lucene/Solrベースの全文検索エンジン フリーワードやカテゴリによる検索、検索用の索引づくり 様々なアルゴリズムで順位付け フルマネージド Sドキュメントのサイズ/数およびリクエスト数でオートスケール 内部的には、EC2やS3、EMRなど様々なAWSリソースを利用・ コントロール 日本語に対応含め、様々な機能 日本語形態素解析(Bi-gramも利用可能) サジェスト機能(AutoComplete)
  22. 22. 検索エンジンとは? インデックス 構築器 インデックス 管理器 文章 管理器 インデックス 検索器 検索 アプリ 利用者検索 キーワード 結果 検索 キーワード 結果 一般的な検索エンジンの構造 検索エンジンの内部は、それなりに複雑 複数の機能が連携 インデックスの管理は、地味に大変 CloudSearchは、機能も運用も全部込みのフルマネージドサービス 文章
  23. 23. 日本語の検索は、どう動いているの? 形態素解析 日本語 の 検索 は どう 動い て いる の ストップワードの除去 日本語 検索 動い インデックス化
  24. 24. Q. 自分で検索エンジン作りたいですか?
  25. 25. Q. 自分で検索エンジン作りたいですか?
  26. 26. Q. 自分で検索エンジン作りたいですか? A. 趣味で作るのは、楽しそうです。
  27. 27. Q. 自分で検索エンジン作りたいですか? A. 趣味で作るのは、楽しそうです。 仕事として運用するのは嫌です!!
  28. 28. Q. 自分で検索エンジン作りたいですか? A. 趣味で作るのは、楽しそうです。 仕事として運用するのは嫌です!! 検索エンジン自作入門 ⇐この本、面白いです。
  29. 29. Amazon CloudSearch お手軽便利
  30. 30. 気の効いた機能もあります 検索サジェスト 自分で作るのは大変 入力される度に、入力文字を送信 入力文字列を形態素解析 形態素ごとにサジェストデータベースを検索 結果を返して表示
  31. 31. 参考資料 AWS Black Belt Techシリーズ Amazon Simple Storage Service (Amazon S3) http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belttechwebinar2014s3public Amazon Simple Storage Service ドキュメント http://aws.amazon.com/jp/documentation/s3/ 第15回 Solr勉強会 #SolrJP Amazon CloudSearch Deep Dive http://www.slideshare.net/AmazonWebServicesJapan/15-solr-solrjp-amazon-cloudsearch-deep-dive
  32. 32. ご静聴、ありがとうございました。

×