S3とCloudSearchの説明

1. Amazon Simple Storage Service
&
Amazon CloudSearch
NRIネットコム株式会社
佐々木拓郎
2015/2/7JAWSUG関西特別編

2. 佐々木拓郎 @dkfj
課長
AWSの事業推進の他に
モバイルとデータ解析チームの
マネジメントをしています
blog: http://blog.takuros.net
自己紹介

3. ちょっと宣伝
Rubyによるクローラー開発技法
巡回・解析機能の実装と21の運用例
http://amzn.to/1lsJ5id
ジュンク堂書店 コンピュータ書年間
総合ランキング14位

4. もう1つ宣伝
AWS本を執筆中
ある程度、AWSを理解した上で、
・AWSのサービスの選択のポイント
・セキュリティの考え方
・運用のノウハウ
・サードパーティ製の便利なサービスの紹介
・パターン別構築例
もう一歩レベルが上げられるような内容を目指しています。
想定の対象読者は、JAWSUGに参加している皆さんです

5. NRIネットコム
Web周りのビジネスを専門としている会社
• Webシステムの企画・設計・開発・運用
• 24時間365日の運用体制
• デザインを重視し、自社内でディレクタ／デザイナが多数在籍
• スマホ／タブレットも得意
• もちろんAWSをはじめとするクラウドにも力を入れている
会社の紹介

6. Amazon Simple Storage Service

7. 究極のオンライン・ストレージサービス

8. 安価かつ高い耐久性を持つオンライン
ストレージサービス
AWSのストレージサービス
S3
Glacier
StorageGateway
EBS
超安価かつ高い耐久性を持つコールド
ストレージサービス
オンプレミス環境と連携した
バックアップ＆ストレージサービス
仮想サーバ（EC2）にマウントできる
ディスクサービス

9. S3の用語
バケット
オブジェクトの保管場所。バケット名は一意の必要がある
バケット名は、ドメインと同じで早い者勝ち
オブジェクト
S3上に保存されたファイル
99.999999999%の耐久性（イレブン・ナイン）
キー
オブジェクトごとに付与される一意のキー
ディレクトリ構造に似て見えるが実態はフラット構造

10. オンラインストレージ
全てのオブジェクトには、一意のURLが付与
オブジェクトは、APIを通じて操作
とにかく堅牢
3か所以上のデータセンタに自動複製
99.999999999%の耐久性（イレブン・ナイン）
従量課金で安い
1バイト∼5TBまで。オブジェクト数は無制限
1GB／月で約3円
Amazon S3の特徴

11. S3の利用料金（東京リージョン）
データ保存料金
月あたり$0.0330/GB∼
より低コストな低冗長化ストレージもある。$0.0264/GB∼
APIリクエスト料金
PUT,Copy,Post,List 1,000リクエストあたり$0.0047
GET 10,000リクエストあたり$0.0037
データ転送料金
外部からAWS（イン） 無料
AWSから外部へ（アウト）$0.140/GB∼
AWSから別のAWSリージョン $0.090/GB∼

12. 主な機能
アクセスコントロール
ロギング
ライフサイクル機能
バージョニング
イベント通知機能
静的Webサイト機能
相手先払い（DevPay）
Glacier連携

13. 静的Webサイトホスティング機能
S3 Webホスティング費用
・ストレージ料金 $0.033/GB
・リクエスト料金 $0.0037/10,000回
・転送量 $0.140/GB
・300ページビュー 10円程
・3万ページビュー 260円程
・300万ページビュー 2万6千円程

14. デモ
http://youtu.be/er3S2MH6jEY

15. デモ
http://youtu.be/er3S2MH6jEY

16. バケットの作成
一意の
バケット名を入力

17. Websit Hostingの設定
Enable Website
Hostingを選択

18. バケットポリシー（アクセス権限）の設定
{
"Version": "2008-10-17",
"Statement": [
{
"Sid": "AllowPublicRead",
"Effect": "Allow",
"Principal": {
"AWS": "*"
},
"Action": "s3:GetObject",
"Resource": arn:aws:s3:::your-bucke-name/*
}
]
}
対象のバケット名を指定

19. イベント通知
ファイル
Put,Post, etc
通知
SQSキュー
SNSトピック
Lambda Function
（）
S3のオブジェクトに対しての処理を
イベントを検知し、後続の処理を行う
イベント

20. Amazon CloudSearch

21. CloudSearchとは？
Lucene/Solrベースの全文検索エンジン
フリーワードやカテゴリによる検索、検索用の索引づくり
様々なアルゴリズムで順位付け
フルマネージド
Sドキュメントのサイズ／数およびリクエスト数でオートスケール
内部的には、EC2やS3、EMRなど様々なAWSリソースを利用・
コントロール
日本語に対応含め、様々な機能
日本語形態素解析（Bi-gramも利用可能）
サジェスト機能（AutoComplete）

22. 検索エンジンとは？
インデックス
構築器
インデックス
管理器
文章
管理器
インデックス
検索器
検索
アプリ
利用者検索
キーワード
結果
検索
キーワード
結果
一般的な検索エンジンの構造
検索エンジンの内部は、それなりに複雑
複数の機能が連携
インデックスの管理は、地味に大変
CloudSearchは、機能も運用も全部込みのフルマネージドサービス
文章

23. 日本語の検索は、どう動いているの？
形態素解析
日本語 の 検索 は どう 動い て いる の
ストップワードの除去
日本語 検索 動い
インデックス化

25. Q. 自分で検索エンジン作りたいですか？

26. Q. 自分で検索エンジン作りたいですか？

27. Q. 自分で検索エンジン作りたいですか？
A. 趣味で作るのは、楽しそうです。

28. Q. 自分で検索エンジン作りたいですか？
A. 趣味で作るのは、楽しそうです。
仕事として運用するのは嫌です！！

29. Q. 自分で検索エンジン作りたいですか？
A. 趣味で作るのは、楽しそうです。
仕事として運用するのは嫌です！！
検索エンジン自作入門
⇐この本、面白いです。

30. Amazon CloudSearch
お手軽便利

31. 気の効いた機能もあります
検索サジェスト
自分で作るのは大変
入力される度に、入力文字を送信
入力文字列を形態素解析
形態素ごとにサジェストデータベースを検索
結果を返して表示

32. 参考資料
AWS Black Belt Techシリーズ Amazon Simple Storage Service (Amazon S3)
http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belttechwebinar2014s3public
Amazon Simple Storage Service ドキュメント
http://aws.amazon.com/jp/documentation/s3/
第15回 Solr勉強会 #SolrJP Amazon CloudSearch Deep Dive
http://www.slideshare.net/AmazonWebServicesJapan/15-solr-solrjp-amazon-cloudsearch-deep-dive

33. ご静聴、ありがとうございました。