Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
Tomohiro Ikeda
10,249 views
AWS Casual2 LT
Engineering
◦
Read more
7
Save
Share
Embed
Embed presentation
Download
Download to read offline
1
/ 45
2
/ 45
3
/ 45
4
/ 45
5
/ 45
6
/ 45
7
/ 45
8
/ 45
9
/ 45
10
/ 45
11
/ 45
12
/ 45
13
/ 45
14
/ 45
15
/ 45
16
/ 45
17
/ 45
18
/ 45
19
/ 45
20
/ 45
21
/ 45
22
/ 45
23
/ 45
24
/ 45
25
/ 45
26
/ 45
27
/ 45
28
/ 45
29
/ 45
30
/ 45
31
/ 45
32
/ 45
33
/ 45
34
/ 45
35
/ 45
36
/ 45
37
/ 45
38
/ 45
39
/ 45
40
/ 45
41
/ 45
42
/ 45
43
/ 45
44
/ 45
45
/ 45
More Related Content
PPTX
EC2でマルチキャスト
by
Kenta Yasukawa
PDF
AWS で concrete5 を 簡単起動!
by
Kazue Igarashi
PDF
JAWS FESTA Tohoku 2014 WordPressとAWSの素敵な関係
by
Kazue Igarashi
PDF
CloudTrail でログとれ〜る
by
Hokuto Hoshi
PDF
20140418 aws-casual-network
by
Yasuhiro Araki, Ph.D
PDF
四国クラウドお遍路20141004
by
Genta Watanabe
PDF
最近やったAWS案件
by
Naoto Ishizawa
PDF
Lvsをvpc上に構築してみた話
by
Yu Komiya
EC2でマルチキャスト
by
Kenta Yasukawa
AWS で concrete5 を 簡単起動!
by
Kazue Igarashi
JAWS FESTA Tohoku 2014 WordPressとAWSの素敵な関係
by
Kazue Igarashi
CloudTrail でログとれ〜る
by
Hokuto Hoshi
20140418 aws-casual-network
by
Yasuhiro Araki, Ph.D
四国クラウドお遍路20141004
by
Genta Watanabe
最近やったAWS案件
by
Naoto Ishizawa
Lvsをvpc上に構築してみた話
by
Yu Komiya
What's hot
PPTX
AWSによるWebサイト構築と運用 - concrete5 編 -
by
Shuji Watanabe
PDF
AWSでアプリ開発するなら 知っておくべこと
by
Keisuke Nishitani
PDF
ACMで作成するSSL証明書の活用
by
Ikuna Wada
PPTX
Multicastが出来ないならUnicastすればいいじゃない
by
Kenta Yasukawa
PDF
AWS Lambdaで作るクローラー/スクレイピング
by
Takuro Sasaki
PDF
Ansible + Packer + CloudFormationでらくらく構築・運用
by
masaomoc1015
PDF
AWSクラウドデザインパターン(CDP) - コンテンツ配信編 -
by
Akio Katayama
PPTX
Lambda Layerの権限制御を試してみた
by
KazukiNabasama
PPTX
EC2上でパケットをミラーリング
by
Kenta Yasukawa
PPTX
Raspberry Piを利用した顔の表情分析と感情を認識するシステム構築
by
Hyunmin Kim
PPTX
20161212 岩本
by
Takahisa Iwamoto
PDF
Tune Up AWS Lambda
by
Keisuke Nishitani
PDF
SPA on AWS
by
yutamuramot
PDF
AWS Summit San Francisco 2017 Werner Vogelsによる基調講演を徹底紹介
by
Eiji Shinohara
PPTX
re:Inventで発表された新サービス「Config Rules」の可能性
by
morisshi
PPTX
Applibot presents Smartphone Game on AWS
by
Kenta Yasukawa
PPTX
Jaws days2017-ops jaws-2
by
Serverworks Co.,Ltd.
PDF
モバイルゲームにおけるAWSの泥臭い使い方
by
Junpei Nakada
PDF
Application Lifecycle Management in a Serverless World
by
Keisuke Nishitani
PDF
AWS認定資格について
by
晋也 古渡
AWSによるWebサイト構築と運用 - concrete5 編 -
by
Shuji Watanabe
AWSでアプリ開発するなら 知っておくべこと
by
Keisuke Nishitani
ACMで作成するSSL証明書の活用
by
Ikuna Wada
Multicastが出来ないならUnicastすればいいじゃない
by
Kenta Yasukawa
AWS Lambdaで作るクローラー/スクレイピング
by
Takuro Sasaki
Ansible + Packer + CloudFormationでらくらく構築・運用
by
masaomoc1015
AWSクラウドデザインパターン(CDP) - コンテンツ配信編 -
by
Akio Katayama
Lambda Layerの権限制御を試してみた
by
KazukiNabasama
EC2上でパケットをミラーリング
by
Kenta Yasukawa
Raspberry Piを利用した顔の表情分析と感情を認識するシステム構築
by
Hyunmin Kim
20161212 岩本
by
Takahisa Iwamoto
Tune Up AWS Lambda
by
Keisuke Nishitani
SPA on AWS
by
yutamuramot
AWS Summit San Francisco 2017 Werner Vogelsによる基調講演を徹底紹介
by
Eiji Shinohara
re:Inventで発表された新サービス「Config Rules」の可能性
by
morisshi
Applibot presents Smartphone Game on AWS
by
Kenta Yasukawa
Jaws days2017-ops jaws-2
by
Serverworks Co.,Ltd.
モバイルゲームにおけるAWSの泥臭い使い方
by
Junpei Nakada
Application Lifecycle Management in a Serverless World
by
Keisuke Nishitani
AWS認定資格について
by
晋也 古渡
Viewers also liked
PDF
fluentd を利用した大規模ウェブサービスのロギング
by
Yuichi Tateno
PPTX
Kafkaを活用するためのストリーム処理の基本
by
Sotaro Kimura
PDF
Fluentdのお勧めシステム構成パターン
by
Kentaro Yoshida
PDF
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
by
Sotaro Kimura
PDF
5分でできる ebfly
by
Kazuyuki Honda
PDF
20140329 modern logging and data analysis pattern on .NET
by
Takayoshi Tanaka
PDF
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
by
Katsushi Yamashita
fluentd を利用した大規模ウェブサービスのロギング
by
Yuichi Tateno
Kafkaを活用するためのストリーム処理の基本
by
Sotaro Kimura
Fluentdのお勧めシステム構成パターン
by
Kentaro Yoshida
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
by
Sotaro Kimura
5分でできる ebfly
by
Kazuyuki Honda
20140329 modern logging and data analysis pattern on .NET
by
Takayoshi Tanaka
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
by
Katsushi Yamashita
Similar to AWS Casual2 LT
PDF
Ph perがawsと出会ってdev opsを目指した話
by
Shota Umeda
PDF
フィードフォースと AWS と私
by
a know
PDF
Data Lake ハンズオン
by
Amazon Web Services Japan
PDF
はじめてのAmazon Web Services
by
SORACOM, INC
PDF
Splunkと各種ツールによるAWSの管理
by
kinunori
PDF
現場的!オンプレとAWSの違い
by
真吾 吉田
PDF
AWS使ってみました
by
Sanehiko Yogi
PDF
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
by
Hibino Hisashi
PDF
オンプレを少しずつコンテナ化する
by
Kenkichi Okazaki
PDF
【公開版】AWS基礎 for 新卒エンジニア
by
鉄次 尾形
PPTX
20140621 july techfesta (JTF2014) 突発**むけAWS
by
Yasuhiro Araki, Ph.D
PDF
AWS Vol.1
by
Ryo Maruyama
PDF
Amazon ECS事始め
by
じゅん なかざ
PDF
インフラエンジニアのお仕事(オンプレ)
by
Shinnosuke Tokuda
PPTX
Cloud on the BEACH 2016 - 会社にAWSを導入した話
by
Naoto Teruya
PPTX
20160909 5年目に突入したAWS運用振り返り
by
Tsuyoshi Hisamatsu
PDF
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
by
Yukitaka Ohmura
PDF
華麗なるElastic Beanstalkでの環境構築
by
Takehito Tanabe
PDF
現場的!AWSとオンプレの違い(赤べこバージョン)
by
真吾 吉田
PPTX
【ヒカ☆ラボ】 株式会社AMG Solution 山口 博史氏登壇資料 20170817
by
leverages_event
Ph perがawsと出会ってdev opsを目指した話
by
Shota Umeda
フィードフォースと AWS と私
by
a know
Data Lake ハンズオン
by
Amazon Web Services Japan
はじめてのAmazon Web Services
by
SORACOM, INC
Splunkと各種ツールによるAWSの管理
by
kinunori
現場的!オンプレとAWSの違い
by
真吾 吉田
AWS使ってみました
by
Sanehiko Yogi
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
by
Hibino Hisashi
オンプレを少しずつコンテナ化する
by
Kenkichi Okazaki
【公開版】AWS基礎 for 新卒エンジニア
by
鉄次 尾形
20140621 july techfesta (JTF2014) 突発**むけAWS
by
Yasuhiro Araki, Ph.D
AWS Vol.1
by
Ryo Maruyama
Amazon ECS事始め
by
じゅん なかざ
インフラエンジニアのお仕事(オンプレ)
by
Shinnosuke Tokuda
Cloud on the BEACH 2016 - 会社にAWSを導入した話
by
Naoto Teruya
20160909 5年目に突入したAWS運用振り返り
by
Tsuyoshi Hisamatsu
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
by
Yukitaka Ohmura
華麗なるElastic Beanstalkでの環境構築
by
Takehito Tanabe
現場的!AWSとオンプレの違い(赤べこバージョン)
by
真吾 吉田
【ヒカ☆ラボ】 株式会社AMG Solution 山口 博史氏登壇資料 20170817
by
leverages_event
More from Tomohiro Ikeda
ODP
Zabbix study
by
Tomohiro Ikeda
PDF
qpstudy3周年記念LT大会
by
Tomohiro Ikeda
PDF
インフラの話
by
Tomohiro Ikeda
PPTX
qpsutdy 201307 LT
by
Tomohiro Ikeda
PDF
Fluentd meetup #2
by
Tomohiro Ikeda
PPT
Zabbix study5lt
by
Tomohiro Ikeda
PPT
MySQL Casual Talks Vol.3 LT
by
Tomohiro Ikeda
PPT
Webサーバ勉強会
by
Tomohiro Ikeda
PPT
Q-1 Twitterグランプリ (qpstudy04 LT)
by
Tomohiro Ikeda
Zabbix study
by
Tomohiro Ikeda
qpstudy3周年記念LT大会
by
Tomohiro Ikeda
インフラの話
by
Tomohiro Ikeda
qpsutdy 201307 LT
by
Tomohiro Ikeda
Fluentd meetup #2
by
Tomohiro Ikeda
Zabbix study5lt
by
Tomohiro Ikeda
MySQL Casual Talks Vol.3 LT
by
Tomohiro Ikeda
Webサーバ勉強会
by
Tomohiro Ikeda
Q-1 Twitterグランプリ (qpstudy04 LT)
by
Tomohiro Ikeda
AWS Casual2 LT
1.
カジュアルなぼくのAWS経験と CloudSearchを触ってみた話 AWS Casual #2
LT @mikeda
2.
自己紹介 • @mikeda • インフラエンジニア • イタンジ株式会社 • 不動産系サービス • 今月入社
3.
今日は • はじめまして! • 4/1からAWSメインの会社に転職しました • というわけで挨拶がてら • 数少ないAWS経験 • 最近検証中のCloudSearch • の話をします!
4.
ぼくのAWS経験
5.
最初の経験
6.
六本木のソシャゲ系の会社 • 初の海外展開(USA) • 2012/?? ※今どうなってるかは知らないです! • 国内は全て都内DCのオンプレ環境
7.
構成
8.
VPC構成
9.
構成 • VPCを使ってオンプレと統一的な運用 • DCとVPN接続 • 外部接続はELBアクセスとVPN経由のみ •
オンプレと同構成のCentOSのAMIを作成 • サーバ起動後の手順は全てオンプレと同じ • サービス系のみの最小構成リリース • 運用/監視系:0台(オンプレの既存システムを使用) • EC2:5台(APP3、Memcach2)、RDS:2台
10.
感想 • 当時あまりVPC情報がなくてたいへんだった • 運用面で課題 • 多セグメント化による複雑性 • オンプレ的な発想? • CookpadさんはAZあたり1セグメント • NATインスタンスの性能、冗長化
11.
2度目の経験
12.
とあるグルメ系サービス • 知り合いから新サービスのインフラ構築を頼まれる • 副業ダメなので焼き肉オゴリで構築を受ける • 週1作業で1ヶ月半 • 0ベースで構築するドキュメントとコードを納品 •
VPC、ELB、EC2、RDS、S3、CloudFront • SES、Route53、CloudWatch • Nginx、Unicorn、Rails、MySQL • Chef、Capistrano、Munin
13.
構成
14.
構成 • NW構成はClassic的な構成 • 1VPC (RDSだけ冗長化のためMultiAZ化) • EC2は全台EIPつける
15.
感想 • 『インフラもコード』を実感 • 1人でできちゃう •
契約不要 • DC • 回線業者 • 各種HWベンダ(NW、サーバ、ストレージ) • メール配信業者 • 中小企業だとインフラ担当〜2人 →長期的な技術レベルの維持が難しい →下に合わせる? →外部の個人に依頼するという選択が現実的に
16.
3度目の経験
17.
現職 • 不動産系のサービスが2つ
18.
構成
19.
感想 • カジュアルすぎるwww • さてこれからどうするか(´・ω・`) • 各種冗長化 • VPC • ELB • CloudFront導入
20.
自宅環境
21.
個人検証環境 • AWSも試そうと思ってだいぶ前に構築 • しかし全部stopして放置。高い • 自宅ViyattaとVPCのVPN接続だけ維持 →これだけで4000円/月とんでいる(´・ω・`) • 作り直し予定 • 自宅サーバ&KVM仮想化をコスト勝ちする方法はある? • r3インスタンス
+ Reservice Instance + Dockerを調査予定
22.
CloudSearch使ってみた
23.
CloudSearchとは
24.
CloudSearch • 全文検索エンジン的なもの • SolrとかElasticSearchのAWS版 • 2012/4/12 ベータ版リリース →でもその後あんまり話を聞かなかった
25.
大幅アップデート @2014/03/25 • 日本語対応&いろいろ機能追加 • えっ!?今までのCloudSearchってなんだったの? ってレベルの改善
26.
検索ASPやってる知人が言ってた • これはヤバイ
27.
興味ある • MySQLで検索つらい • でも • SolrとかElasticSearchを自分で運用するのダルい • JVMよくわからん
28.
というわけで使ってみました • 検索素人な自分でも使えるのか!? • ヒマだったし(´・ω・`)
29.
なにはともあれデモ
30.
デモ環境 • http://cs.mikeda.jp • データ:賃貸情報80万件 EC2 CloudSearch Apache+PHP MySQL ①検索(ID取得) ②データ取出
31.
デモ環境のデータ • フィールド数20 • text:物件名、住所、詳細 • int:家賃、県ID、都市ID、階、階建、最寄り駅からの距離 •
double:面積、敷金、礼金、仲介手数料 • Date:築年月、更新日 • リテラル:方角、物件タイプ(マンション、...) • リテラル配列:こだわり条件 • 数字配列:近隣駅の駅ID
32.
お試し手順 • CloudSearchにドメインを作る • fieldを定義する •
データをJSON化して突っ込む • curl -X POST --upload-file test.json XXX.cloudsearch.amazonaws.com/2013-01-01/documents/batch -- header "Content-Type:application/json” • 検索してみる • curl 'https://XXX.cloudsearch.amazonaws.com/2013-01-01/search? q=mikeda’
33.
数時間で検索できた! • 基本的に • ManagementConsole OR SDKで設定 • REST
& JSON(OR XML)でドキュメント追加&検索
34.
CloudSearchの詳細
35.
構成と自動スケーリング • 勝手にインスタンスタイプと個数が変動する(指定もできる) • スケールアップ(small
→ large →...) • シャーディング(データ分散) • レプリケーション(参照分散)
36.
すごいけど価格見積もりが辛い・・・ • SIMPLE MONTHLY CALCULATORで見積もれる ※基準がイマイチよくわからない
37.
インスタンスタイプと価格 • SIMPLE MONTHLY
CALCULATORでなんとなく見積もり • デフォルトはsmallが1つ • 1K、100万ドキュメントで190万クエリ/日まで増やすとレプリカ+1 • さらにドキュメント数を210万まで増やすとsmall→large • ※ドキュメント数は公式サンプルの場合の想定 →フィールド数11、1ドキュメントあたり1K タイプ ドキュメント数(※) 東京価格/H 東京価格/月 search.m1.small 200 万 $0.13 ¥9,500 search.m1.large 800 万 $0.51 ¥37,500 search.m2.xlarge 1,600 万 $0.71 ¥52,000 search.m2.2xlarge 32,00 万 $1.42 ¥104,000
38.
その他の価格 • ドキュメントバッチのアップロード • 1000回で$0.1 (バッチあたりの最大サイズは5M) →1Kのドキュメントを3000個ずつなら、30万ドキュメントで10円!? •
IndexDocuments リクエスト • フィールド定義変更時などに実行 • 保持データ1Gあたり$0.98(1Kを100万個で1Gくらいらしい) • データ転送 • OUT:$0.201 /GB →平均10Mbps(5Kを毎秒250回)で65,000円/月 • データ転送だけ注意? → returnとhighlight多用するとけっこういくかも
39.
パフォーマンス • インデックス作成 • 3000件ずつ20万件で30分ぐらい • 並列OKらしいのでもっと早くできるかも • 更新の反映 • 1件更新→10秒で反映 • 参照性能 • 本格的な負荷検証は未実施 • 10msから数百ms程度? →今回のデモのログから集計予定
40.
信頼性 • 冗長化はよしなにやってくれる • 状況が見づらいのが辛い? • マルチAZオプションもある
41.
サジェストもある • ボタンで1つで設定できる • 細かい調査はこれから!
42.
カスタマイズ • なんかいじれるらしいです • Stopwords • Stemming • Synonyms
43.
というわけで
44.
まとめ • AWS詳しい人達と仲良くなりたい! • CloudSearch使ってみた • 普通に使えそう • Solr的な魔改造とか細かい調整はできなそう • スニペット取れなそうとか? • 国内の事例、情報がまだほとんどないので辛い →達人出版で『CloudSearch入門』出すチャンス
45.
終わり
Download