Your SlideShare is downloading. ×
0
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
20130912 「Omiai」を支えるインフラノウハウを大公開!
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

20130912 「Omiai」を支えるインフラノウハウを大公開!

5,504

Published on

【 ヒカ☆ラボ 】会員数20万人を突破した日本最大級のマッチングサービス「Omiai」!!AWSへ2人月での移行、一人インフラエンジニアによるオペレーション等、 …

【 ヒカ☆ラボ 】会員数20万人を突破した日本最大級のマッチングサービス「Omiai」!!AWSへ2人月での移行、一人インフラエンジニアによるオペレーション等、 「Omiai」を支えるインフラノウハウを大公開!
http://atnd.org/events/42277

★講演内容

■Omiaiの紹介

■Omiaiを支えるインフラ
・OmiaiとAWS
・2ヶ月でオンプレミス環境からAWSへと完全移行
・太平洋を越えるトポロジ構築
・AWS運用のノウハウ
・オンプレミス環境とAWSのメリット・デメリット

■アフィリエイト支援ソリューション
・ALLADiN

Published in: Technology
0 Comments
7 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
5,504
On Slideshare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
1
Comments
0
Likes
7
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. ©2013 Net Marketing Corporation. All right resereved. 「Omiai」を支える インフラノウハウを大公開! 株式会社ネットマーケティング 2013/9/18 1
  • 2. ©2013 Net Marketing Corporation. All right resereved. 株式会社ネットマーケティング 〒150-0013 東京都渋谷区恵比寿1丁目20番18号 三富ビル新館10F TEL:03-6408-4105 FAX:03-6408-6897 2004年7月9日 6月 代表取締役 :宮本 邦久 取 締 役 :長野 貴浩 取 締 役 :松本 英樹 社外取締役 :山邉 圭介 2億6,364万円(資本準備金:1億2,682万円) 68名 アフィリエイトエージェント事業 メディア事業 http://www.net-marketing.co.jp/ 社名 本社 設立 決算月 役員 資本金等 社員数 事業内容 URL 会社概要
  • 3. ©2013 Net Marketing Corporation. All right resereved. アフィリエイトエージェント事業 メディア事業 【戦略立案】 プロモーション設計 ・最適な実施条件/KPIの設定 ネットワーク設計 ・最適なASP/メディアの選定 ・プロモーションに適したクリエイティブ制作 【運用支援】 業務効率化 ・アフィリエイトプロモーション一元化 安全運用 ・サイトパトロール/不正アクセス排除 【Facebook関連】 Webマーケティング領域における二つの事業を営んでいます。 【スマートフォン連】 事業概要
  • 4. ©2013 Net Marketing Corporation. All right resereved. 今日のプログラム • プレゼンター紹介 • Omiaiとは • エンジニアから見たOmiai • Omiaiを支えるインフラ • 事前調査 • 設計 • 移行 • オペレーション • クラウドに移行したいアフィリエイトソリューション • ALLADiN • オンプレミスとAWSの比較 2013/9/18 4
  • 5. ©2013 Net Marketing Corporation. All right resereved. プレゼンター紹介 Omiaiを支えるインフラ 2013/9/18 5
  • 6. ©2013 Net Marketing Corporation. All right resereved. 自己紹介 • 久松 剛 • 慶應義塾大学 博士 (政策・メディ ア) • 2000年-2012年 村井純研究室 • WIDE Project、DMC機構などへの参加 • 広帯域リアルタイムストリーミング • 次世代インターネット、PlanetLab、CCNx • 2回くらい仕分けられて2012年6月より現 職 • 一人インフラエンジニア • リスクマネジメント、BCP、採用活動も担当2013/9/18 6
  • 7. ©2013 Net Marketing Corporation. All right resereved. 「学術出身エンジニアから見たIT業 界」 • インターネットコム 技術コラム • http://japan.internet.com/columnist/148/1.html • 学術業界出身のインフラエンジニアの考え • IT業界の変遷 • オンプレミス環境とクラウド • クラウドのメリット・デメリット • 古のオンプレミス環境立て直し • 人材採用 などについて執筆予定 2013/9/18 7
  • 8. ©2013 Net Marketing Corporation. All right resereved. Omiaiとは Omiaiを支えるインフラ 2013/9/18 8
  • 9. ©2013 Net Marketing Corporation. All right resereved. Omiai • Facebookを用いたマッチングサービス • 恋活支援 • 2012年2月21日よりサービス開始 • 登録会員数:213,206 名、累計会員数:309,529 名 • 累計マッチング数:889,566件 • Facebook公開数:231,799回 (2013/8/31時点) 2013/9/18 9
  • 10. ©2013 Net Marketing Corporation. All right resereved. 健全に運営するための取り組み(1/2) • 年齢確認の厳格化 お相手とやり取りを行う前に、 男性はクレジットカード決済による年齢確認、 女性は免許証などの証明書画像、もしくはクレジットカード 決済による年齢確認 を行い、児童でないことの確認を徹底 また、 Facebookで既婚となっている方は、アプリを利用できない仕 組み も実装 「インターネット異性紹介事業を利用して児童を誘引する行 為の規制等に関する法律」に則り、インターネット異性紹介 事業者として、東京都公安委員会に届出をし受理 ※インターネット異性紹介事業届出受理番号: 301200120102013/9/18 10
  • 11. ©2013 Net Marketing Corporation. All right resereved. 健全に運営するための取り組み(2/2) • 24時間365日の監視体制 2013/9/18 11
  • 12. ©2013 Net Marketing Corporation. All right resereved. アプリケーション展開 • PC (2012/2/21〜) • iPhone (2013/4/12〜) • Android (2013/4/1〜) 2013/9/18 12
  • 13. ©2013 Net Marketing Corporation. All right resereved. メディア掲載実績 2013/9/18 13 2013.08.02 女子SPA!に弊社「Omiai」サービスの記事が掲載されました。 2013.07.11 Suits(2013年7月3日発行)に弊社「Omiai」サービスの記事が掲載されました。 2013.01.05 産経新聞(2013年1月25日発行)に弊社「Omiai」サービスの記事が掲載されました。 2012.08.07 AERA(2012年8月13・20日合併増大号)に弊社「Omiai」のサービス内容が掲載されました。 2012.06.27 朝日新聞(2012年6月27日発行)に弊社「Omiai」サービスの記事が掲載されました。 2012.03.27 日本産業新聞(2012年3月27日発行)に弊社「Omiai」サービスの記事が掲載されました。 2012.03.22 ビジネスチャンス2012年5月号に代表取締役:宮本のインタビュー記事が掲載されました。 2012.03.21 週刊東洋経済2012年3月31日号に代表取締役:宮本のコメントが掲載されました。 2012.03.20 Social Game Infoに代表取締役:宮本のインタビュー記事が掲載されました。 2012.03.06 japan.internet.com 「Omiai」マッチング成立数1,000組突破の記事が掲載されました。 ―Facebook のお見合いアプリ 、マッチング成立が1,000組を突破― 2012.02.21 CNET Japan 「Omiai」のFacebookアプリ(β版)公開の記事が掲載されました。 ―Facebookで出会いの安全性を担保—マッチングサービス「omiai」― 2012.02.14 東京IT新聞 日本発!恋愛・結婚マッチングサービスのFBアプリ開発として記事が掲載されました。 ―Facebookを通じ”Omiai”文化を世界に―
  • 14. ©2013 Net Marketing Corporation. All right resereved. エンジニアから見たOmiai Omiaiを支えるインフラ 2013/9/18 14
  • 15. ©2013 Net Marketing Corporation. All right resereved. エンジニアから見たOmiaiのおもしろみ 2013/9/18 15 SNS連携 スマートフォン対応 世界展開視野 ゲームじゃない!
  • 16. ©2013 Net Marketing Corporation. All right resereved. IT業界全般から見たOmiaiの位置づけ 2013/9/18 16 物理網(電話線、光ファイバ、無線) IP (コンピュータとコンピュータの接続) SNS (人と人の接続) SNS+α (人と人が集まって○○) 2000年 IT革命 1995年 Windows95 2004年 facebook Orkut, mixi 2006年 Twitter 2011年 LINE 2001年 Bフレッツ 1999年 ADSL 常時接続 1995年 テレホーダ イ ソーシャルゲーム、 キュレーションサービス、 クラウドソーシング、クラウドファン ディング
  • 17. ©2013 Net Marketing Corporation. All right resereved. 【余談】Omiaiでマッチングするには (1/3) Twitterに 「インフラのことより知りたい」 とありました… 2013/9/18 17
  • 18. ©2013 Net Marketing Corporation. All right resereved. 【余談】Omiaiでマッチングするには (2/3) • いいね!を貰うポイント • 顔の分かる顔写真 • サブ写真もきちんと登録する • しっかりと書き込んだ自己紹介文 • よく見返して気持ち悪くない文章を心掛ける • 趣味趣向に個性をチラ見せする • ペットの話題は盛り上がるらしい • 詳細プロフィールもしっかりと埋める • 年収だけじゃない! 2013/9/18 18
  • 19. ©2013 Net Marketing Corporation. All right resereved. 【余談】Omiaiでマッチングするには (3/3) • マッチングするポイント • お相手へのいいね!をしっかりと押し切る • 受け身でいいね!が来るタイプのサービスではな い • オリジナルメッセージ or プライベート質問 • どこに魅力を感じたか、どこに共通点があるかを 語る • 趣味 • ペット • 好きな食べ物 • 出身地・住んでいる地域・主な活動場所 • 最近見た映画 などなど 2013/9/18 19
  • 20. ©2013 Net Marketing Corporation. All right resereved. Omiaiを支えるインフラ Omiaiを支えるインフラ 2013/9/18 20
  • 21. ©2013 Net Marketing Corporation. All right resereved. 目次 • AWS事前調査 • インフラ設計のポイント • 2人月でオンプレミス環境から移行する • 太平洋を越えるトポロジ構築 • オンプレミス環境とAWSを比較して 2013/9/18 21
  • 22. ©2013 Net Marketing Corporation. All right resereved. AWS事前調査 Omiaiを支えるインフラ 2013/9/18 22
  • 23. ©2013 Net Marketing Corporation. All right resereved. AWS事前調査 • 移行先をどうするか • 強いオンプレミスにするか • AWSにするか • 他社クラウドか • 一人で面倒見切れるかどうか • 各クラウドソリューションがどの程度安定し ているのか・実例があるのか不安 • データセンターに24時間365日駆けつける V.S. • オンラインで対応できるが、よく落ちる 2013/9/18 23
  • 24. ©2013 Net Marketing Corporation. All right resereved. AWSと障害 • クラウドに対する信頼の調査 • 入社時には既に複数のレンタルサーバ、非 AWSクラウド環境有り • トポロジの自由度が極めて低い • 予告無し再起動 • 低いセキュリティ設定 → 信頼性の低さが目に余る • 割くことができる運用コスト:極小 • インフラエンジニア:1名… → 導入決定を前に過去の大規模障害を調査 2013/9/18 24
  • 25. ©2013 Net Marketing Corporation. All right resereved. AWSと障害 2011 • 2011.4.21 - 24 • N. Virginiaリージョン • メインの2本のネットワークを1本に集約する作 業 • 誤ってメイン回線がオーバーフローした際の追加用低 速ネットワークに接続 • 4.21 AM 12:47障害発生 • 4.24 午後ほぼ復旧 • EC2、EMR、ElastiCache、RDS、Elastic Beans talkに 影響 • 単一AZで運用していたユーザの45%が影響 • 複数AZで運用していたユーザはほぼ継続利用が可能 • 2.5%についてはフェイルオーバー部分にバグがあり、障害
  • 26. ©2013 Net Marketing Corporation. All right resereved. AWSと障害 2012 • 2012.6.30 • N. Virginiaリージョン • 激しい雷雨に伴う停電 • 6.29 PM8:00 障害発生 • 6.29 PM11:19 • インスタンスの50%回復 • ストレージの33%回復 • 6.30 AM10:25 ほぼ復旧 • 2012.12.24 – 2012.12.25 • N.Virginiaリージョン • ELBのAPIエラーレートが上昇
  • 27. ©2013 Net Marketing Corporation. All right resereved. AWS障害まとめ • 障害の可能性は0ではない • 特に利用者の多いN.Virginiaは多い • インスタンスの不具合は数ヶ月に1度あるか無い か • 弱いインスタンスの方が影響を受ける印象 • オンプレミスでも変わらないと思われる • メンテナンス予告の方が面倒 • 後述 • 複数のAZにまたがって運用するのは必須 • 大規模障害でサービス停止したサービスは単一 AZである傾向が強い • コストからすると複数のクラウドサービスに跨 がって分散するほどではない
  • 28. ©2013 Net Marketing Corporation. All right resereved. インフラ設計のポイント Omiaiを支えるインフラ 2013/9/18 28
  • 29. ©2013 Net Marketing Corporation. All right resereved. インフラ設計のポイント(含、1年の振返) (1/2) • Security Groupはよーく考えてからインスタンスを作成 する • 仕様上、後からGroupの追加はできない • トポロジ構成で失敗する方がリカバリできるのでマシだったり する… • 後述 • 複数のAZを使う • Availability Zone単位で不通になる可能性を考える • パフォーマンス的にはAZ跨ぎはやや低下する • 後述 2013/9/18 29
  • 30. ©2013 Net Marketing Corporation. All right resereved. インフラ設計のポイント(含、1年の振返) (2/2) • S3を活用してできるだけ粘る • 大規模災害で関東(Tokyo Region)が無くなったら諦める • EBSに依存しすぎない • ネットワーク障害でEBSが応答しなくなることがある • 含、EBS backedインスタンス 2013/9/18 30
  • 31. ©2013 Net Marketing Corporation. All right resereved. git Server DB Servers NFS Servers Admin Front-end Servers Route 53 ap-northeast-1 CloudWatch Staging EnvironmentDebug Environment ElastiCache ElastiCache ap-northeast-1 dev mail, batch ElastiCache omiai-jp.comapi.omiai-jp.com EBS git BackupSyslogAMI EBS syslog EBSEBS Secondary NFS Primary NFS dev NFS EBS dev ap-northeast-1 WWWWWW WWW EBS EBS EBS admin EBS EBS EBS EBS EBS EBS EBS WWW WWW EBS EBS EBS EBS us-east-2 us-east-2 ElastiCache 横展開によるサーバ拡張 Readアクセスが9割 参照系を 中心にした 米国展開 冗長構成の徹底
  • 32. ©2013 Net Marketing Corporation. All right resereved. サーバの特性とインスタンスタイプ • EBS backed インスタンス • 消えるとマズい、データ保存あり • 希に内部ネットワークの不調でEBSが応答しなく なる • オンプレミス環境出身エンジニアから見ると安 心 → MySQL, NFS, syslog-ng • S3 backed インスタンス • 消えても良い、データ保存はほぼ無し • Deployすれば済む、一過性の処理を行うものなど • 増やしやすい • クラウドらしい感じ → www, batch 2013/9/18 32
  • 33. ©2013 Net Marketing Corporation. All right resereved. Security Group • 仮想ファイヤウォール • インスタンスセットアップ時にGroupを指定す る • 各Groupの編集:可 • インスタンスセットアップ後のGroupの追加:不可 → ポリシーを決めてからセットアップをしないと汚い設定まっ しぐら • 一応の解法? • Omiaiの反省を元にAppToYouにて適応 • 本番環境・ステージング環境・テスト環境毎の共有SG • サービス毎(WWW、MySQL、NFS)のSG • 監視サービスについては別途共有SG 2013/9/18 33
  • 34. ©2013 Net Marketing Corporation. All right resereved. 2人月でオンプレミス環境から移行す る Omiaiを支えるインフラ 2013/9/18 34
  • 35. ©2013 Net Marketing Corporation. All right resereved. 2人月でオンプレミス環境から移行する • 2012年6月下旬入社〜7月末 • AWSの勉強 • 古のオンプレミス環境の立て直し • 事業継続 機材とデータの延命 • 設計・移行計画 • 極力プログラムに変更は無いように • 2012年8月〜9月末 • 作業 • 2012年10月3日 • AWSへ移行! 2013/9/18 35 2ヶ月
  • 36. ©2013 Net Marketing Corporation. All right resereved. 実際のRedmine • 他社見積もり • 10人月 • Omiaiでの実際の工数 • 2人月 (1人×2ヶ月) • 2人月内訳 • インストール • 設定 • 負荷試験 • 動作検証 • 移行リハーサル 2013/9/18 36
  • 37. ©2013 Net Marketing Corporation. All right resereved. AMI活用によるスピードアップ • スピードアップのポイント 1. インスタンスのタイプ別にサーバを分ける • S3 backed インスタンス • EBS backed インスタンス 2. 機能別にセットアップ計画を立てる • ポイントごとにAMIを作成 • 並行作業できるように計画の最適化を重点的に 3. セットアップ計画に基づいて作業をする • セットアップ、AMIの作成、セットアップ、AMIの作成…と 繰り返す • 余談:牧歌的だったオンプレミスなあの頃 • セットアップスピードが遅く • 並行作業するものがなく… • セットアップ中にPSしてる人とか居たなぁ…(大学 時代)2013/9/18 37
  • 38. ©2013 Net Marketing Corporation. All right resereved. EBS-backed インスタンスとAMI 2013/9/18 38 base MySQL Master MySQL Slave syslog NFS NFS Stand-by 基本セットアップ アカウント設定 syslog-ng 設定 EBSチューニング 開発用 NFS 開発環境 MySQL パラメータ チューニング ・作業内容の共通箇所をまとめて親子関係にする ・負荷試験なども合わせ、並行作業を心掛ける
  • 39. ©2013 Net Marketing Corporation. All right resereved. 太平洋を越えるトポロジ構 築 Omiaiを支えるインフラ 2013/9/18 39
  • 40. ©2013 Net Marketing Corporation. All right resereved. 米国リージョンのどれを使うか • Oregonリージョンの選択 • 日本からのTTLが短め • 安い • N. Virginiaは勇気が要る 2013/9/18 40
  • 41. ©2013 Net Marketing Corporation. All right resereved. 太平洋を越えるトポロジ構築 (1/3) • Omiaiならではのトラフィック特性 • Write : Read = 1 : 9 • プライバシの都合でCloudFront利用不可 • 国を超えたマッチングをしたいという運営の 意向 • 統一されたDBの必要性 → 参照系サーバのみをOregonに展開 2013/9/18 41
  • 42. ©2013 Net Marketing Corporation. All right resereved. 太平洋を越えるトポロジ構築 (2/3) • 開発者の苦悩 • rsyncによるデプロイが終わらない • 東京リージョン内の40倍かかる → lsyncdによる常時同期 • gitHubからのデプロイを検討中 2013/9/18 42
  • 43. ©2013 Net Marketing Corporation. All right resereved. 太平洋を越えるトポロジ構築 (3/3) • 広告担当の苦悩・デプロイ担当の苦悩 • Facebookがアメリカ国内に展開している広告 を見たい • アメリカできちんとOmiaiが表示できている か確認したい • Facebookのデザイン変更などはアメリカが先行 • オレゴン環境の動作検証 → vyatta によるVPN + WEB Proxy 2013/9/18 43
  • 44. ©2013 Net Marketing Corporation. All right resereved. AWS運用ノウハウ Omiaiを支えるインフラ 2013/9/18 44
  • 45. ©2013 Net Marketing Corporation. All right resereved. Availability Zoneを見直す • それまでのOmiai • BCPを目的にTokyoリージョンの3つを最大限に利用 • 2013年某月某日 • 一部インスタンスが追加できないAZがある • 1a, 1b, 1cのどれかはユーザーによって見せ方が違 う → 当該AZのWWW、スレーブDBの引越を決意 2013/9/18 45
  • 46. ©2013 Net Marketing Corporation. All right resereved. 複数AZとパフォーマンス • AZとWWWサーバ・マ スタ/スレーブDBの関 係 • 各状況別WWWサーバ のLoad Average a) 同一AZ内にマスタ・ スレーブDBがある b) 同一AZ内にスレーブ DBがある c) マスタ・スレーブDB は他AZにある • パフォーマンス • a > b >>>>>> c • スレーブへのアクセ スは同一AZ内で完 結!2013/9/18 46 a b c
  • 47. ©2013 Net Marketing Corporation. All right resereved. git Server DB Servers NFS Servers Admin Front-end Servers Route 53 ap-northeast-1 CloudWatch Staging EnvironmentDebug Environment ElastiCache ElastiCache ap-northeast-1 dev mail, batch ElastiCache omiai-jp.comapi.omiai-jp.com EBS git BackupSyslogAMI EBS syslog EBSEBS Secondary NFS Primary NFS dev NFS EBS dev ap-northeast-1 WWWWWW WWW EBS EBS EBS admin EBS EBS EBS EBS EBS EBS EBS WWW WWW EBS EBS EBS EBS us-east-2 us-east-2 ElastiCache Before
  • 48. ©2013 Net Marketing Corporation. All right resereved. git Server DB Servers NFS Servers Front-end Servers Route 53 ap-northeast-1 CloudWatch Staging EnvironmentDebug Environment ElastiCache ElastiCache ap-northeast-1 dev Elastic Load Balancer omiai-jp.comapi.omiai-jp.com EBS git BackupSyslogAMI EBS Primary NFS dev NFS EBS dev ap-northeast-1 WWW EBS EBS EBS mail, batch ElastiCache WWW EBS EBS EBS 管理者 専有DB Admin EBS syslog EBS Secondary NFS admin EBS EBS WWW WWW EBS EBS EBS EBS us-east-2 us-east-2 ElastiCache After
  • 49. ©2013 Net Marketing Corporation. All right resereved. 赤紙(メンテナンス予告) • ハードウェア・ネットワーク 関係 • 約2週間〜1ヶ月前に届く • 広範囲なメンテナンスもあり • Omiaiの場合全インスタンスの1 割に届いたことも • 運の良い人には届かない • 求められる対応パターン a) Stop/Start b) Restart c) 運が悪ければネットワーク断 • 引き金となった障害 • JST 10:00になった瞬間にイン スタンスが応答しなくなった • オペレーションが集中? • 過去に1度だけ経験 • Smallインスタンスだったので 影響が大きかった可能性 2013/9/18 49
  • 50. ©2013 Net Marketing Corporation. All right resereved. 赤紙の対応方法 • メールをよく読む! • 対応方法についての指示をよく読む • 勝手に再起動した!と騒ぐようなことが無いよ うに • 届いたら速やかに対応する • 期限まで2週間程度が普通 • 放っておくと駆け込みメンテナンスに遭遇する ことも • 祈る • メールが届きませんように…! • 面倒なインスタンスが指定されませんように…!2013/9/18 50
  • 51. ©2013 Net Marketing Corporation. All right resereved. Omiai今後の展望 • Amazon Dynamo DBの導入 • メッセージ機能の分離 • Mobile Pushの導入 • 効率的なプッシュ通知の実現 • 海外展開 • 欧米・アジア • 伝送遅延時間等を加味したリージョン選択 2013/9/18 51
  • 52. ©2013 Net Marketing Corporation. All right resereved. アフィリエイトソリューション ALLADiN クラウドになりたいインフラ 2013/9/18 52
  • 53. ©2013 Net Marketing Corporation. All right resereved. ALLADiN ALLADiNも支えるインフラ 2013/9/18 53
  • 54. ©2013 Net Marketing Corporation. All right resereved. ALLADiNとは(1/3) 2013/9/18 54 • アフィリエイト支援ソリューション • 企業戦略に対する貢献性の高いアフィリエイ トマーケティングの提供 • 戦略立案 • 運用支援 • 費用対効果 • ワンタグによる複数ASP一括管理 • 複数ASPの運用を一括管理 • 運用リソース削減:システム連携/メディア管 理 • レポート等の数値確認 • 複数ASP管理画面⇒1つの管理画面
  • 55. ©2013 Net Marketing Corporation. All right resereved. ALLADiNとは(2/3) 2013/9/18 55 広告主(クライアント) ASP メ デ ィ ア メ デ ィ ア メ デ ィ ア ASP メ デ ィ ア メ デ ィ ア メ デ ィ ア ASP メ デ ィ ア メ デ ィ ア メ デ ィ ア 一元管理
  • 56. ©2013 Net Marketing Corporation. All right resereved. ALLADiNとは(3/3) 2013/9/18 56 • 2007年よりサービス開始 • 大手クライアント:実績多数 • 某エステ • 某ECサイト • 某保険会社 ...etc • 売上/営利:順調に推移 • サービス拡大に向けた取組み • クライアント/メディアにとって魅力的な機 能提供 • 新サービス企画/立上げ
  • 57. ©2013 Net Marketing Corporation. All right resereved. ALLADiN:課題(1/4) 順調のように見えますが システム面での課題が山積み です... 2013/9/18 57
  • 58. ©2013 Net Marketing Corporation. All right resereved. ALLADiN:課題(2/4) 2013/9/18 58 • オンプレミス環境 • 某データセンターへ設置 • インフラ調達時間 • サーバ発注/設置/OSインストール・・・ • コスト • NW機器/サーバ機器:購入/保守 • 必要な時にだけサーバが欲しい • 余剰リソースにもコストが発生 • まだまだベンチャー、無駄なコストはカット!
  • 59. ©2013 Net Marketing Corporation. All right resereved. ALLADiN:課題(3/4) 2013/9/18 59 • 図にすると・・・ www Server www Server Admin_pool Tracking_pool DB DB Server Load Balancing Internet Load Balancing
  • 60. ©2013 Net Marketing Corporation. All right resereved. ALLADiN:課題(4/4) 2013/9/18 60 • サーバ構成 • システム都合上、WWWサーバでNFS使用中 • NFS障害発生時、予期せぬ不具合・・・ • DB(スレーブ:予備)/NFS兼用サーバ • 複雑な構成・・・ • 運用 • 手動による作業が多い • 手動でデプロイしたり・・・ • バッチ関連 • 全てCronで設定→数多すぎ・・・
  • 61. ©2013 Net Marketing Corporation. All right resereved. ALLADiN AWS移行計画 ALLADiNも支えるインフラ 2013/9/18 61
  • 62. ©2013 Net Marketing Corporation. All right resereved. ALLADiN AWS化のポイント • システム断 = 売り上げ損失 • 徹底した冗長化、入念なBCP対応 • MySQL 5.6 mysqlfailover? • 高い堅牢性 • 脱NFS?全てS3? • 時折不安定になるEBSからS3へ • 技術的な挑戦 • fluentdによるログ管理 • 良ければOmiaiのsyslog-ngをリプレイス? • Jenkinsの導入 • Omiai等のノウハウを元に 2013/9/18 62
  • 63. ©2013 Net Marketing Corporation. All right resereved. ALLADiN AWSトポロジ(予定) 2013/9/18 63 SSH EBS admin EBS admin DB Servers Front-end Servers Route 53 CloudWatch Elastic Load Balancer af-mark.jp (Tracking) BackupSyslogAMI EBSEBS EBS EBS WWW WWWWWW WWW all-adin.jp (Admin)
  • 64. ©2013 Net Marketing Corporation. All right resereved. オンプレミス環境とAWSを比較 して Omiaiを支えるインフラ 2013/9/18 64
  • 65. ©2013 Net Marketing Corporation. All right resereved. クラウド(AWS)で良かったこと 1. コストが従量課金 • サービス開始時の心配事が尐ない • データセンター選定、ラック確保、電源確保、機 材確保、機材サポート、ネットワーク回線契約な どなど • 増設も撤収も簡単 2. ハードウェアの備えがほぼ不要 • 障害復旧のために機材を買いに朝一で{ヨド バシ, 秋葉原}へ!が無い • 予備の機材をストックする必要も無い 3. オペレーション場所の制限がない → 次項 2013/9/18 65
  • 66. ©2013 Net Marketing Corporation. All right resereved. オペレーション場所の制限が無い • オンプレミス環境の場合 • オンラインだと対応しきれない障害はDCへ → 移動時間で+1時間などがざらに発生 キーマンが出張中・休暇中で青ざめることも多々 • クラウド環境の場合 • インスタンスのON/OFFもブラウザ越しにできる • インスタンスの増設もオンラインでできる →オンラインになれれば遠隔地に居ても何とかなる 夜中でもベッドから這い出してPCの前に座ればOK iPad mini+BT KBで遠隔対応するIEがこちらになります 2013/9/18 66
  • 67. ©2013 Net Marketing Corporation. All right resereved. クラウド(AWS)で「…」だったこと 1. 良くも悪くも共有環境 2. 物理的な状況が問い合わせをしないと見え ない 3. メンテナンス計画や成長計画が運用会社次 第 4. データ管理の委託とサービス終了の懸念 2013/9/18 67
  • 68. ©2013 Net Marketing Corporation. All right resereved. AWS(クラウド)オペレータに必要な こと • 学習意欲 • AWS用語大杉 • 担当営業の方に「Office認定試験みたいにそ のうちなるんじゃないですか?」と言った 数ヶ月後にAWS認定プログラムが開始 • 柔らかい頭 • オンプレミスっぽくトポロジも組めるが… • トポロジの制約、耐障害性、発展性が??? 2013/9/18 68
  • 69. ©2013 Net Marketing Corporation. All right resereved. AWS(クラウド)オペレータに必要な こと • 障害切り分けの勘所 • どこが悪い?アプリ?インスタンス?EBS? ハードウェア?ネットワーク? • オンプレミス環境のノウハウ • サービスが大きくなると必要 • それまではしっかりバックアップ&取りあえ ず再起動 • アマゾンデータサービスとの定期的な MTG • 新サービスやインフラ等のニュースソース • 懸念事項の相談2013/9/18 69

×