20130912 「Omiai」を支えるインフラノウハウを大公開!

6,447 views

Published on

【 ヒカ☆ラボ 】会員数20万人を突破した日本最大級のマッチングサービス「Omiai」!!AWSへ2人月での移行、一人インフラエンジニアによるオペレーション等、 「Omiai」を支えるインフラノウハウを大公開!
http://atnd.org/events/42277

★講演内容

■Omiaiの紹介

■Omiaiを支えるインフラ
・OmiaiとAWS
・2ヶ月でオンプレミス環境からAWSへと完全移行
・太平洋を越えるトポロジ構築
・AWS運用のノウハウ
・オンプレミス環境とAWSのメリット・デメリット

■アフィリエイト支援ソリューション
・ALLADiN

Published in: Technology
0 Comments
7 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
6,447
On SlideShare
0
From Embeds
0
Number of Embeds
1,244
Actions
Shares
0
Downloads
1
Comments
0
Likes
7
Embeds 0
No embeds

No notes for slide

20130912 「Omiai」を支えるインフラノウハウを大公開!

  1. 1. ©2013 Net Marketing Corporation. All right resereved. 「Omiai」を支える インフラノウハウを大公開! 株式会社ネットマーケティング 2013/9/18 1
  2. 2. ©2013 Net Marketing Corporation. All right resereved. 株式会社ネットマーケティング 〒150-0013 東京都渋谷区恵比寿1丁目20番18号 三富ビル新館10F TEL:03-6408-4105 FAX:03-6408-6897 2004年7月9日 6月 代表取締役 :宮本 邦久 取 締 役 :長野 貴浩 取 締 役 :松本 英樹 社外取締役 :山邉 圭介 2億6,364万円(資本準備金:1億2,682万円) 68名 アフィリエイトエージェント事業 メディア事業 http://www.net-marketing.co.jp/ 社名 本社 設立 決算月 役員 資本金等 社員数 事業内容 URL 会社概要
  3. 3. ©2013 Net Marketing Corporation. All right resereved. アフィリエイトエージェント事業 メディア事業 【戦略立案】 プロモーション設計 ・最適な実施条件/KPIの設定 ネットワーク設計 ・最適なASP/メディアの選定 ・プロモーションに適したクリエイティブ制作 【運用支援】 業務効率化 ・アフィリエイトプロモーション一元化 安全運用 ・サイトパトロール/不正アクセス排除 【Facebook関連】 Webマーケティング領域における二つの事業を営んでいます。 【スマートフォン連】 事業概要
  4. 4. ©2013 Net Marketing Corporation. All right resereved. 今日のプログラム • プレゼンター紹介 • Omiaiとは • エンジニアから見たOmiai • Omiaiを支えるインフラ • 事前調査 • 設計 • 移行 • オペレーション • クラウドに移行したいアフィリエイトソリューション • ALLADiN • オンプレミスとAWSの比較 2013/9/18 4
  5. 5. ©2013 Net Marketing Corporation. All right resereved. プレゼンター紹介 Omiaiを支えるインフラ 2013/9/18 5
  6. 6. ©2013 Net Marketing Corporation. All right resereved. 自己紹介 • 久松 剛 • 慶應義塾大学 博士 (政策・メディ ア) • 2000年-2012年 村井純研究室 • WIDE Project、DMC機構などへの参加 • 広帯域リアルタイムストリーミング • 次世代インターネット、PlanetLab、CCNx • 2回くらい仕分けられて2012年6月より現 職 • 一人インフラエンジニア • リスクマネジメント、BCP、採用活動も担当2013/9/18 6
  7. 7. ©2013 Net Marketing Corporation. All right resereved. 「学術出身エンジニアから見たIT業 界」 • インターネットコム 技術コラム • http://japan.internet.com/columnist/148/1.html • 学術業界出身のインフラエンジニアの考え • IT業界の変遷 • オンプレミス環境とクラウド • クラウドのメリット・デメリット • 古のオンプレミス環境立て直し • 人材採用 などについて執筆予定 2013/9/18 7
  8. 8. ©2013 Net Marketing Corporation. All right resereved. Omiaiとは Omiaiを支えるインフラ 2013/9/18 8
  9. 9. ©2013 Net Marketing Corporation. All right resereved. Omiai • Facebookを用いたマッチングサービス • 恋活支援 • 2012年2月21日よりサービス開始 • 登録会員数:213,206 名、累計会員数:309,529 名 • 累計マッチング数:889,566件 • Facebook公開数:231,799回 (2013/8/31時点) 2013/9/18 9
  10. 10. ©2013 Net Marketing Corporation. All right resereved. 健全に運営するための取り組み(1/2) • 年齢確認の厳格化 お相手とやり取りを行う前に、 男性はクレジットカード決済による年齢確認、 女性は免許証などの証明書画像、もしくはクレジットカード 決済による年齢確認 を行い、児童でないことの確認を徹底 また、 Facebookで既婚となっている方は、アプリを利用できない仕 組み も実装 「インターネット異性紹介事業を利用して児童を誘引する行 為の規制等に関する法律」に則り、インターネット異性紹介 事業者として、東京都公安委員会に届出をし受理 ※インターネット異性紹介事業届出受理番号: 301200120102013/9/18 10
  11. 11. ©2013 Net Marketing Corporation. All right resereved. 健全に運営するための取り組み(2/2) • 24時間365日の監視体制 2013/9/18 11
  12. 12. ©2013 Net Marketing Corporation. All right resereved. アプリケーション展開 • PC (2012/2/21〜) • iPhone (2013/4/12〜) • Android (2013/4/1〜) 2013/9/18 12
  13. 13. ©2013 Net Marketing Corporation. All right resereved. メディア掲載実績 2013/9/18 13 2013.08.02 女子SPA!に弊社「Omiai」サービスの記事が掲載されました。 2013.07.11 Suits(2013年7月3日発行)に弊社「Omiai」サービスの記事が掲載されました。 2013.01.05 産経新聞(2013年1月25日発行)に弊社「Omiai」サービスの記事が掲載されました。 2012.08.07 AERA(2012年8月13・20日合併増大号)に弊社「Omiai」のサービス内容が掲載されました。 2012.06.27 朝日新聞(2012年6月27日発行)に弊社「Omiai」サービスの記事が掲載されました。 2012.03.27 日本産業新聞(2012年3月27日発行)に弊社「Omiai」サービスの記事が掲載されました。 2012.03.22 ビジネスチャンス2012年5月号に代表取締役:宮本のインタビュー記事が掲載されました。 2012.03.21 週刊東洋経済2012年3月31日号に代表取締役:宮本のコメントが掲載されました。 2012.03.20 Social Game Infoに代表取締役:宮本のインタビュー記事が掲載されました。 2012.03.06 japan.internet.com 「Omiai」マッチング成立数1,000組突破の記事が掲載されました。 ―Facebook のお見合いアプリ 、マッチング成立が1,000組を突破― 2012.02.21 CNET Japan 「Omiai」のFacebookアプリ(β版)公開の記事が掲載されました。 ―Facebookで出会いの安全性を担保—マッチングサービス「omiai」― 2012.02.14 東京IT新聞 日本発!恋愛・結婚マッチングサービスのFBアプリ開発として記事が掲載されました。 ―Facebookを通じ”Omiai”文化を世界に―
  14. 14. ©2013 Net Marketing Corporation. All right resereved. エンジニアから見たOmiai Omiaiを支えるインフラ 2013/9/18 14
  15. 15. ©2013 Net Marketing Corporation. All right resereved. エンジニアから見たOmiaiのおもしろみ 2013/9/18 15 SNS連携 スマートフォン対応 世界展開視野 ゲームじゃない!
  16. 16. ©2013 Net Marketing Corporation. All right resereved. IT業界全般から見たOmiaiの位置づけ 2013/9/18 16 物理網(電話線、光ファイバ、無線) IP (コンピュータとコンピュータの接続) SNS (人と人の接続) SNS+α (人と人が集まって○○) 2000年 IT革命 1995年 Windows95 2004年 facebook Orkut, mixi 2006年 Twitter 2011年 LINE 2001年 Bフレッツ 1999年 ADSL 常時接続 1995年 テレホーダ イ ソーシャルゲーム、 キュレーションサービス、 クラウドソーシング、クラウドファン ディング
  17. 17. ©2013 Net Marketing Corporation. All right resereved. 【余談】Omiaiでマッチングするには (1/3) Twitterに 「インフラのことより知りたい」 とありました… 2013/9/18 17
  18. 18. ©2013 Net Marketing Corporation. All right resereved. 【余談】Omiaiでマッチングするには (2/3) • いいね!を貰うポイント • 顔の分かる顔写真 • サブ写真もきちんと登録する • しっかりと書き込んだ自己紹介文 • よく見返して気持ち悪くない文章を心掛ける • 趣味趣向に個性をチラ見せする • ペットの話題は盛り上がるらしい • 詳細プロフィールもしっかりと埋める • 年収だけじゃない! 2013/9/18 18
  19. 19. ©2013 Net Marketing Corporation. All right resereved. 【余談】Omiaiでマッチングするには (3/3) • マッチングするポイント • お相手へのいいね!をしっかりと押し切る • 受け身でいいね!が来るタイプのサービスではな い • オリジナルメッセージ or プライベート質問 • どこに魅力を感じたか、どこに共通点があるかを 語る • 趣味 • ペット • 好きな食べ物 • 出身地・住んでいる地域・主な活動場所 • 最近見た映画 などなど 2013/9/18 19
  20. 20. ©2013 Net Marketing Corporation. All right resereved. Omiaiを支えるインフラ Omiaiを支えるインフラ 2013/9/18 20
  21. 21. ©2013 Net Marketing Corporation. All right resereved. 目次 • AWS事前調査 • インフラ設計のポイント • 2人月でオンプレミス環境から移行する • 太平洋を越えるトポロジ構築 • オンプレミス環境とAWSを比較して 2013/9/18 21
  22. 22. ©2013 Net Marketing Corporation. All right resereved. AWS事前調査 Omiaiを支えるインフラ 2013/9/18 22
  23. 23. ©2013 Net Marketing Corporation. All right resereved. AWS事前調査 • 移行先をどうするか • 強いオンプレミスにするか • AWSにするか • 他社クラウドか • 一人で面倒見切れるかどうか • 各クラウドソリューションがどの程度安定し ているのか・実例があるのか不安 • データセンターに24時間365日駆けつける V.S. • オンラインで対応できるが、よく落ちる 2013/9/18 23
  24. 24. ©2013 Net Marketing Corporation. All right resereved. AWSと障害 • クラウドに対する信頼の調査 • 入社時には既に複数のレンタルサーバ、非 AWSクラウド環境有り • トポロジの自由度が極めて低い • 予告無し再起動 • 低いセキュリティ設定 → 信頼性の低さが目に余る • 割くことができる運用コスト:極小 • インフラエンジニア:1名… → 導入決定を前に過去の大規模障害を調査 2013/9/18 24
  25. 25. ©2013 Net Marketing Corporation. All right resereved. AWSと障害 2011 • 2011.4.21 - 24 • N. Virginiaリージョン • メインの2本のネットワークを1本に集約する作 業 • 誤ってメイン回線がオーバーフローした際の追加用低 速ネットワークに接続 • 4.21 AM 12:47障害発生 • 4.24 午後ほぼ復旧 • EC2、EMR、ElastiCache、RDS、Elastic Beans talkに 影響 • 単一AZで運用していたユーザの45%が影響 • 複数AZで運用していたユーザはほぼ継続利用が可能 • 2.5%についてはフェイルオーバー部分にバグがあり、障害
  26. 26. ©2013 Net Marketing Corporation. All right resereved. AWSと障害 2012 • 2012.6.30 • N. Virginiaリージョン • 激しい雷雨に伴う停電 • 6.29 PM8:00 障害発生 • 6.29 PM11:19 • インスタンスの50%回復 • ストレージの33%回復 • 6.30 AM10:25 ほぼ復旧 • 2012.12.24 – 2012.12.25 • N.Virginiaリージョン • ELBのAPIエラーレートが上昇
  27. 27. ©2013 Net Marketing Corporation. All right resereved. AWS障害まとめ • 障害の可能性は0ではない • 特に利用者の多いN.Virginiaは多い • インスタンスの不具合は数ヶ月に1度あるか無い か • 弱いインスタンスの方が影響を受ける印象 • オンプレミスでも変わらないと思われる • メンテナンス予告の方が面倒 • 後述 • 複数のAZにまたがって運用するのは必須 • 大規模障害でサービス停止したサービスは単一 AZである傾向が強い • コストからすると複数のクラウドサービスに跨 がって分散するほどではない
  28. 28. ©2013 Net Marketing Corporation. All right resereved. インフラ設計のポイント Omiaiを支えるインフラ 2013/9/18 28
  29. 29. ©2013 Net Marketing Corporation. All right resereved. インフラ設計のポイント(含、1年の振返) (1/2) • Security Groupはよーく考えてからインスタンスを作成 する • 仕様上、後からGroupの追加はできない • トポロジ構成で失敗する方がリカバリできるのでマシだったり する… • 後述 • 複数のAZを使う • Availability Zone単位で不通になる可能性を考える • パフォーマンス的にはAZ跨ぎはやや低下する • 後述 2013/9/18 29
  30. 30. ©2013 Net Marketing Corporation. All right resereved. インフラ設計のポイント(含、1年の振返) (2/2) • S3を活用してできるだけ粘る • 大規模災害で関東(Tokyo Region)が無くなったら諦める • EBSに依存しすぎない • ネットワーク障害でEBSが応答しなくなることがある • 含、EBS backedインスタンス 2013/9/18 30
  31. 31. ©2013 Net Marketing Corporation. All right resereved. git Server DB Servers NFS Servers Admin Front-end Servers Route 53 ap-northeast-1 CloudWatch Staging EnvironmentDebug Environment ElastiCache ElastiCache ap-northeast-1 dev mail, batch ElastiCache omiai-jp.comapi.omiai-jp.com EBS git BackupSyslogAMI EBS syslog EBSEBS Secondary NFS Primary NFS dev NFS EBS dev ap-northeast-1 WWWWWW WWW EBS EBS EBS admin EBS EBS EBS EBS EBS EBS EBS WWW WWW EBS EBS EBS EBS us-east-2 us-east-2 ElastiCache 横展開によるサーバ拡張 Readアクセスが9割 参照系を 中心にした 米国展開 冗長構成の徹底
  32. 32. ©2013 Net Marketing Corporation. All right resereved. サーバの特性とインスタンスタイプ • EBS backed インスタンス • 消えるとマズい、データ保存あり • 希に内部ネットワークの不調でEBSが応答しなく なる • オンプレミス環境出身エンジニアから見ると安 心 → MySQL, NFS, syslog-ng • S3 backed インスタンス • 消えても良い、データ保存はほぼ無し • Deployすれば済む、一過性の処理を行うものなど • 増やしやすい • クラウドらしい感じ → www, batch 2013/9/18 32
  33. 33. ©2013 Net Marketing Corporation. All right resereved. Security Group • 仮想ファイヤウォール • インスタンスセットアップ時にGroupを指定す る • 各Groupの編集:可 • インスタンスセットアップ後のGroupの追加:不可 → ポリシーを決めてからセットアップをしないと汚い設定まっ しぐら • 一応の解法? • Omiaiの反省を元にAppToYouにて適応 • 本番環境・ステージング環境・テスト環境毎の共有SG • サービス毎(WWW、MySQL、NFS)のSG • 監視サービスについては別途共有SG 2013/9/18 33
  34. 34. ©2013 Net Marketing Corporation. All right resereved. 2人月でオンプレミス環境から移行す る Omiaiを支えるインフラ 2013/9/18 34
  35. 35. ©2013 Net Marketing Corporation. All right resereved. 2人月でオンプレミス環境から移行する • 2012年6月下旬入社〜7月末 • AWSの勉強 • 古のオンプレミス環境の立て直し • 事業継続 機材とデータの延命 • 設計・移行計画 • 極力プログラムに変更は無いように • 2012年8月〜9月末 • 作業 • 2012年10月3日 • AWSへ移行! 2013/9/18 35 2ヶ月
  36. 36. ©2013 Net Marketing Corporation. All right resereved. 実際のRedmine • 他社見積もり • 10人月 • Omiaiでの実際の工数 • 2人月 (1人×2ヶ月) • 2人月内訳 • インストール • 設定 • 負荷試験 • 動作検証 • 移行リハーサル 2013/9/18 36
  37. 37. ©2013 Net Marketing Corporation. All right resereved. AMI活用によるスピードアップ • スピードアップのポイント 1. インスタンスのタイプ別にサーバを分ける • S3 backed インスタンス • EBS backed インスタンス 2. 機能別にセットアップ計画を立てる • ポイントごとにAMIを作成 • 並行作業できるように計画の最適化を重点的に 3. セットアップ計画に基づいて作業をする • セットアップ、AMIの作成、セットアップ、AMIの作成…と 繰り返す • 余談:牧歌的だったオンプレミスなあの頃 • セットアップスピードが遅く • 並行作業するものがなく… • セットアップ中にPSしてる人とか居たなぁ…(大学 時代)2013/9/18 37
  38. 38. ©2013 Net Marketing Corporation. All right resereved. EBS-backed インスタンスとAMI 2013/9/18 38 base MySQL Master MySQL Slave syslog NFS NFS Stand-by 基本セットアップ アカウント設定 syslog-ng 設定 EBSチューニング 開発用 NFS 開発環境 MySQL パラメータ チューニング ・作業内容の共通箇所をまとめて親子関係にする ・負荷試験なども合わせ、並行作業を心掛ける
  39. 39. ©2013 Net Marketing Corporation. All right resereved. 太平洋を越えるトポロジ構 築 Omiaiを支えるインフラ 2013/9/18 39
  40. 40. ©2013 Net Marketing Corporation. All right resereved. 米国リージョンのどれを使うか • Oregonリージョンの選択 • 日本からのTTLが短め • 安い • N. Virginiaは勇気が要る 2013/9/18 40
  41. 41. ©2013 Net Marketing Corporation. All right resereved. 太平洋を越えるトポロジ構築 (1/3) • Omiaiならではのトラフィック特性 • Write : Read = 1 : 9 • プライバシの都合でCloudFront利用不可 • 国を超えたマッチングをしたいという運営の 意向 • 統一されたDBの必要性 → 参照系サーバのみをOregonに展開 2013/9/18 41
  42. 42. ©2013 Net Marketing Corporation. All right resereved. 太平洋を越えるトポロジ構築 (2/3) • 開発者の苦悩 • rsyncによるデプロイが終わらない • 東京リージョン内の40倍かかる → lsyncdによる常時同期 • gitHubからのデプロイを検討中 2013/9/18 42
  43. 43. ©2013 Net Marketing Corporation. All right resereved. 太平洋を越えるトポロジ構築 (3/3) • 広告担当の苦悩・デプロイ担当の苦悩 • Facebookがアメリカ国内に展開している広告 を見たい • アメリカできちんとOmiaiが表示できている か確認したい • Facebookのデザイン変更などはアメリカが先行 • オレゴン環境の動作検証 → vyatta によるVPN + WEB Proxy 2013/9/18 43
  44. 44. ©2013 Net Marketing Corporation. All right resereved. AWS運用ノウハウ Omiaiを支えるインフラ 2013/9/18 44
  45. 45. ©2013 Net Marketing Corporation. All right resereved. Availability Zoneを見直す • それまでのOmiai • BCPを目的にTokyoリージョンの3つを最大限に利用 • 2013年某月某日 • 一部インスタンスが追加できないAZがある • 1a, 1b, 1cのどれかはユーザーによって見せ方が違 う → 当該AZのWWW、スレーブDBの引越を決意 2013/9/18 45
  46. 46. ©2013 Net Marketing Corporation. All right resereved. 複数AZとパフォーマンス • AZとWWWサーバ・マ スタ/スレーブDBの関 係 • 各状況別WWWサーバ のLoad Average a) 同一AZ内にマスタ・ スレーブDBがある b) 同一AZ内にスレーブ DBがある c) マスタ・スレーブDB は他AZにある • パフォーマンス • a > b >>>>>> c • スレーブへのアクセ スは同一AZ内で完 結!2013/9/18 46 a b c
  47. 47. ©2013 Net Marketing Corporation. All right resereved. git Server DB Servers NFS Servers Admin Front-end Servers Route 53 ap-northeast-1 CloudWatch Staging EnvironmentDebug Environment ElastiCache ElastiCache ap-northeast-1 dev mail, batch ElastiCache omiai-jp.comapi.omiai-jp.com EBS git BackupSyslogAMI EBS syslog EBSEBS Secondary NFS Primary NFS dev NFS EBS dev ap-northeast-1 WWWWWW WWW EBS EBS EBS admin EBS EBS EBS EBS EBS EBS EBS WWW WWW EBS EBS EBS EBS us-east-2 us-east-2 ElastiCache Before
  48. 48. ©2013 Net Marketing Corporation. All right resereved. git Server DB Servers NFS Servers Front-end Servers Route 53 ap-northeast-1 CloudWatch Staging EnvironmentDebug Environment ElastiCache ElastiCache ap-northeast-1 dev Elastic Load Balancer omiai-jp.comapi.omiai-jp.com EBS git BackupSyslogAMI EBS Primary NFS dev NFS EBS dev ap-northeast-1 WWW EBS EBS EBS mail, batch ElastiCache WWW EBS EBS EBS 管理者 専有DB Admin EBS syslog EBS Secondary NFS admin EBS EBS WWW WWW EBS EBS EBS EBS us-east-2 us-east-2 ElastiCache After
  49. 49. ©2013 Net Marketing Corporation. All right resereved. 赤紙(メンテナンス予告) • ハードウェア・ネットワーク 関係 • 約2週間〜1ヶ月前に届く • 広範囲なメンテナンスもあり • Omiaiの場合全インスタンスの1 割に届いたことも • 運の良い人には届かない • 求められる対応パターン a) Stop/Start b) Restart c) 運が悪ければネットワーク断 • 引き金となった障害 • JST 10:00になった瞬間にイン スタンスが応答しなくなった • オペレーションが集中? • 過去に1度だけ経験 • Smallインスタンスだったので 影響が大きかった可能性 2013/9/18 49
  50. 50. ©2013 Net Marketing Corporation. All right resereved. 赤紙の対応方法 • メールをよく読む! • 対応方法についての指示をよく読む • 勝手に再起動した!と騒ぐようなことが無いよ うに • 届いたら速やかに対応する • 期限まで2週間程度が普通 • 放っておくと駆け込みメンテナンスに遭遇する ことも • 祈る • メールが届きませんように…! • 面倒なインスタンスが指定されませんように…!2013/9/18 50
  51. 51. ©2013 Net Marketing Corporation. All right resereved. Omiai今後の展望 • Amazon Dynamo DBの導入 • メッセージ機能の分離 • Mobile Pushの導入 • 効率的なプッシュ通知の実現 • 海外展開 • 欧米・アジア • 伝送遅延時間等を加味したリージョン選択 2013/9/18 51
  52. 52. ©2013 Net Marketing Corporation. All right resereved. アフィリエイトソリューション ALLADiN クラウドになりたいインフラ 2013/9/18 52
  53. 53. ©2013 Net Marketing Corporation. All right resereved. ALLADiN ALLADiNも支えるインフラ 2013/9/18 53
  54. 54. ©2013 Net Marketing Corporation. All right resereved. ALLADiNとは(1/3) 2013/9/18 54 • アフィリエイト支援ソリューション • 企業戦略に対する貢献性の高いアフィリエイ トマーケティングの提供 • 戦略立案 • 運用支援 • 費用対効果 • ワンタグによる複数ASP一括管理 • 複数ASPの運用を一括管理 • 運用リソース削減:システム連携/メディア管 理 • レポート等の数値確認 • 複数ASP管理画面⇒1つの管理画面
  55. 55. ©2013 Net Marketing Corporation. All right resereved. ALLADiNとは(2/3) 2013/9/18 55 広告主(クライアント) ASP メ デ ィ ア メ デ ィ ア メ デ ィ ア ASP メ デ ィ ア メ デ ィ ア メ デ ィ ア ASP メ デ ィ ア メ デ ィ ア メ デ ィ ア 一元管理
  56. 56. ©2013 Net Marketing Corporation. All right resereved. ALLADiNとは(3/3) 2013/9/18 56 • 2007年よりサービス開始 • 大手クライアント:実績多数 • 某エステ • 某ECサイト • 某保険会社 ...etc • 売上/営利:順調に推移 • サービス拡大に向けた取組み • クライアント/メディアにとって魅力的な機 能提供 • 新サービス企画/立上げ
  57. 57. ©2013 Net Marketing Corporation. All right resereved. ALLADiN:課題(1/4) 順調のように見えますが システム面での課題が山積み です... 2013/9/18 57
  58. 58. ©2013 Net Marketing Corporation. All right resereved. ALLADiN:課題(2/4) 2013/9/18 58 • オンプレミス環境 • 某データセンターへ設置 • インフラ調達時間 • サーバ発注/設置/OSインストール・・・ • コスト • NW機器/サーバ機器:購入/保守 • 必要な時にだけサーバが欲しい • 余剰リソースにもコストが発生 • まだまだベンチャー、無駄なコストはカット!
  59. 59. ©2013 Net Marketing Corporation. All right resereved. ALLADiN:課題(3/4) 2013/9/18 59 • 図にすると・・・ www Server www Server Admin_pool Tracking_pool DB DB Server Load Balancing Internet Load Balancing
  60. 60. ©2013 Net Marketing Corporation. All right resereved. ALLADiN:課題(4/4) 2013/9/18 60 • サーバ構成 • システム都合上、WWWサーバでNFS使用中 • NFS障害発生時、予期せぬ不具合・・・ • DB(スレーブ:予備)/NFS兼用サーバ • 複雑な構成・・・ • 運用 • 手動による作業が多い • 手動でデプロイしたり・・・ • バッチ関連 • 全てCronで設定→数多すぎ・・・
  61. 61. ©2013 Net Marketing Corporation. All right resereved. ALLADiN AWS移行計画 ALLADiNも支えるインフラ 2013/9/18 61
  62. 62. ©2013 Net Marketing Corporation. All right resereved. ALLADiN AWS化のポイント • システム断 = 売り上げ損失 • 徹底した冗長化、入念なBCP対応 • MySQL 5.6 mysqlfailover? • 高い堅牢性 • 脱NFS?全てS3? • 時折不安定になるEBSからS3へ • 技術的な挑戦 • fluentdによるログ管理 • 良ければOmiaiのsyslog-ngをリプレイス? • Jenkinsの導入 • Omiai等のノウハウを元に 2013/9/18 62
  63. 63. ©2013 Net Marketing Corporation. All right resereved. ALLADiN AWSトポロジ(予定) 2013/9/18 63 SSH EBS admin EBS admin DB Servers Front-end Servers Route 53 CloudWatch Elastic Load Balancer af-mark.jp (Tracking) BackupSyslogAMI EBSEBS EBS EBS WWW WWWWWW WWW all-adin.jp (Admin)
  64. 64. ©2013 Net Marketing Corporation. All right resereved. オンプレミス環境とAWSを比較 して Omiaiを支えるインフラ 2013/9/18 64
  65. 65. ©2013 Net Marketing Corporation. All right resereved. クラウド(AWS)で良かったこと 1. コストが従量課金 • サービス開始時の心配事が尐ない • データセンター選定、ラック確保、電源確保、機 材確保、機材サポート、ネットワーク回線契約な どなど • 増設も撤収も簡単 2. ハードウェアの備えがほぼ不要 • 障害復旧のために機材を買いに朝一で{ヨド バシ, 秋葉原}へ!が無い • 予備の機材をストックする必要も無い 3. オペレーション場所の制限がない → 次項 2013/9/18 65
  66. 66. ©2013 Net Marketing Corporation. All right resereved. オペレーション場所の制限が無い • オンプレミス環境の場合 • オンラインだと対応しきれない障害はDCへ → 移動時間で+1時間などがざらに発生 キーマンが出張中・休暇中で青ざめることも多々 • クラウド環境の場合 • インスタンスのON/OFFもブラウザ越しにできる • インスタンスの増設もオンラインでできる →オンラインになれれば遠隔地に居ても何とかなる 夜中でもベッドから這い出してPCの前に座ればOK iPad mini+BT KBで遠隔対応するIEがこちらになります 2013/9/18 66
  67. 67. ©2013 Net Marketing Corporation. All right resereved. クラウド(AWS)で「…」だったこと 1. 良くも悪くも共有環境 2. 物理的な状況が問い合わせをしないと見え ない 3. メンテナンス計画や成長計画が運用会社次 第 4. データ管理の委託とサービス終了の懸念 2013/9/18 67
  68. 68. ©2013 Net Marketing Corporation. All right resereved. AWS(クラウド)オペレータに必要な こと • 学習意欲 • AWS用語大杉 • 担当営業の方に「Office認定試験みたいにそ のうちなるんじゃないですか?」と言った 数ヶ月後にAWS認定プログラムが開始 • 柔らかい頭 • オンプレミスっぽくトポロジも組めるが… • トポロジの制約、耐障害性、発展性が??? 2013/9/18 68
  69. 69. ©2013 Net Marketing Corporation. All right resereved. AWS(クラウド)オペレータに必要な こと • 障害切り分けの勘所 • どこが悪い?アプリ?インスタンス?EBS? ハードウェア?ネットワーク? • オンプレミス環境のノウハウ • サービスが大きくなると必要 • それまではしっかりバックアップ&取りあえ ず再起動 • アマゾンデータサービスとの定期的な MTG • 新サービスやインフラ等のニュースソース • 懸念事項の相談2013/9/18 69

×