Your SlideShare is downloading. ×
0
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
プライベートクラウド作ってみました
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

プライベートクラウド作ってみました

13,344

Published on

クラウドマネジメントツール勉強会 第2回発表資料

クラウドマネジメントツール勉強会 第2回発表資料

Published in: Technology
0 Comments
44 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
13,344
On Slideshare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
80
Comments
0
Likes
44
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. プライベートクラウド 作ってみました  株式会社サイバーエージェント 長谷部  光治 1 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 2. Chefが社内で浸透するまで +今後の目標  株式会社サイバーエージェント 長谷部  光治 2 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 3. と昨日まで思っていましたが・ 3 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 4. Chefはお腹いっぱいですよね? ごくごく普通に使っているだけで、面白い発表ができそうもありませんでした。。 4 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 5. 改めまして・・・ 5 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 6. プライベートクラウド 作ってみました  株式会社サイバーエージェント 長谷部  光治 6 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 7. 自己紹介 名前:長谷部  光治(インフラエンジニア) ・2012年2月  サイバーエージェント入社 ・今まで:一貫してクラウドシステム構築  2012年2月  〜  6月  OpenStack検証、導入  2012年7月  〜  現在  プライベートクラウド開発 ・現在:インフラ3割、開発7割 7 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 8. サイバーエージェント? アメブロ 8 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 9. サイバーエージェント? アメブロ ピグ 9 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 10. サイバーエージェント? ガールフレンド(仮) 10 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 11. サイバーエージェント? ガールフレンド(仮) GIRL’S TALK! copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved 11
  • 12. サイバーエージェント? ガールフレンド(仮) ゲーム、コミュニティ いろいろやっています GIRL’S TALK! copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved 12
  • 13. アジェンダ ・プライベートクラウド開発の背景 ・特徴 ・アーキテクチャ ・実装済み機能、詳細 ・課題 ・今後 13 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 14. アジェンダ ・プライベートクラウド開発の背景 ・特徴 ・アーキテクチャ ・実装済み機能、詳細 ・課題 ・今後 14 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 15. プライベートクラウド開発の背景 ■  課題  ■  ・DCが点在していた  ・物理サーバの提供リードタイム  ・物理作業で工数を取られる 15 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 16. プライベートクラウド開発の背景 ■  課題  ■  ・DCが点在していた  ・物理サーバの提供リードタイム  ・物理作業で工数を取られる 解 決 策   ・DCを統一する   ・プライベートクラウドを作る 16 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 17. プライベートクラウド開発の背景 ■  スケジュール PJ発足 2012/4 2012/6 設計 自社開発決断 2012/10 並行検証 開発 ・OpenStack ・OpenStack前提 ・自作ツール リリース 2013/2 開発 ・自作ツール 17 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 18. プライベートクラウド開発の背景 ■  リリース後、利用推移 リリース 18 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 19. プライベートクラウド開発の背景 ■  リリース後、利用推移 順調に推移 リリース 19 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 20. プライベートクラウド開発の背景 ■  リリース後、利用推移 現在5,000VM超! 順調に推移 リリース 20 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 21. プライベートクラウド開発の背景 「Clover」って聞いたことありますか? 21 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 22. プライベートクラウド開発の背景 雑誌で紹介したことがあります 22 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 23. プライベートクラウド開発の背景 雑誌で紹介したことがあります プライベートクラウド管理システム 「Clover」 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved 23
  • 24. アジェンダ ・プライベートクラウド開発の背景 ・特徴 ・アーキテクチャ ・実装済み機能、詳細 ・課題 ・今後 24 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 25. 特徴 ・シンプル ・デフォルトIPv6 ・毎回OSをインストール(kickstart) ・物理サーバ、仮想サーバ統一管理 25 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 26. 特徴:シンプル ・libvirtで各ComputeNodeを管理 ・エージェントレス(libvirtdを除く) ・必要な機能のみ実装 26 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 27. 特徴:デフォルトIPv6 ・1VLAN内のIPアドレス数制限撤廃 ・RA(Router  Advertisement)で  アドレス自動配布 ・ミドルウェア、HWともIPv6対応が  進んできた 27 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 28. 特徴:デフォルトIPv6 ・1VLAN内のIPアドレス数制限撤廃 ・RA(Router  Advertisement)で  アドレス自動配布 ・ミドルウェア、HWともIPv6対応が  進んできた  ※後々IPv6を活かした機能が出てきます 28 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 29. 特徴:毎回OSインストール ・統合イメージ置き場を必要としない  (サーバのローカルディスクのみ) ・物理、仮想サーバ共通の手順で  構築できる 29 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 30. 特徴:物理、仮想サーバ統一管理 ・kickstartを利用することで同様の  手順で構築できる 30 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 31. アジェンダ ・プライベートクラウド開発の背景 ・特徴 ・アーキテクチャ ・実装済み機能、詳細 ・課題 ・今後 31 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 32. アーキテクチャ:使用技術、その他 ・開発言語:Python ・主要フレームワーク:Django ・使用ミドルウェア:      libvirt,  PostgreSQL,  bind,  dhcpd      tftpd,  memcached,  RabbitMQ ・ハイパーバイザ:KVM ・インターフェース:Web,  REST  API 32 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 33. アーキテクチャ:コンポーネント図  AWS 設定 Route53 物理サーバ The  Internet OSインストール ・・・ ComputeNode Clover VM操作 (libvirt) ・・・ 内部DNS ・・・ 仮想サーバ 設定 CA-DC 33 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 34. アーキテクチャ:コンポーネント図  AWS 至ってシンプル! 設定 Route53 物理サーバ The  Internet OSインストール ・・・ ComputeNode Clover VM操作 (libvirt) ・・・ 内部DNS ・・・ 仮想サーバ 設定 CA-DC 34 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 35. アジェンダ ・プライベートクラウド開発の背景 ・特徴 ・アーキテクチャ ・実装済み機能、詳細 ・課題 ・今後 35 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 36. 実装済み機能、詳細:DNS管理 ・Public,  Private両方のDNSを管理  ・Public:Route53を利用(API経由)  ・Private:bindに登録 ・サーバ構築と同時にレコードを自動登録 36 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 37. 実装済み機能、詳細:物理サーバ管理1 物理サーバサービスインまで  1.  ラッキング、配線  2.  電源ON  3.  pxe経由でSystemRescueCd   (ruby導入済み)起動  4.  ohai実行、結果をCloverにpush  5.  Cloverからサーバが見えるようになる 37 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 38. 実装済み機能、詳細:物理サーバ管理1 物理サーバサービスインまで  1.  ラッキング、配線  2.  電源ON 工夫しました!  3.  pxe経由でSystemRescueCd   (ruby導入済み)起動  4.  ohai実行、結果をCloverにpush  5.  Cloverからサーバが見えるようになる 38 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 39. 実装済み機能、詳細:物理サーバ管理2 物理サーバサービスインまで  ※以下CloverのWebUIから  6.  インストールOSを選択  7.  物理サーバ再起動(IPMI経由)  8.  OSインストール開始  9.  OSインストール完了 39 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 40. 実装済み機能、詳細:物理サーバ管理3 詳細:Cloverに情報が登録されるまで ルータ ③ ① ラック スイッチ ② ⑤ ⑥ ⑨ ④ ⑦ ⑧ 物理サーバ copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved Clover ①  ラックスイッチにVLAN設定 ②  サーバ結線、IPMIポートRS送信 ③  ルータRA送信  ここでIPMIポートにv6アドレス付与 ④  サーバ電源ON ⑤  eth0ポートRS送信 ⑥  ルータRA送信  ここでeth0ポートにv6アドレス付与 ⑦  SystemRescueCD起動 ⑧  ohai実行、CloverにPush ⑨  ohai情報を解析、登録  下記情報を判断   ・UUID ・MACアドレス   ・IPアドレス ・SerialNo   ・ホスト名 40
  • 41. 実装済み機能、詳細:仮想サーバ管理 仮想サーバサービスインまで  ※以下CloverのWebUIから  1.  サーバ情報を入力  2.  作成  3.  起動  4.  OSインストール開始  5.  OSインストール完了 41 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 42. 実装済み機能、詳細:スイッチ管理 ・システムでラックスイッチ情報を管理 ・ラックスイッチから配下の物理サーバ  ラッキング位置を取得、管理 42 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 43. 実装済み機能、詳細:スイッチ管理 ・システムでラックスイッチ情報を管理 ・ラックスイッチから配下の物理サーバ  ラッキング位置を取得、管理 スイッチのポート、サーバ搭載Uの 対応表を作ることで実現 43 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 44. アジェンダ ・プライベートクラウド開発の背景 ・特徴 ・アーキテクチャ ・実装済み機能、詳細 ・課題 ・今後 44 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 45. 課題 ・機能が少ない  よく言うとシンプル、悪く言うと  機能が少ないです  未実現機能   ・セキュリティグループ   ・仮想サーバリソース制限     (Disk  I/O,  Network) 45 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 46. 課題 ・コンポーネント分けがされていない  サーバ1台で全機能を提供しており  密結合となっています  e.g.   ・WebUI,  APIが同居(Django頼み)   ・bindのゾーンファイルをローカル    に生成、rndc  reloadを実行 46 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 47. 課題 ・UIがイケていない  DjangoのAdmin画面をテンプレート  のみ替え、そのまま使っています 管理画面Top 仮想マシン一覧画面 47 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 48. 課題:こぼれ話 ・開発力に差がある  AWSを始めOpenStack,  CloudStackなど  開発スピード早すぎ!   今でもOpenStackにしたほうが良かったかと悩みます・・ ・コスト面  DCをフロア単位、期間契約で借りて  いるのでちゃんと使わないともったい  ない。。  48 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 49. アジェンダ ・プライベートクラウド開発の背景 ・特徴 ・アーキテクチャ ・実装済み機能、詳細 ・課題 ・今後 49 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 50. 今後 見てきて頂いたとおり、まだIaaS 基本機能を実装したに過ぎません。 サービスの品質、開発速度向上に向け IaaS機能の開発からPaaS/SaaSの機能 開発にシフトしていきます。 インフラエンジニアっていなくなってもいいよね。。 50 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 51. 今後 ■  キーワード(AWS関連多すぎ・・・) SQS,  SNS OpsWorks RDS 統合監視 Region機能 Dynamo 統合認証基盤 LVS Chef CI Docker(LXC) 51 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 52. まとめ ・プライベートクラウド自作は難しくない  インフラエンジニアでも作れました ・プライベートクラウド自作は面白い  作る過程で色々なことを学べました ・皆様もいかがですか?  クラウド提供業者の方々、すみません。。 52 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 53. 最後に・・・ CloverはOpenSourceで公開する予定です! ※  現在社内調整中です     53 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 54. 最後に・・・ サイバーエージェントでは、プライベート クラウドを作る仲間を募集です! インフラエンジニアに限りません。 特に下記に当てはまる方、お待ちしています!  ・インフラだけど開発大好き!  ・UIなら負けない!  ・手動で設定?ありえないでしょ?  ・技術のトレンド、常に気にしています 54 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 55. 質疑応答 55 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved
  • 56. ご清聴ありがとう ございました 56 copyright(C)  1998-2013  CyberAgent,  Inc.  All  rights  reserved

×