More Related Content
Similar to GMOメディア RHEV-S-事例紹介
Similar to GMOメディア RHEV-S-事例紹介 (20)
GMOメディア RHEV-S-事例紹介
- 4. 自己紹介
名前 ： 宇津井 大（うつい だい）
Twitter ： @utsuidai
Linkedin ： http://www.linkedin.com/pub/dai-utsui/21/348/547
職業 ： インフラエンジニア @ GMO-Media.Inc
趣味 ： サーフィンとお酒と勉強会巡り。
自宅サーバー ： 1台のみ！
4
- 5. GMOインターネットグループにおける当社の役割
WEBインフラ・EC事業 インターネットメディア事業 インターネット証券事業
2位 セキュリティ 1位決済
1位 EC支援
2,755万視聴者 ２位FX取引 3位 株式取引
375万顧客（12月末）
1,150万ライブプラグイン 20万口座 12万口座
1位 サーバー （6,500万累計配布）
1位 ドメイン アクセス ネット広告 リサーチ
「人財・技術」 「資金」
スマートフォン
ソーシャルアプリ
技術力・営業力 ゲームプラットフォーム テクノロジー
サーバー運用ノウハウ 共同マーケティング
4位クーポン
ソーシャル・スマートフォン関連事業
- 6. 会社概要
メディア事業 デジタルコンテンツ提供事業
• 楽しく便利な情報を提供するサイ • コンテンツプロバイダーとして、壁
トや、ブログ・ＳＮＳなどのコミュニ 紙画像や着メロなど様々なコンテ
ティサービスを運営する事業です。 ンツを制作・収集し、お客様に提供
• スポンサー企業様からの広告をお する事業です。
届けする無料サービスと、月額課 • スポンサー企業様からの広告をお
金制のサービスがあり、現在、Ｐ 届けする無料サービスと、月額課
Ｃ・携帯併せて10サイト以上の 金制のサービスがあり、現在、Ｐ
サービスを提供しています。 Ｃ・携帯併せて30サイト以上の
サービスを提供しています。
- 8. 沿革
• インターネット広告および情報提供サービス事業を主力としたアイ・ウェブ・テ
2000年10月 クノロジー・ジャパン株式会社（現GMOメディア株式会社）を設立
• 商号をユーキャストコミュニケーションズ株式会社に変更
2002年5月 • 本店の所在地を東京都渋谷区に移転
• 壁紙ドットコム株式会社と合併し、GMOモバイルアンドデスクトップ株式会社
2004年3月 が発足
• GMOメディアアンドソリューションズ株式会社のメディア事業・EC事業と統合
2005年5月 し、商号をGMOメディア株式会社に変更
• GMOメディアホールディングス株式会社から「ヤプログ！」事業を会社分割に
2007年8月 より承継
• ＧＭＯティーカップ・コミュニケーション株式会社を吸収合併
2009年4月
- 11. 当時の仮想環境 2010.2
• ごった煮状態
– Xen,KVM,VMware Serverで構築した仮想サーバー(vm)
が散乱。
• 開発環境不足
– 充分なリソースを割けず、開発・テスト・ステージング環境
が野放しに
– エンジニアが自由に弄れるサーバー環境が皆無
- 14. Why Red Hat Enterprise Virtualization for Servers
• KVM（OSS）
– カーネル2.6.20からマージされたKVMをどうしても使いた
かった。
• ソケットライセンスでの価格優位性
– 集積度を上げるため12コア AMD Opteron 6000シリーズ
(Magny-Cours)を使いたかった。
– （当時の）VMWareではvSphere4 Advanced、
Enterprise Plusには手が出せない。
– （現在の）VMWareでもvSphere5 Enterprise Plusには手
が出せない。
- 17. メディアクラウドv1 2010.6
動的かつスケーラブル
The Internet な
仮想環境
Ethernet 1G Network
Server
Dell R815 * 3
AMD Opteron 6164HE 12Core * 4socket
4GB * 96 module
CPU Total 144 core : Memory total 384GB
iSCSI 10G Network
Storage
Dell EqualLogic PS6010XV SASmodule
14TB
- 18. メディアクラウドv2 2010.8
The Internet
Server
Dell R815
CPU 144 core -> 288
core
Memory 384GB ->
768GB
Storage
Dell EqualLogic
PS6010XVSASmodle
14TB -> 28TB
- 20. 要件１
• ストレージは重要
– ストレージが落ちると全体障害になりえる
– データセンター内のネットワークはfablicを求めている
– ベンダーロックインを減らす
– i/o負荷の高いDBも仮想化したい
- 23. 導入の効果
• ストレージの分離
– StoragePoolManagerが3つに。全体障害の回避。
• シンプル構成
– CPU Socket辺りの10Gb利用ポート数が約62%現象
• iscsiネットワーク内の話でブレードフル搭載の場合
– 現在はシャーシ辺り５台運用なので約37%。
» しかも全部10Gにしたのでポート数は増えてます
– 配線が約60%減少
• 拡張性
– スケールアウトが容易
• エンクロージャに空スロットを用意しておけば増設が非常に楽
• エンクロージャ足すのも旧来の２Uサーバーと同等程度の作業量
- 25. 実測(disk-io)
# cat diskio-localext4.fio
• fioによるベンチマーク [global]
bs=4k
# yum –enablerepo=rpmforge install fio ioengine=libaio
iodepth=4
size=1g
# fio diskio.fio direct=1
runtime=30
directory=/data/fio
• 結果 filename=fio.test.file
[seq-read]
iscsi rhev(kvm) kvm rw=read
stonewall
BandWidth iops BandWidth iops overhead
write 298 MB/s 288 263 MB/s 257 88% [rand-read]
seq read 705 MB/s 688 511 MB/s 499 72% rw=randread
rw(mix) 153 MB/s 149 130 MB/s 127 85% stonewall
write 151 MB/s 147 113 MB/s 110 75% [seq-write]
rnd read 256 MB/s 250 128 MB/s 125 50% rw=write
rw(mix) 128 MB/s 125 59 MB/s 58 46% stonewall
[rand-write]
※format=raw rw=randwrite
stonewall
[seq-rw]
rw=rw
stonewall
[rnd-rw]
rw=randrw
stonewall
- 27. 実測(disk-latency)
• dbenchによるベンチマーク
物理サーバー(hdd)スペック 物理サーバー(fusion-io)スペック
DL360 G6 DL360 G7
Intel Xeon L5520 * 1 Intel Xeon L5640 * 1
24GB Memory 24GB Memory
P410i 512MB BBWC 1.28TB MLC duo
300GB 10krpm * 4
- 29. Hypervisor Deployment
• pxeboot
– 2台以上のhypervisorを利用するなら必須
– Installは手作業で実施（自動化も可能）
– Upgradeはキーボード2回たたくだけ
– 詳しくはrhel5のHypervisor 導入ガイド
» http://docs.redhat.com/docs/ja-
JP/Red_Hat_Enterprise_Linux/5/html/Hypervisor_Deploymen
t_Guide/sect-Deployment_Guide-
Preparing_Red_Hat_Enterprise_Virtualization_Hypervisor_ins
tallation_media-
Deploying_RHEV_Hypervisors_with_PXE_and_tftp.html
- 30. Hypervisor Deployment
• pxelinux.cfg/defaultの例
– Install
label 7
kernel rhev-hypervisor/vmlinuz0
APPEND rootflags=loop initrd=rhev-hypervisor/initrd0.img root=/rhev-hypervisor-5.6-11.1.iso
rootfstype=auto ro liveimg crashkernel=128M@16M elevator=deadline processor.max_cstate=1
ONERROR LOCALBOOT 0
– Upgrade
label 8
kernel rhev-hypervisor/vmlinuz0
APPEND rootflags=loop initrd=rhev-hypervisor/initrd0.img root=/rhev-hypervisor-5.6-11.1.iso
rootfstype=auto ro liveimg local_boot nocheck crashkernel=128M@16M elevator=deadline
processor.max_cstate=1
ONERROR LOCALBOOT 0
- 31. VM deployment
• Templates
– 事前にテンプレート（AIMみたいなもの）作っておけば10
分程度でclone作成（５０GB程度の場合）
– テンプレートからThin-Provisioningなら即時
– 新規に入れる場合はkickstartで10分程度
- 32. PowerShell - API
• Vm情報取得
Start-transcript
select-vm -searchtext "status=up" | where-object {$_.HostClusterId -eq 0}
Stop-Transcript
• Vm起動
$vm = Select-Vm ("name=sys-gluster-04")
Start-Vm -VmObject $vm
• Vm停止
$vm = Select-Vm ("name=sys-gluster-04")
Stop-Vm -VmObject $vm
詳しくはAPI Guide
– http://docs.redhat.com/docs/en-
US/Red_Hat_Enterprise_Virtualization_for_Servers/2.2/html/API_Guide/index.html
- 33. lefthand iscsiクラスターの信頼性
• 208.5日問題
– SAN I/Q 9.0xで発生する
• http://h20000.www2.hp.com/bizsupport/TechSupport/Document.jsp?objectID=c03090774&lang=en&cc
=us&taskId=101&prodSeriesId=4118659&prodTypeId=12169
– 本当に落ちた(1/29未明)
• vm数個がpaused状態に遷移
– SAN I/Q 9.5系で回避できるらしい
– ローリングアップデート実施！（2/6未明）
• vm数個がpaused状態に遷移
– 問題なし
- 35. エンジニア向けVPS提供
• 全エンジニア（インフラ・PG）へvm提供
– 仮想CPU : 1Core～4Core
– メモリ：1GB～4GB
– ストレージ：70GB
– Global IP(ipv4)：希望者のみ
– クラウド事業者の最少プランで実現すると・・・
• GMOクラウド Publicだと月額2,400円*50vm
– 4年償却で約576万円。
• ○○○のクラウドだと月額2,920円*50vm
– 4年償却で700万円程度・・・
- 36. ソーシャルアプリ1
• モバゲー,Mixi向けアプリ
– Amazon Web Serviceから完全
移行
– サーバ性能というよりネットワー
ク(RTT)の改善により大幅にパ
フォーマンスアップ
– 大幅なコストダウン
• AWS月額 約20万円 ⇒ RHEV
約2万円
- 37. ソーシャルアプリ2
• 自社プラットフォームソーシャルアプリ
– apサーバの高負荷で急遽利用開始
– サーバ10台 緊急配備
• 11時に意思決定
-> 17時に本番稼動開始
• リクエスト数
– 2億 pv/day
（2010/10現在）
– 2.7億 pv/day
（2012/2現在）
- 38. その他
• データセンター移転 2010.8
– 300台程度のDualCoreサーバ群
– rhev環境に積極的に取り込み実施。
• vmの数は物理台数の約半数で稼動可能だった。
• P2Vは不採用
– 100万円／月のコスト削減に成功！
– 節電にもかなり貢献した（はず）！
- 43. Manual
• Red Hat Docs
– http://docs.redhat.com/docs/ja-JP/index.html
- 44. Web / Books
• Web
– 世の中のkvm一般
のナレッジは充分
参考になる。
• Books
– 世の中のkvm一般
の本・冊子は充分
参考になる。
