Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Yahoo! JAPANとRiak

3,041 views

Published on

Published in: Technology
  • Be the first to comment

Yahoo! JAPANとRiak

  1. 1. Yahoo! JAPAN と Riak ヤフー株式会社マーケティングソリューションカンパニー 新規事業本部 阪田 浩隆 2012年12月12日(水)
  2. 2. 自己紹介1 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  3. 3. 氏名:阪田 浩隆(さかた ひろたか) 入社年:2004年10月 担当業務実績: - 社内認証システム開発 - ビジネス系認証システム開発 - 社内ツール系開発 - 分散KVS 開発・保守・運用 - オブジェクトストレージ 開発 現在:Riak開発部隊(Yahoo! JAPAN内)2 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  4. 4. Yahoo! JAPANにおけるKVS3 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  5. 5. 実はYahoo! JAPANには 16年のKVSの歴史がある4 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  6. 6. 創業当時(1996年)から、 データを扱うプラットフォームとして 分散KVSを使用している ※当時はまだクライアントサーバシステムが主流であり、現在のWebが主流の スタイルではなかった • 独自開発 • 大規模データ • 例)ユーザーデータ • 分散処理 • スケールアウト • 複数DCでのデータレプリケーション5 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  7. 7. Yahoo! JAPANの技術 • 独自の技術で基盤を構築している • Yahoo! Inc.とYahoo! JAPANで開発したコアテクノロジー を元に、強靭な基盤を築いている • このテクノロジーを利用して、 Yahoo! JAPANのサービスは成り立っている6 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  8. 8. Yahoo! JAPANの技術 認証システム 課金システム Yahoo! JAPANコアテクノロジー 強靭なコアテクノロジー ストレージ KVS RDBMS 広告技術 CDN 画面はサンプルです。実際の表示は異なることがあります。7 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  9. 9. 一部数値情報の公開を制限させていただいております。予めご了承ください。 Yahoo! JAPANにおける オブジェクトストレージ8 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  10. 10. 実はYahoo! JAPANには・・・ オブジェクトストレージが存在します • 独自開発 • スケールアウト • データレプリケーション9 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  11. 11. • 開発コンセプト(2009年7月開発スタート) • 容量無制限 • 無限にスケールアウトする • 安価 • とにかく利用価格を安くする • データの集中管理 • 集中管理する事で無駄をなくし、コスト削減を徹底する • 使いやすいI/F • REST形式のAPIを提供 • 高パフォーマンス • 可用性10 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  12. 12. Yahoo! JAPAN内での利用実績(一部ご紹介) • Yahoo!ボックス • Yahoo!天気・災害 • Yahoo!ブックストア • Yahoo!ロコ プレイス 画面はサンプルです。実際の表示は異なることがあります。11 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  13. 13. 実際のトラフィック • Yahoo!ボックスサービス開始から **~**B/day のアップロードを受けている • サーバ台数が数千台に達している • 数PBのデータが格納されている12 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  14. 14. アーキテクチャ アプリケーション CDN(大容量配信) ※Yahoo!ボックスでは未使用 API メタ データ Farm KVS Farm Farm ストレージエンジン ・・・・ ・・・・ ・・・・ ・・・・13 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  15. 15. 苦労話 • リリース当月(2011/10)のアップロード予測が**B だったが、実際は**B以上アップロードされていた • そのため、準備したサーバが不足し慌てて調達に奔 走した • 現在は数千台のサーバで構成されている • 付属コンポーネントからの内部リクエストが1億強 /dayとなっていたため、APIが高負荷になってしまっ た • その後改善しました14 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  16. 16. Riak CSを利用しての Yahoo! JAPANクラウドストレージ • 2012/10月 トライアルリリース • 2013/1月 βリリース(予定) • 2013/3月 本番サービス開始(予定)15 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  17. 17. 導入事例(先行リリース) • LOHACO(アスクル様) Riak CSで 画像配信16 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  18. 18. システム構成 CDN 障害発生時のみ Riak CS Riak CS Cluster Cluster レプリケーション Riak EDS Cluster 1 Riak EDS Cluster 217 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  19. 19. データ • 登録件数 • 約20万件弱 (データ移行は3時間程度) • ファイルの種類/サイズ • 画像データ • 5k~500k • リクエスト数 • ***req/sec • CDNキャッシュヒット率 • 97% • レスポンス • 10ms~80ms (CDNにキャッシュされている状態だと10ms程度)18 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  20. 20. 構築~リリースまでの期間 • 構成検討、各種調整(NW、サーバ調達) • 1週間 • 構築&テスト・リリース • 構築:1日 • テスト&リリース:1週間 問題になったところ • データをフラットに配置したところ、 一覧取得できなくなった • 解決策:ディレクトリを分けてもらった • フラットに配置しても一覧取得できるように現在 Basho社が爆速対応中19 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  21. 21. なぜRiakなのか20 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  22. 22.  運用コスト削減 • 運用コストがかからないような構成になっている • コンポーネント数が少ない • 設定が項目が少ない  Yahoo! JAPANで培ったKVSのノウハウを、ダイ レクトに活かせそうなアーキテクチャだった • +一緒に開発できそうな人たちだった  求められる機能の違い • C向け、B向けで求められる機能が違うため、 全てを1ソースで管理していくのは困難だった21 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  23. 23.  S3互換のオブジェクトストレージが必要だった • ユーザーニーズに早急に応える必要があった • 独自のオブジェクトストレージを改修する事も可能だった が、時間を節約したかった  KVSがストレージエンジンになる • KVS単体でもストレージエンジンになりえるように なっている • ただしサーバ台数が増えた時にどうするのか検討が必要22 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  24. 24. 今後23 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  25. 25. 1. クラウド基盤としての展開 2. 社内利用の促進 3. ビッグデータインフラとしての活用 データ 広告 Yahoo! JAPANグループのクラウドサービス 解析 アプリケーション メール Web プレビュー ・・・ 地図 スマホ 連携 サービス ストレージ DB CDN 他社 連携 決済 コンピューティング 物理サーバ 仮想サーバ ログイン データセンター 拠点 拠点 拠点 拠点 ポイント 認証 社内 ネットワーク&インフラ Yahoo! JAPAN ネットワーク網 KVS IDCフロンティア ネットワーク網 Yahoo! JAPANのテクノロジーが下支え24 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  26. 26. ビックデータインフラ ライフログ医療 仮想サーバ 仮想NW KVS RDS ※RDBMS Storage Hadoop小売 通信ログ 企業から Webでのデータ発生するデータ ※EC,行動ログ等 小売
  27. 27. Q&A26 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  28. 28. ご清聴ありがとうございました27 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

×