SlideShare a Scribd company logo
1 of 28
Download to read offline
Yahoo! JAPAN と Riak
          ヤフー株式会社
マーケティングソリューションカンパニー 新規事業本部
         阪田 浩隆

       2012年12月12日(水)
自己紹介




1   Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
氏名:阪田 浩隆(さかた ひろたか)
    入社年:2004年10月
    担当業務実績:
    - 社内認証システム開発
    - ビジネス系認証システム開発
    - 社内ツール系開発
    - 分散KVS 開発・保守・運用
    - オブジェクトストレージ 開発
    現在:Riak開発部隊(Yahoo! JAPAN内)


2           Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
Yahoo! JAPANにおけるKVS




3       Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
実はYahoo! JAPANには
    16年のKVSの歴史がある




4      Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
創業当時(1996年)から、
    データを扱うプラットフォームとして
    分散KVSを使用している
    ※当時はまだクライアントサーバシステムが主流であり、現在のWebが主流の
    スタイルではなかった


    • 独自開発
    • 大規模データ
      • 例)ユーザーデータ
    • 分散処理
    • スケールアウト
    • 複数DCでのデータレプリケーション

5             Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
Yahoo! JAPANの技術
    • 独自の技術で基盤を構築している
     • Yahoo! Inc.とYahoo! JAPANで開発したコアテクノロジー
       を元に、強靭な基盤を築いている




    • このテクノロジーを利用して、
      Yahoo! JAPANのサービスは成り立っている

6             Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
Yahoo! JAPANの技術




                認証システム                                 課金システム

           Yahoo! JAPANコアテクノロジー
               強靭なコアテクノロジー
            ストレージ                            KVS                            RDBMS


              広告技術                                                    CDN


                                                                                         画面はサンプルです。実際の表示は異なることがあります。



7             Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
一部数値情報の公開を制限させていただいております。予めご了承ください。




    Yahoo! JAPANにおける
     オブジェクトストレージ



8      Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
実はYahoo! JAPANには・・・
     オブジェクトストレージが存在します

     • 独自開発
     • スケールアウト
     • データレプリケーション




9           Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
• 開発コンセプト(2009年7月開発スタート)
     • 容量無制限
      • 無限にスケールアウトする
     • 安価
      • とにかく利用価格を安くする
     • データの集中管理
      • 集中管理する事で無駄をなくし、コスト削減を徹底する
     • 使いやすいI/F
      • REST形式のAPIを提供
     • 高パフォーマンス
     • 可用性


10             Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
Yahoo! JAPAN内での利用実績(一部ご紹介)
     •   Yahoo!ボックス
     •   Yahoo!天気・災害
     •   Yahoo!ブックストア
     •   Yahoo!ロコ プレイス




                                                                                            画面はサンプルです。実際の表示は異なることがあります。



11               Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
実際のトラフィック
     • Yahoo!ボックスサービス開始から
       **~**B/day のアップロードを受けている
     • サーバ台数が数千台に達している
     • 数PBのデータが格納されている




12           Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
アーキテクチャ


      アプリケーション                                                           CDN(大容量配信)
                                                                          ※Yahoo!ボックスでは未使用




                                            API



      メタ
     データ
                                                                Farm
     KVS                                                          Farm
                                                                   Farm
                                                              ストレージエンジン
                                                                ・・・・
                                                                         ・・・・
                                                                          ・・・・
                                                                            ・・・・



13          Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
苦労話
     • リリース当月(2011/10)のアップロード予測が**B
       だったが、実際は**B以上アップロードされていた
     • そのため、準備したサーバが不足し慌てて調達に奔
       走した
      • 現在は数千台のサーバで構成されている
     • 付属コンポーネントからの内部リクエストが1億強
       /dayとなっていたため、APIが高負荷になってしまっ
       た
      • その後改善しました




14           Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
Riak CSを利用しての
 Yahoo! JAPANクラウドストレージ

     • 2012/10月                      トライアルリリース
     • 2013/1月                       βリリース(予定)
     • 2013/3月                       本番サービス開始(予定)




15            Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
導入事例(先行リリース)
     • LOHACO(アスクル様)




                                                                                        Riak CSで
                                                                                        画像配信




16           Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
システム構成
                                                      CDN


                                                                                                               障害発生時のみ


           Riak CS                                                                                   Riak CS
           Cluster                                                                                   Cluster




                                                レプリケーション
     Riak EDS Cluster 1                                                                  Riak EDS Cluster 2




17                        Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
データ
     • 登録件数
      • 約20万件弱 (データ移行は3時間程度)
     • ファイルの種類/サイズ
      • 画像データ
      • 5k~500k
     • リクエスト数
      • ***req/sec
     • CDNキャッシュヒット率
      • 97%
     • レスポンス
      • 10ms~80ms (CDNにキャッシュされている状態だと10ms程度)

18                Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
構築~リリースまでの期間
     • 構成検討、各種調整(NW、サーバ調達)
      • 1週間
     • 構築&テスト・リリース
      • 構築:1日
      • テスト&リリース:1週間
 問題になったところ
     • データをフラットに配置したところ、
       一覧取得できなくなった
      • 解決策:ディレクトリを分けてもらった
     • フラットに配置しても一覧取得できるように現在
       Basho社が爆速対応中

19            Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
なぜRiakなのか




20   Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
 運用コスト削減
     •       運用コストがかからないような構成になっている
         •    コンポーネント数が少ない
         •    設定が項目が少ない


  Yahoo! JAPANで培ったKVSのノウハウを、ダイ
   レクトに活かせそうなアーキテクチャだった
     •       +一緒に開発できそうな人たちだった

  求められる機能の違い
     •       C向け、B向けで求められる機能が違うため、
             全てを1ソースで管理していくのは困難だった
21                Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
 S3互換のオブジェクトストレージが必要だった
     •       ユーザーニーズに早急に応える必要があった
         •    独自のオブジェクトストレージを改修する事も可能だった
              が、時間を節約したかった


  KVSがストレージエンジンになる
     •       KVS単体でもストレージエンジンになりえるように
             なっている
         •    ただしサーバ台数が増えた時にどうするのか検討が必要




22                Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
今後




23   Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
1. クラウド基盤としての展開
     2. 社内利用の促進
     3. ビッグデータインフラとしての活用
     データ
                 広告
                      Yahoo! JAPANグループのクラウドサービス
     解析
                       アプリケーション                            メール                         Web               プレビュー    ・・・
                 地図
     スマホ
                 連携    サービス                                 ストレージ                                   DB           CDN

      他社
      連携
                 決済    コンピューティング                                  物理サーバ                                    仮想サーバ

             ログイン      データセンター                               拠点                       拠点                 拠点       拠点
     ポイント
              認証


           社内
                       ネットワーク&インフラ                              Yahoo! JAPAN ネットワーク網
           KVS                                                                           IDCフロンティア ネットワーク網
                                Yahoo! JAPANのテクノロジーが下支え

24                       Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
ビックデータインフラ
                                     ライフログ
医療
          仮想サーバ        仮想NW


           KVS          RDS
                       ※RDBMS


          Storage      Hadoop
小売

                                通信ログ



 企業から      Webでのデータ
発生するデータ    ※EC,行動ログ等


                                小売
Q&A




26   Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
ご清聴ありがとうございました




27      Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

More Related Content

What's hot

[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...Insight Technology, Inc.
 
Rakuten New MySQL Backup System With Xtrabackup
Rakuten New MySQL Backup System With XtrabackupRakuten New MySQL Backup System With Xtrabackup
Rakuten New MySQL Backup System With XtrabackupRakuten Group, Inc.
 
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...Insight Technology, Inc.
 
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...Insight Technology, Inc.
 
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...Insight Technology, Inc.
 
[db tech showcase Tokyo 2015] C15:DevOps MySQL in カカクコム~ OSSによる可用性担保とリアルタイムパフ...
[db tech showcase Tokyo 2015] C15:DevOps MySQL in カカクコム~ OSSによる可用性担保とリアルタイムパフ...[db tech showcase Tokyo 2015] C15:DevOps MySQL in カカクコム~ OSSによる可用性担保とリアルタイムパフ...
[db tech showcase Tokyo 2015] C15:DevOps MySQL in カカクコム~ OSSによる可用性担保とリアルタイムパフ...Insight Technology, Inc.
 
超高速処理とスケーラビリティを両立するApache GEODE
超高速処理とスケーラビリティを両立するApache GEODE超高速処理とスケーラビリティを両立するApache GEODE
超高速処理とスケーラビリティを両立するApache GEODEMasaki Yamakawa
 
DBTS2016 DBAのための最新テクノロジー
DBTS2016 DBAのための最新テクノロジーDBTS2016 DBAのための最新テクノロジー
DBTS2016 DBAのための最新テクノロジーMasaya Ishikawa
 
[db tech showcase Tokyo 2015] E27: Neo4jグラフデータベース by クリエーションライン株式会社 李昌桓
[db tech showcase Tokyo 2015] E27: Neo4jグラフデータベース by クリエーションライン株式会社 李昌桓[db tech showcase Tokyo 2015] E27: Neo4jグラフデータベース by クリエーションライン株式会社 李昌桓
[db tech showcase Tokyo 2015] E27: Neo4jグラフデータベース by クリエーションライン株式会社 李昌桓Insight Technology, Inc.
 
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...Insight Technology, Inc.
 
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...Insight Technology, Inc.
 
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....Insight Technology, Inc.
 
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジーDBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジーMasaya Ishikawa
 
[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう
[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう
[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼうdatastaxjp
 
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...Insight Technology, Inc.
 
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...Insight Technology, Inc.
 
[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...
[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...
[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...Insight Technology, Inc.
 

What's hot (20)

ヤフーを支えるフラッシュストレージ
ヤフーを支えるフラッシュストレージヤフーを支えるフラッシュストレージ
ヤフーを支えるフラッシュストレージ
 
Oracle Data Guard による高可用性
Oracle Data Guard による高可用性Oracle Data Guard による高可用性
Oracle Data Guard による高可用性
 
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
 
Rakuten New MySQL Backup System With Xtrabackup
Rakuten New MySQL Backup System With XtrabackupRakuten New MySQL Backup System With Xtrabackup
Rakuten New MySQL Backup System With Xtrabackup
 
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
 
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
 
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
 
[db tech showcase Tokyo 2015] C15:DevOps MySQL in カカクコム~ OSSによる可用性担保とリアルタイムパフ...
[db tech showcase Tokyo 2015] C15:DevOps MySQL in カカクコム~ OSSによる可用性担保とリアルタイムパフ...[db tech showcase Tokyo 2015] C15:DevOps MySQL in カカクコム~ OSSによる可用性担保とリアルタイムパフ...
[db tech showcase Tokyo 2015] C15:DevOps MySQL in カカクコム~ OSSによる可用性担保とリアルタイムパフ...
 
超高速処理とスケーラビリティを両立するApache GEODE
超高速処理とスケーラビリティを両立するApache GEODE超高速処理とスケーラビリティを両立するApache GEODE
超高速処理とスケーラビリティを両立するApache GEODE
 
DBTS2016 DBAのための最新テクノロジー
DBTS2016 DBAのための最新テクノロジーDBTS2016 DBAのための最新テクノロジー
DBTS2016 DBAのための最新テクノロジー
 
[db tech showcase Tokyo 2015] E27: Neo4jグラフデータベース by クリエーションライン株式会社 李昌桓
[db tech showcase Tokyo 2015] E27: Neo4jグラフデータベース by クリエーションライン株式会社 李昌桓[db tech showcase Tokyo 2015] E27: Neo4jグラフデータベース by クリエーションライン株式会社 李昌桓
[db tech showcase Tokyo 2015] E27: Neo4jグラフデータベース by クリエーションライン株式会社 李昌桓
 
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...
 
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
 
オラクルのHadoopソリューションご紹介
オラクルのHadoopソリューションご紹介オラクルのHadoopソリューションご紹介
オラクルのHadoopソリューションご紹介
 
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....
 
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジーDBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
 
[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう
[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう
[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう
 
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
 
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
 
[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...
[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...
[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...
 

Viewers also liked

本の紹介「絵で見てわかるITインフラの仕組み」
本の紹介「絵で見てわかるITインフラの仕組み」本の紹介「絵で見てわかるITインフラの仕組み」
本の紹介「絵で見てわかるITインフラの仕組み」Takahiko Sato
 
Riakはなぜ良いのか
Riakはなぜ良いのかRiakはなぜ良いのか
Riakはなぜ良いのかYuuki Tan-nai
 
Goでヤフーの分散オブジェクトストレージを作った話 Go Conference 2017 Spring
Goでヤフーの分散オブジェクトストレージを作った話 Go Conference 2017 SpringGoでヤフーの分散オブジェクトストレージを作った話 Go Conference 2017 Spring
Goでヤフーの分散オブジェクトストレージを作った話 Go Conference 2017 SpringYahoo!デベロッパーネットワーク
 
Agile Baseball Science - はじめてのセイバーメトリクス
Agile Baseball Science - はじめてのセイバーメトリクスAgile Baseball Science - はじめてのセイバーメトリクス
Agile Baseball Science - はじめてのセイバーメトリクスShinichi Nakagawa
 
Ordinary Management
Ordinary ManagementOrdinary Management
Ordinary ManagementKoichi ITO
 
次世代数値演算 ライブラリ Decimal という再発明の意義
次世代数値演算 ライブラリ Decimal という再発明の意義次世代数値演算 ライブラリ Decimal という再発明の意義
次世代数値演算 ライブラリ Decimal という再発明の意義Tadashi Saito
 
Yokozuna 日本語検索機能を評価しました
Yokozuna 日本語検索機能を評価しましたYokozuna 日本語検索機能を評価しました
Yokozuna 日本語検索機能を評価しましたTakashi Sogabe
 
【PDF版】破壊的イノベーション ケーススタディ:テスラ・モータース
【PDF版】破壊的イノベーション ケーススタディ:テスラ・モータース【PDF版】破壊的イノベーション ケーススタディ:テスラ・モータース
【PDF版】破壊的イノベーション ケーススタディ:テスラ・モータースShintaro Shitanaka
 
Japan Venture going Global 2014,Oct,22 Final version
Japan Venture going Global 2014,Oct,22 Final versionJapan Venture going Global 2014,Oct,22 Final version
Japan Venture going Global 2014,Oct,22 Final versionAkira Kitamura
 
goo基盤を支えるOpenstack
goo基盤を支えるOpenstackgoo基盤を支えるOpenstack
goo基盤を支えるOpenstackTomoya Hashimoto
 
Yahoo!検索データ利用「ハロウィン」傾向分析2015
Yahoo!検索データ利用「ハロウィン」傾向分析2015Yahoo!検索データ利用「ハロウィン」傾向分析2015
Yahoo!検索データ利用「ハロウィン」傾向分析2015Yahoo! JAPAN Marketing Solution
 
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計正志 坪坂
 
Riak: 本物の高可用性を実現する仕組みとは?
Riak: 本物の高可用性を実現する仕組みとは?Riak: 本物の高可用性を実現する仕組みとは?
Riak: 本物の高可用性を実現する仕組みとは?Takahiko Sato
 
正規表現を覚えよう(中級編)
正規表現を覚えよう(中級編)正規表現を覚えよう(中級編)
正規表現を覚えよう(中級編)Kazuo Suzuki
 
Cedec2015_「消滅都市」運用の一年
Cedec2015_「消滅都市」運用の一年Cedec2015_「消滅都市」運用の一年
Cedec2015_「消滅都市」運用の一年gree_tech
 
F2 pの最初の3分間 for gamecastblog 公開版
F2 pの最初の3分間 for gamecastblog 公開版F2 pの最初の3分間 for gamecastblog 公開版
F2 pの最初の3分間 for gamecastblog 公開版Hiromasa Iwasaki
 

Viewers also liked (20)

本の紹介「絵で見てわかるITインフラの仕組み」
本の紹介「絵で見てわかるITインフラの仕組み」本の紹介「絵で見てわかるITインフラの仕組み」
本の紹介「絵で見てわかるITインフラの仕組み」
 
Riakはなぜ良いのか
Riakはなぜ良いのかRiakはなぜ良いのか
Riakはなぜ良いのか
 
Goでヤフーの分散オブジェクトストレージを作った話 Go Conference 2017 Spring
Goでヤフーの分散オブジェクトストレージを作った話 Go Conference 2017 SpringGoでヤフーの分散オブジェクトストレージを作った話 Go Conference 2017 Spring
Goでヤフーの分散オブジェクトストレージを作った話 Go Conference 2017 Spring
 
Agile Baseball Science - はじめてのセイバーメトリクス
Agile Baseball Science - はじめてのセイバーメトリクスAgile Baseball Science - はじめてのセイバーメトリクス
Agile Baseball Science - はじめてのセイバーメトリクス
 
Ordinary Management
Ordinary ManagementOrdinary Management
Ordinary Management
 
次世代数値演算 ライブラリ Decimal という再発明の意義
次世代数値演算 ライブラリ Decimal という再発明の意義次世代数値演算 ライブラリ Decimal という再発明の意義
次世代数値演算 ライブラリ Decimal という再発明の意義
 
Yokozuna 日本語検索機能を評価しました
Yokozuna 日本語検索機能を評価しましたYokozuna 日本語検索機能を評価しました
Yokozuna 日本語検索機能を評価しました
 
Riak on SoftLayer
Riak on SoftLayerRiak on SoftLayer
Riak on SoftLayer
 
Dns primer
Dns primerDns primer
Dns primer
 
【PDF版】破壊的イノベーション ケーススタディ:テスラ・モータース
【PDF版】破壊的イノベーション ケーススタディ:テスラ・モータース【PDF版】破壊的イノベーション ケーススタディ:テスラ・モータース
【PDF版】破壊的イノベーション ケーススタディ:テスラ・モータース
 
Japan Venture going Global 2014,Oct,22 Final version
Japan Venture going Global 2014,Oct,22 Final versionJapan Venture going Global 2014,Oct,22 Final version
Japan Venture going Global 2014,Oct,22 Final version
 
goo基盤を支えるOpenstack
goo基盤を支えるOpenstackgoo基盤を支えるOpenstack
goo基盤を支えるOpenstack
 
Yahoo!検索データ利用「ハロウィン」傾向分析2015
Yahoo!検索データ利用「ハロウィン」傾向分析2015Yahoo!検索データ利用「ハロウィン」傾向分析2015
Yahoo!検索データ利用「ハロウィン」傾向分析2015
 
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
 
世界最強のソフトウェアアーキテクト
世界最強のソフトウェアアーキテクト世界最強のソフトウェアアーキテクト
世界最強のソフトウェアアーキテクト
 
Riak: 本物の高可用性を実現する仕組みとは?
Riak: 本物の高可用性を実現する仕組みとは?Riak: 本物の高可用性を実現する仕組みとは?
Riak: 本物の高可用性を実現する仕組みとは?
 
正規表現を覚えよう(中級編)
正規表現を覚えよう(中級編)正規表現を覚えよう(中級編)
正規表現を覚えよう(中級編)
 
IkaLog Presentation v1.3
IkaLog Presentation v1.3IkaLog Presentation v1.3
IkaLog Presentation v1.3
 
Cedec2015_「消滅都市」運用の一年
Cedec2015_「消滅都市」運用の一年Cedec2015_「消滅都市」運用の一年
Cedec2015_「消滅都市」運用の一年
 
F2 pの最初の3分間 for gamecastblog 公開版
F2 pの最初の3分間 for gamecastblog 公開版F2 pの最初の3分間 for gamecastblog 公開版
F2 pの最初の3分間 for gamecastblog 公開版
 

Similar to Yahoo! JAPANとRiak

Yahoo! JAPANのOracle構成-2017年版
Yahoo! JAPANのOracle構成-2017年版Yahoo! JAPANのOracle構成-2017年版
Yahoo! JAPANのOracle構成-2017年版Makoto Sato
 
C32 DB Performance on Cloud by 安藤賀章
C32 DB Performance on Cloud by 安藤賀章C32 DB Performance on Cloud by 安藤賀章
C32 DB Performance on Cloud by 安藤賀章Insight Technology, Inc.
 
[AWSマイスターシリーズ] Amazon DynamoDB
[AWSマイスターシリーズ] Amazon DynamoDB[AWSマイスターシリーズ] Amazon DynamoDB
[AWSマイスターシリーズ] Amazon DynamoDBAmazon Web Services Japan
 
性能問題を起こしにくい信頼されるクラウド RDB のつくりかた
性能問題を起こしにくい信頼されるクラウド RDB のつくりかた性能問題を起こしにくい信頼されるクラウド RDB のつくりかた
性能問題を起こしにくい信頼されるクラウド RDB のつくりかたTomoyuki Oota
 
[AWSマイスターシリーズ] Amazon Redshift
[AWSマイスターシリーズ] Amazon Redshift[AWSマイスターシリーズ] Amazon Redshift
[AWSマイスターシリーズ] Amazon RedshiftAmazon Web Services Japan
 
20130313 OSCA Hadoopセミナー
20130313 OSCA Hadoopセミナー20130313 OSCA Hadoopセミナー
20130313 OSCA HadoopセミナーIchiro Fukuda
 
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説Kimihiko Kitase
 
国内初Cloud stack採用のオープンクラウドサービス
国内初Cloud stack採用のオープンクラウドサービス国内初Cloud stack採用のオープンクラウドサービス
国内初Cloud stack採用のオープンクラウドサービスKajiBook
 
クラウド概要 by Engine Yard
クラウド概要 by Engine Yardクラウド概要 by Engine Yard
クラウド概要 by Engine YardYu Kitazume
 
110421講演資料「クラウド時代の事業継続に必要なインフラとは」(福岡ruby・コンテンツ産業振興センター)
110421講演資料「クラウド時代の事業継続に必要なインフラとは」(福岡ruby・コンテンツ産業振興センター)110421講演資料「クラウド時代の事業継続に必要なインフラとは」(福岡ruby・コンテンツ産業振興センター)
110421講演資料「クラウド時代の事業継続に必要なインフラとは」(福岡ruby・コンテンツ産業振興センター)niftycloud
 
【Webinar-Slide】DataBridgeとは
【Webinar-Slide】DataBridgeとは【Webinar-Slide】DataBridgeとは
【Webinar-Slide】DataBridgeとはTalend KK
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとInsight Technology, Inc.
 
[Modern Cloud Day Tokyo 2019] Oracle Cloud (PaaS/IaaS)入門:事例を聞いて使ってみたくなったら ~サー...
[Modern Cloud Day Tokyo 2019] Oracle Cloud (PaaS/IaaS)入門:事例を聞いて使ってみたくなったら ~サー...[Modern Cloud Day Tokyo 2019] Oracle Cloud (PaaS/IaaS)入門:事例を聞いて使ってみたくなったら ~サー...
[Modern Cloud Day Tokyo 2019] Oracle Cloud (PaaS/IaaS)入門:事例を聞いて使ってみたくなったら ~サー...オラクルエンジニア通信
 
Google Compute EngineとGAE Pipeline API
Google Compute EngineとGAE Pipeline APIGoogle Compute EngineとGAE Pipeline API
Google Compute EngineとGAE Pipeline APImaruyama097
 

Similar to Yahoo! JAPANとRiak (20)

So net
So netSo net
So net
 
aws seminer_so-net_public
aws seminer_so-net_publicaws seminer_so-net_public
aws seminer_so-net_public
 
Yahoo! JAPANのOracle構成-2017年版
Yahoo! JAPANのOracle構成-2017年版Yahoo! JAPANのOracle構成-2017年版
Yahoo! JAPANのOracle構成-2017年版
 
Yahoo! JAPANのOracle構成-2017年版
Yahoo! JAPANのOracle構成-2017年版Yahoo! JAPANのOracle構成-2017年版
Yahoo! JAPANのOracle構成-2017年版
 
C32 DB Performance on Cloud by 安藤賀章
C32 DB Performance on Cloud by 安藤賀章C32 DB Performance on Cloud by 安藤賀章
C32 DB Performance on Cloud by 安藤賀章
 
[AWSマイスターシリーズ] Amazon DynamoDB
[AWSマイスターシリーズ] Amazon DynamoDB[AWSマイスターシリーズ] Amazon DynamoDB
[AWSマイスターシリーズ] Amazon DynamoDB
 
性能問題を起こしにくい信頼されるクラウド RDB のつくりかた
性能問題を起こしにくい信頼されるクラウド RDB のつくりかた性能問題を起こしにくい信頼されるクラウド RDB のつくりかた
性能問題を起こしにくい信頼されるクラウド RDB のつくりかた
 
Phpconf2010
Phpconf2010Phpconf2010
Phpconf2010
 
[AWSマイスターシリーズ] Amazon Redshift
[AWSマイスターシリーズ] Amazon Redshift[AWSマイスターシリーズ] Amazon Redshift
[AWSマイスターシリーズ] Amazon Redshift
 
20130313 OSCA Hadoopセミナー
20130313 OSCA Hadoopセミナー20130313 OSCA Hadoopセミナー
20130313 OSCA Hadoopセミナー
 
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
 
国内初Cloud stack採用のオープンクラウドサービス
国内初Cloud stack採用のオープンクラウドサービス国内初Cloud stack採用のオープンクラウドサービス
国内初Cloud stack採用のオープンクラウドサービス
 
クラウド概要 by Engine Yard
クラウド概要 by Engine Yardクラウド概要 by Engine Yard
クラウド概要 by Engine Yard
 
Spring Boot on Kubernetes : Yahoo!ズバトク事例 #jjug_ccc
Spring Boot on Kubernetes : Yahoo!ズバトク事例 #jjug_cccSpring Boot on Kubernetes : Yahoo!ズバトク事例 #jjug_ccc
Spring Boot on Kubernetes : Yahoo!ズバトク事例 #jjug_ccc
 
110421講演資料「クラウド時代の事業継続に必要なインフラとは」(福岡ruby・コンテンツ産業振興センター)
110421講演資料「クラウド時代の事業継続に必要なインフラとは」(福岡ruby・コンテンツ産業振興センター)110421講演資料「クラウド時代の事業継続に必要なインフラとは」(福岡ruby・コンテンツ産業振興センター)
110421講演資料「クラウド時代の事業継続に必要なインフラとは」(福岡ruby・コンテンツ産業振興センター)
 
【Webinar-Slide】DataBridgeとは
【Webinar-Slide】DataBridgeとは【Webinar-Slide】DataBridgeとは
【Webinar-Slide】DataBridgeとは
 
Oracle設計
Oracle設計Oracle設計
Oracle設計
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
 
[Modern Cloud Day Tokyo 2019] Oracle Cloud (PaaS/IaaS)入門:事例を聞いて使ってみたくなったら ~サー...
[Modern Cloud Day Tokyo 2019] Oracle Cloud (PaaS/IaaS)入門:事例を聞いて使ってみたくなったら ~サー...[Modern Cloud Day Tokyo 2019] Oracle Cloud (PaaS/IaaS)入門:事例を聞いて使ってみたくなったら ~サー...
[Modern Cloud Day Tokyo 2019] Oracle Cloud (PaaS/IaaS)入門:事例を聞いて使ってみたくなったら ~サー...
 
Google Compute EngineとGAE Pipeline API
Google Compute EngineとGAE Pipeline APIGoogle Compute EngineとGAE Pipeline API
Google Compute EngineとGAE Pipeline API
 

More from Yahoo!デベロッパーネットワーク

ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかYahoo!デベロッパーネットワーク
 
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2Yahoo!デベロッパーネットワーク
 
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcYahoo!デベロッパーネットワーク
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo!デベロッパーネットワーク
 
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcYahoo!デベロッパーネットワーク
 
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtcYahoo!デベロッパーネットワーク
 
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcPC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcYahoo!デベロッパーネットワーク
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcモブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcYahoo!デベロッパーネットワーク
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcYahoo!デベロッパーネットワーク
 

More from Yahoo!デベロッパーネットワーク (20)

ゼロから始める転移学習
ゼロから始める転移学習ゼロから始める転移学習
ゼロから始める転移学習
 
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
 
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
 
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッションオンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
 
LakeTahoe
LakeTahoeLakeTahoe
LakeTahoe
 
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
 
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability FeaturePersistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
 
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
 
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtceコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
 
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
 
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtcビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
 
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtcサイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
 
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
 
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtcYahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
 
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
 
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcPC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcモブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
 
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
 

Recently uploaded

情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdfAyachika Kitazaki
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦Sadao Tokuyama
 

Recently uploaded (12)

2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 
2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
 

Yahoo! JAPANとRiak

  • 1. Yahoo! JAPAN と Riak ヤフー株式会社 マーケティングソリューションカンパニー 新規事業本部 阪田 浩隆 2012年12月12日(水)
  • 2. 自己紹介 1 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 3. 氏名:阪田 浩隆(さかた ひろたか) 入社年:2004年10月 担当業務実績: - 社内認証システム開発 - ビジネス系認証システム開発 - 社内ツール系開発 - 分散KVS 開発・保守・運用 - オブジェクトストレージ 開発 現在:Riak開発部隊(Yahoo! JAPAN内) 2 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 4. Yahoo! JAPANにおけるKVS 3 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 5. 実はYahoo! JAPANには 16年のKVSの歴史がある 4 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 6. 創業当時(1996年)から、 データを扱うプラットフォームとして 分散KVSを使用している ※当時はまだクライアントサーバシステムが主流であり、現在のWebが主流の スタイルではなかった • 独自開発 • 大規模データ • 例)ユーザーデータ • 分散処理 • スケールアウト • 複数DCでのデータレプリケーション 5 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 7. Yahoo! JAPANの技術 • 独自の技術で基盤を構築している • Yahoo! Inc.とYahoo! JAPANで開発したコアテクノロジー を元に、強靭な基盤を築いている • このテクノロジーを利用して、 Yahoo! JAPANのサービスは成り立っている 6 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 8. Yahoo! JAPANの技術 認証システム 課金システム Yahoo! JAPANコアテクノロジー 強靭なコアテクノロジー ストレージ KVS RDBMS 広告技術 CDN 画面はサンプルです。実際の表示は異なることがあります。 7 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 9. 一部数値情報の公開を制限させていただいております。予めご了承ください。 Yahoo! JAPANにおける オブジェクトストレージ 8 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 10. 実はYahoo! JAPANには・・・ オブジェクトストレージが存在します • 独自開発 • スケールアウト • データレプリケーション 9 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 11. • 開発コンセプト(2009年7月開発スタート) • 容量無制限 • 無限にスケールアウトする • 安価 • とにかく利用価格を安くする • データの集中管理 • 集中管理する事で無駄をなくし、コスト削減を徹底する • 使いやすいI/F • REST形式のAPIを提供 • 高パフォーマンス • 可用性 10 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 12. Yahoo! JAPAN内での利用実績(一部ご紹介) • Yahoo!ボックス • Yahoo!天気・災害 • Yahoo!ブックストア • Yahoo!ロコ プレイス 画面はサンプルです。実際の表示は異なることがあります。 11 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 13. 実際のトラフィック • Yahoo!ボックスサービス開始から **~**B/day のアップロードを受けている • サーバ台数が数千台に達している • 数PBのデータが格納されている 12 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 14. アーキテクチャ アプリケーション CDN(大容量配信) ※Yahoo!ボックスでは未使用 API メタ データ Farm KVS Farm Farm ストレージエンジン ・・・・ ・・・・ ・・・・ ・・・・ 13 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 15. 苦労話 • リリース当月(2011/10)のアップロード予測が**B だったが、実際は**B以上アップロードされていた • そのため、準備したサーバが不足し慌てて調達に奔 走した • 現在は数千台のサーバで構成されている • 付属コンポーネントからの内部リクエストが1億強 /dayとなっていたため、APIが高負荷になってしまっ た • その後改善しました 14 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 16. Riak CSを利用しての Yahoo! JAPANクラウドストレージ • 2012/10月 トライアルリリース • 2013/1月 βリリース(予定) • 2013/3月 本番サービス開始(予定) 15 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 17. 導入事例(先行リリース) • LOHACO(アスクル様) Riak CSで 画像配信 16 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 18. システム構成 CDN 障害発生時のみ Riak CS Riak CS Cluster Cluster レプリケーション Riak EDS Cluster 1 Riak EDS Cluster 2 17 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 19. データ • 登録件数 • 約20万件弱 (データ移行は3時間程度) • ファイルの種類/サイズ • 画像データ • 5k~500k • リクエスト数 • ***req/sec • CDNキャッシュヒット率 • 97% • レスポンス • 10ms~80ms (CDNにキャッシュされている状態だと10ms程度) 18 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 20. 構築~リリースまでの期間 • 構成検討、各種調整(NW、サーバ調達) • 1週間 • 構築&テスト・リリース • 構築:1日 • テスト&リリース:1週間 問題になったところ • データをフラットに配置したところ、 一覧取得できなくなった • 解決策:ディレクトリを分けてもらった • フラットに配置しても一覧取得できるように現在 Basho社が爆速対応中 19 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 21. なぜRiakなのか 20 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 22.  運用コスト削減 • 運用コストがかからないような構成になっている • コンポーネント数が少ない • 設定が項目が少ない  Yahoo! JAPANで培ったKVSのノウハウを、ダイ レクトに活かせそうなアーキテクチャだった • +一緒に開発できそうな人たちだった  求められる機能の違い • C向け、B向けで求められる機能が違うため、 全てを1ソースで管理していくのは困難だった 21 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 23.  S3互換のオブジェクトストレージが必要だった • ユーザーニーズに早急に応える必要があった • 独自のオブジェクトストレージを改修する事も可能だった が、時間を節約したかった  KVSがストレージエンジンになる • KVS単体でもストレージエンジンになりえるように なっている • ただしサーバ台数が増えた時にどうするのか検討が必要 22 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 24. 今後 23 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 25. 1. クラウド基盤としての展開 2. 社内利用の促進 3. ビッグデータインフラとしての活用 データ 広告 Yahoo! JAPANグループのクラウドサービス 解析 アプリケーション メール Web プレビュー ・・・ 地図 スマホ 連携 サービス ストレージ DB CDN 他社 連携 決済 コンピューティング 物理サーバ 仮想サーバ ログイン データセンター 拠点 拠点 拠点 拠点 ポイント 認証 社内 ネットワーク&インフラ Yahoo! JAPAN ネットワーク網 KVS IDCフロンティア ネットワーク網 Yahoo! JAPANのテクノロジーが下支え 24 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 26. ビックデータインフラ ライフログ 医療 仮想サーバ 仮想NW KVS RDS ※RDBMS Storage Hadoop 小売 通信ログ 企業から Webでのデータ 発生するデータ ※EC,行動ログ等 小売
  • 27. Q&A 26 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
  • 28. ご清聴ありがとうございました 27 Copyright © 2012 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止