SPEEDAインフラ運営

SPEEDAの
インフラ運営
2016/07/07
UZABASEMeetUP

もくじ
● ごあいさつ
● インフラチームご紹介
● UZABASEとは
● SPEEDAとは
● SPEEDAインフラの概要
● SPEEDAインフラの変遷
● 四方山話　NewsPicks連携
● 質問

ごあいさつ
● 話してる人
○ 金屋（かなや）と申します
○ 2014年４月にUZABASEにジョイン
○ 前職・前々職・前々（略）もインフラやってます
■ Webサービス→事業会社（EC)→今ココ
○ SPEEDA本番サービスインフラを担当
■ １年目は社内IT含め何でもやってた
● 引っ越し・電話・複合機・無線LAN...etc

インフラチームご紹介
● チームメンバー
○ 人数
■ ５名
○ 仕事内容
■ 社内ビジネス基盤の構築・運用
● 社内IT全般
■ 本番システム基盤の構築・運用
● SPEEDA全般
■ 社内ヘルプデスク
■ その他インフラ関連全般

UZABASEとは
・ミッション：　経済情報で、世界中の意思決定を支える
あらゆる経済情報を人とテクノロジーの力で整理・分析・創出することで、
人々の生産性を高め、創造性を解放する。
私たちは、経済情報で世界中の意思決定を支えるプラットフォームをつく
りあげます。
・サービス
　企業・業界分析のためのオンライン情報プラットフォーム
　経済情報に特化したソーシャル経済ニュース
今回はこちら
B2B
B2C

SPEEDAとは
企業・業界分析のためのオンライン情報プラットフォーム
・世界370万社データが約560業界に分類・分析されたDB
・100万件以上のM&A情報
・10万系統以上の統計
→企業・業界分析を劇的に効率化し、意志決定の迅速化や
　本業務に注力できる

SPEEDAのデモ
https://www.ub-speeda.com/

SPEEDAインフラの概要
● １００％ピュアオンプレミス
○ 某データセンターにて稼働しております
○ とはいえ、一部サービスでAWS利用中です
● BtoBサービス
○ 契約法人ユーザなので、ピークはビジネスタイム(9～18時)

● データ容量が大きい
○ MySQL ３TB以上
○ Solr １TB以上
○ ElasticSearch １TB以上
○ ファイル３TB以上
● Webサービスは参照のみ
○ DBをマスタ、スレーブ構成でレプリケーションしている
○ Webサービスはスレーブ参照で、データ更新はマスタ
● 更新処理が多い
○ １０００本程度のバッチが日夜動作している
○ 最新の企業情報を取り込むため、日々大量の更新を捌く必
要がある

● SPEEDAの悩ましいところ
○ 誰がいつどのデータにアクセスするか分からない
○ 巨大なデータベースにもかかわらずキャッシュができない
○ ただしユーザ数は少ない
○ いかにデータの隅々まで高速にアクセスできるようにするか
が課題

● OS
● 仮想基盤
● コンテナ
● 監視
● Web・AP・DBの３層構造
○ LB
○ Web
○ AP
○ DB（データソース）
○ バッチ　　　　　　　　
LVS（画像無い。。。）
ステートフル！！
Cacti

● 全てがシングルの全部入りというミニマム構成
○ サーバは１台のタワー型のみ
■ 今も社内サーバルームにて開発機として稼働中
● もちろん監視無し
SPEEDAインフラの変遷　プロトタイプ　~2010
The Internet
とあるマンションの一部屋
・Web　・AP
・DB　・Solr
・バッチ
SPOF仮想物理

● 複数台のサーバに分散されたが、基本シングル構成
● 初のデータセンタ運用が開始された
○ お客さんのデータセンターに間借りで、小規模
○ 物理サーバは複数台のラックマウント型
● まだ監視無し
SPEEDAインフラの変遷　Ver.1　2010~2011
The Internet
データセンタのハーフラック間借り
・Web
・AP
SPOF
・DB
・Solr
・バッチ
仮想物理

● サーバ台数も大きくなり、現行のデータセンタに移行
● DBは物理サーバ、その他は仮想サーバの構成
○ 但し、仮想基盤も含めシングル構成
● まだ監視無し
The Internet
現行のデータセンタ
・Web
・AP
・Solr
SPOF
・DB
・バッチ
仮想物理

● 重要な日次更新バッチが２４時間で完了しない状態
○ 最終兵器、FusionIOを導入、10倍高速化！
■ 更新処理の安定性が向上し、SPEEDA品質も向上
● DBの分割を実施し、更新負荷を分散
● 監視（死活・性能）が開始された
The Internet
・Web
・AP
・Solr
SPOF
・DB分割+PCIe-SSD
・バッチ
仮想物理

● スイッチとサーバ間接続が冗長化された
● ハードウェア監視が開始された
● elasticsearchが導入された
○ 初期は物理サーバで稼働→やはり仮想化
● backupDBを構築し、D２DでDBの３世代バックアップが可能に
○ 開発環境へのデータのリストアなど、柔軟性が向上
The Internet
・Web
・AP
・Solr
・elasticsearch
SPOF
・backupDB
・バッチ
仮想物理

● 仮想基盤用のiSCSI共有ストレージを導入
○ 仮想基盤のクラスタ化
○ ライブマイグレーションの実現
● elasticsearchの大幅増強
○ 物理10台化（仮想20台）+SSD化
The Internet
SPOF
・backupDB
・バッチ
仮想物理
・Web
・AP
・Solr
・elasticsearch + SSD

● DBサーバの容量逼迫のため、リプレース
○ １U→2Uサーバに増強し、拡張性を3倍にした
○ それぞれ1.4TB→3TB、2.4TB→4TBへ増強
○ 増強分のPCIe-SSDとして新たにHGSTを採用
■ コスト半額以下で容量２倍を達成
The Internet
SPOF
・backupDB
・バッチ
仮想物理
・Web
・AP
・Solr
・elasticsearch + SSD

● NewsPicks連携でB2Cトラフィックを捌くことが必要になった
○ 冗長回線の導入で、インターネット回線が冗長化
○ L3バランサ（LVS)の導入で2000req/sec→40000req/sec
○ マイクロサービスアーキテクチャを採用
● elasticsearchの高速・安定化のために構成変更
○ データノード、検索ノード、更新ノードを分離
SPEEDAインフラの変遷　Ver.7　2016~現在
The Internet
SPOF
・backupDB
・バッチ
仮想物理
・LVS
・Web
・AP
・Solr
・elasticsearch +SSD
　＋ノード役割分離

20Ｕｚａｂａｓｅ 20
DB
AP
Web／LBApache
Router
SPEEDA
CommonD
B
CommonDB FinanceDBUserDB FileDB
ES
Cluster
ES
Cluster
ES
Cluster
ES
Cluster
ES
(20台)
CommonDB FinanceDB
Light/Plug-in PIB
四方山話　NewsPicks連携　連携前
・B2B
・同時接続数は多くない
→この構成で捌ける

DB
Web／LB
AP
Apache
Router
SPEEDA
CommonD
B
ES
Cluster
ES
Cluster
ES
Cluster
ES
Cluster
ES
(20台)
CommonDB FinanceDB
News Media Stats Contents Proxy Search
ContentsDB
ContentsDB
Light/Plug-in PIB
四方山話　NewsPicks連携　負荷テスト時に発生した課題
Apache
・B2B
・B2C
・ユーザ150万人以上
→負荷試験で問題が発生
FW処理が重く
トラフィックが捌け
ない
→ルーティングの
みに変更
2000req/secで頭打ち
→LVS＋nginxに変更
検索レスポンス悪化
→ノード役割分離

DB
Web／LB
AP
Nginx
lvsLVSApache
Router
SPEEDA
CommonD
B
ES
Cluster
ES
Cluster
ES
Cluster
ES
Cluster
ES Data
(20台)
CommonDB FinanceDB
News Media Stats Contents Proxy Search
ContentsDB
ContentsDB
Nginx
ES Search
Light/Plug-in PIB
ES Coordinate
四方山話　NewsPicks連携　最終構成
・B2B
・B2C
・ユーザ150万人以上
→無事に負荷試験をクリア
2000→40000req/sec
に向上
リソース余裕で
捌けるように向上
検索レスポンスタイム
大幅に改善

四方山話　NewsPicks連携　ES構成変更の結果
● データノードの負荷が軽減された
● クライアントノードでFull GCが発生することはほとんどない
● 結果として検索応答時間が大幅に改善された

四方山話　NewsPicks連携　デモ
https://www.newspicks.com/
DEMO

SPEEDAインフラ運営

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to SPEEDAインフラ運営

Similar to SPEEDAインフラ運営 (20)

SPEEDAインフラ運営