Reactive Systems Meetup #7 の発表資料です。

1. © 2021 TIS Inc.
Reactive System Meetup #7
Starting Reactive Systems with Lerna
2021.10.23
Technology & Innovation SBU
Technology & Engineering Center

2. © 2021 TIS Inc. 2
自己紹介
• 現在の取り組みテーマ
高可用・高スループットなシステムを安価にスピーディーに構築するには？
ソフトウェアスタック『Lerna』のプロダクトオーナーとして基盤整備と実戦投入
• 訳書
Akka実践バイブル（Akka in Action）
• Web連載
ThinkIT：メニーコア時代のバラダイム リアクティブシステムを知ろう
• イベント登壇
Scala Matsuri、JJUG CCCなど
TIS株式会社 テクノロジー＆イノベーション本部
テクノロジー＆エンジニアリングセンター ≒ 技術特化横断組織
前出 祐吾 Twitter @yugolf

3. © 2021 TIS Inc. 3
モチベーション
ミッションクリティカルなシステム求められる非機能要件
高い可用性 ＋ 高いスループット
「低コスト」で「早く」
高可用・高スループットを実現できる仕組みがほしい！
• コストがかさむ
• 高スループットの実現にはさらにかさむ
• 複雑・難解
• ビジネスロジック以外に時間がかかる
分散システム
高可用サーバー

4. © 2021 TIS Inc. 4
解決策
• Message Driven、Actor Model
• Stateful Application
• Distributed System、Cluster
• Event Sourcing、Distributed DB
• CQRS
複雑 難解
繰り返し構築し、継続して運用することで
アーキテクチャと技術者を洗練させていく
OSS
『Lerna』
Akkaを使ってリアクティブシステムを構築する

5. © 2021 TIS Inc. 5
高可用ソフトウェアスタック「Lerna」
– ライブラリ Akka Typed対応 new
– ガイド
– リファレンスコード
– 環境構築スクリプト
– 学習コンテンツ new
など、高可用システムを構築する過程で必要だったもの、
足りないものを取り揃えている
高可用性にフォーカスし
リアクティブシステムを実現するソフトウェアスタック

6. © 2021 TIS Inc. 6
「Lerna」の全体像
VMに対してLernaの環境構築スクリプトを実行すると高可用システムの土台となる環境を
構築できる
https://fintan.jp/?p=5946
「低コスト」で「早く」
高可用・高スループットを実現できる仕組み

7. © 2021 TIS Inc. 7
Lernaが実現する可用性レベルは？
• Design for Failure の数値化
– 障害を前提とした設計を行い、その設計の妥当性を評価
• 稼働率
– MTBFとMTTR から算出した論理稼働率
（注：サービスそのものの稼働率ではありません）
– MTTR：Mean Time To Repair の短縮にフォーカス
https://ja.wikipedia.org/wiki/%E5%8F%AF%E7%94%A8%E6%80%A7

8. © 2021 TIS Inc. 8
計測条件
以下条件下で模擬障害を発生させMTTRを計測
– AWS上に決済サービスを構築
– CQRS + イベントソーシングのアーキテクチャを採用
• コマンドサイドのAPIはリアルタイムにイベントをCassandraへ永続化
• 非同期にクエリサイド（MariaDB）へ反映
– 計測対象はコマンドサイド
– Gatlingで150TPSのリクエストを発行

9. © 2021 TIS Inc. 9
LernaとしてのMTTRの考え方
障害発生箇所
ダウンタイム
実測値
年間障害
発生回数
サーバー
台数
障害
影響範囲
MTTR
Load Balancer（Keepalived）
疑似障害
を発生させ
計測
1 1
障害発生時
の影響範囲
（サービス
利用できな
い割合）
ダウンタイム実測値
x
サーバー台数
x
年間障害発生回数
ｘ
障害影響範囲
Load Balancer（HAProxy） 1 3
Application（Akka Cluster） 1 9
Command Side DB（Cassandra） 1 6
Query Side DB（MariaDB） 1 6
DC障害（ネットワーク分断） 1 1
年間停止時間
全障害発生箇所
MTTRの合計
• 障害発生箇所ごとにサービス利用者が一人でも利用できない時間を計測し「ダウンタイム実測値」
とする
• 年間障害発生回数をサーバーあたり1回と仮定し、「サーバー台数 x 障害発生時の影響範囲
（サービス利用できない割合）」をMTTRとする
• 全障害発生箇所ごとのMTTRを合計し年間停止時間とする

10. © 2021 TIS Inc. 10
計測結果
障害発生箇所
ダウンタイム
実測値
年間障害
発生回数
サーバー
台数
障害
影響範囲
MTTR
Load Balancer（Keepalived） 2.78秒 1 1 1 2.78秒
Load Balancer（HAProxy） 3.32秒 1 3 1/3 3.32秒
Application（Akka Cluster） 5.92秒 1 9 1/9 5.92秒
Command Side DB（Cassandra） 0.00秒 1 6 1/6 0.00秒
Query Side DB（MariaDB） 1.14秒 1 6 1/6 1.14秒
DC障害（ネットワーク分断） 8.02秒 1 1 1 8.02秒
年間停止時間
全障害発生箇所
MTTRの合計
• 障害発生箇所を回復させるのではなく、瞬時に切り離し影響を最小限に留める
• 全レイヤがスケーラブルなので、元の構成へ治癒可能
• アプリケーションレイヤは独自ライブラリ akka-entity-replication で実現
全レイヤ10秒以内で回復

11. © 2021 TIS Inc. 11
稼働率：99.9999%
障害発生箇所
ダウンタイム
実測値
年間障害
発生回数
サーバー
台数
障害
影響範囲
MTTR
Load Balancer（Keepalived） 2.78秒 1 1 1 2.78秒
Load Balancer（HAProxy） 3.32秒 1 3 1/3 3.32秒
Application（Akka Cluster） 5.92秒 1 9 1/9 5.92秒
Command Side DB（Cassandra） 0.00秒 1 6 1/6 0.00秒
Query Side DB（MariaDB） 1.14秒 1 6 1/6 1.14秒
DC障害（ネットワーク分断） 8.02秒 1 1 1 8.02秒
年間停止時間 21.18秒
https://ja.wikipedia.org/wiki/%E5%8F%AF%E7%94%A8%E6%80%A7

12. © 2021 TIS Inc. 12
今後
• アプリケーションサンプル拡充（Sagaパターン）
• ローリングアップデートのレイテンシ対策

13. © 2021 TIS Inc. 13
さらに詳しい情報は
◆ Lernaの可用性と処理能力
◆ TISのあらゆるノウハウを公開 https://fintan.jp/
https://fintan.jp/?p=7256

14. © 2021 TIS Inc. 14
We are Hiring！
◆ 一緒に働く仲間を募集しています！
https://hrmos.co/pages/tissaiyo/jobs/21100400002

15. © 2021 TIS Inc. 15
まとめ
• 高可用ソフトウェアスタック「Lerna」
– ミッションクリティカルなシステムが求める非機能要件を実現
– システム開発に必要なものを揃えOSS公開
– 複雑・難解な分散システムへの障壁を軽減、洗練させていく拠り所
• Design for Failureを数値化
– MTTR実測値ベースの論理稼働率 99.9999%
– アプリケーションレイヤも含め10秒以内で回復