※Cassandra勉強会 in Tokyo, July 25th」発表資料です。 「Apache Cassandra 4.0におけるRepairアーキテクチャ」 2019年中にリリース予定とされる新バージョン4.0ではrepairアーキテクチャが大幅ブラッシュアップされています。Apache Cassandraの運用において大きな影響を与えるrepairアーキテクチャが4.0ではどのように変更されブラッシュアップされているかを4.0の内部実装より解き明かします。 冨田 和孝 株式会社INTHEFOREST 代表取締役社長、日本Cassandraコミュニティーメンバー、データベースエンジニア・システムアーキテクト ぐるなび、外国為替、ISPなど、DB中心としたシステム構築・運用・保守を担当。高負荷・大容量・大規模なデータ処理・データ解析基盤作りに強み。

1. Repair at Cassandra 4.0 変更点
株式会社INTHEFOREST とみたかずたか

2. CassandraにおけるRepairとは
実際の処理
3.x系との変更点
目次

3. 自己紹介
冨田 和孝（@railute）
株式会社ＩＮＴＨＥＦＯＲＥＳＴ 代表取締役社長
日本Cassandraコミュニティーメンバー
データベースエンジニア・システムアーキテクト
経歴：ぐるなび、外国為替、ISPなど、DB中心としたシステム構築・運用・保守を担当。
高負荷・大容量・大規模なデータ処理・データ解析基盤作りに強み。
また、学生時代は社会言語学を専攻し、「認知意味論」をベースとしたＮＬＰも研究中。

4. 自己紹介
Tim Berglund
Global Director of Training
COMPLETED
HAS COMPLETED
Kazutaka Tomita
as a part of the:
DataStax Certific
a
t ion Pr ogram.
Apache CassandraTM
Professional Certifica tion
SEPTEMBER
8
2016
Tim Berglund
Global Director of Training

5. Repairとは
Apache Cassandraは各ノード間でレプリカを分散保持することにより
データの整合性を担保しています。また、純P2P型データベースのため
ノード間で通信の遅延や各ノードでの処理不具合などにより各ノード上の
レプリカが存在も含めて不整合となることが構造上許容されています。並
列更新やネットワーク遅延など、データの不整合を引き起こすタイミング
は決して少なくなく、日常的な保守として定期的にレプリカの生合成を整
える必要があります。この整合性を整える処理が「nodetool repair」です。
5

6. 実際の動き
org.apache.cassandra.repair.RepairRunnable.runMayThrow()
Keyspace、CF取得→Primary Rangeの取得→RangeNodeの取得→
実行Optionの反映→submitRepairSession
第１段階

7. 実際の動き
第２段階
org.apache.cassandra.service.ActiveRepairService. submitRepairSession()
org.apache.cassandra.repair.RepairSession.start()
org.apache.cassandra.repair.RepairJob.run()
対象ノード死活確認→CFの取得→Snapshotの取得→Validation(merkle
treesの取得要求)→ merkle treesの突き合わせ→（！整合）Streeming

8. 4.0で何が変わったか
いくつかの新規オプション追加と
細かい実装が変更されている

9. 追加されたOption
-force, --force
Use -force to filter out down endpoints
ダウンノードの除外
-os, --optimise-streams
Use --optimise-streams to try to reduce the number of streams we do
(EXPERIMENTAL, see CASSANDRA-3200).
Streamingの調整
-pp, --print-port
Operate in 4.0 mode with hosts disambiguated by port number
ポートナンバーの明示
-prv, --preview
Determine ranges and amount of data to be streamed, but don't
actually perform repair
実際に処理は行わずに修復量を見積もります。
-vd, --validate
Checks that repaired data is in sync between nodes. Out of sync
repaired data indicates a full repair should be run.
リペアが必要かどうかのチェックを行います。

10. Repairの種別
10
• 平行実行：パラレル or シーケンシャル：（デフォルト：パラレル）
nodetool repair -seq
nodetool repair (オプション無し)
• 実行単位：インクリメンタル or フル：（デフォルト：インクリメンタル）
nodetool repair -full
nodetool repair (オプション無し)
• 実行単位：DC パラレル or ローカル or DC指定 （デフォルト：オプション無し（全DC））
nodetool repair –dc <指定DC>
nodetool repair –local
nodetool repair -dcpar

11. まとめ
4.0になってもRepairは重要！

12. ご参加ありがとうございます！
株式会社INTHEFOREST
広報連絡先：高木
sales@intheforest.co.jp