【毎年恒例】今年もやります！「食べる」オイシックスIT勉強会 https://atnd.org/events/57240 本番に近いデータでテストするには ～テストデータの質を上げるためにしていること～

1. www.oisix.com
本番に近いデータで
テストするには
～テストの質上げ、コストを下げる為に行った改善～
2014/10/30 オイシックスシステム部岩井

2. 開発環境の利用状況
www.oisix.com
Test AP Server
Test-db
開発者
デザイナー
オペレーション
EC
ECサイト
社内システム・・・
開発者

3. 課題
顧客データのパターンが多い
通常会員、定期会員（ビギナー、送料定額、牛乳飲み放題、
予約、お弁当クラブ、基本セット、クーポン、特定属性、
VIP、決済方法、定期ボックスあり、離島、自社便
・・などなど）、おいトク
→ このパターンの顧客データでログインしないと
サービスが使えないのでテストできないとか、
このページが表示できないからテストできないとか、、
www.oisix.com

4. 課題
システム部開発チーム
ちょっとした改善や障害の改修の度にいちいちテスト用
顧客を作ってテストする必要がある。
いろんなパターンのテストデータを作るのがめんどう。
関連するデータを揃えたり・・
テスト用に作った名前、住所などで品質大丈夫？ テス
ト○○とか・・
そんな新規の顧客データばかりでテストして大丈夫？
ある程度、蓄積された注文データ/請求/入金など
のデータがいるのでは・・
www.oisix.com

5. 課題
デザイナーやオペレーションチーム
DBを直接触れないので特定パターンの顧客での
テストデータを作るのが困難。
ページを作ったがテスト機で確認できない・・
www.oisix.com

6. www.oisix.com
毎朝コピー
改善
Product-db Test-db
問題
・テーブル数→ 多すぎる
・データ量→ 多すぎる
・個人情報→ そのままコピーできない
・既存データ→ いろんな人が使っているので
削除できない
・テーブル構成→ 開発に使っているので変わる

7. www.oisix.com
毎朝コピー
改善
Product-db Test-db
解決策
・テーブル数→ 必要最小限
・データ量→ 絞り込む
・個人情報→ マスキング
・既存データ→ そのまま。コピーするデータのIDを
競合しないIDに変換する
・テーブル構成→ 毎日数回自動チェック

8. www.oisix.com
毎朝実行
改善
Product-db Test-db
個人情報有り
変換１
個人情報のマスキング
ID変換
変
換
２
個人情報無し
変換１
変換2

9. 個人情報のマスキング
よくやりがちな簡単なマスキング・・・
UPDATE TBL_CUSTOMER
SET ADDRESS = ‘テスト’ ||CUSTOMER_ID, YUUBIN = ‘1234567’
www.oisix.com
テスト00001
テスト00002
テスト00003
テスト00004
テスト00005
テスト00006

10. 個人情報のマスキング
テストエースでより本物に近いデータに変換！！
本物と見間違えられることしばしば・・・
www.oisix.com

11. テストエース
氏名
フリガナ
メールアドレス
電話番号
郵便番号
住所
などなど
www.oisix.com

12. テストエース
 独自の変換ロジックも簡単に作れる。
 自動で個人情報を見つけて提案してくれる機能があ
る。
 固定の文字列に置き換え。
 日付や数値のランダム変換。
 CUI実行できる。（バッチに組み込める）
 ファイル出力、取込み
www.oisix.com

13. www.oisix.com
毎朝実行
改善
Product-db Test-db
個人情報有り
変換１
個人情報のマスキング
ID変換
変
換
２
個人情報無し
変換１
変換2

14. データコピーの問題
いろんな人たちが自由にデータを作ってテストして
いる為、それらのデータを勝手に消すことができな
い。
 個人が作ったテストデータはそのままにして
 本番からのテストデータをコピーする
www.oisix.com
→共存の道を選んだ。

15. データコピーの問題
Primary key の変換
orderId: 11232091 -> 91232091
customerId: 210311 -> 910311
例）
CustomerId IDの中でさらに分け変更
1% ～ 8% 通常のシステムから作られたID 触れない
9% 本番からコピーしたデータ毎日All Delete
www.oisix.com

16. こいつが・・・
www.oisix.com
FK

17. やっかい・・
注意！！
www.oisix.com
DELETEする順番
INSERTする順番
データを絞る時の親子関係

18. www.oisix.com
毎朝コピー
改善
Product-db Test-db
解決策
・テーブル数→ 必要最小限
・データ量→ 絞り込む
・個人情報→ マスキング
・既存データ→ そのまま。コピーするデータのIDを
競合しないIDに変換する
・テーブル構成→ 毎日数回自動チェック

19. 自動チェック
www.oisix.com
Product-db Test-db
ddl ddl
Table
View
Sequence
Index
Function
Procedure
Package
synonym
などなど
diff
差分あり！

20. テストデータを探す！
作ったデータはそのままでは
システム部の人以外使えない・・・
www.oisix.com

21. テストデータを探す！
社内システム
www.oisix.com

22. 結果
デザイナー
オペレーション
 システム部以外の人でも簡単にいろんな顧客パターンの
テストデータを探してページの確認ができる
開発
 ちょっとした開発でもいちいちテストデータを作らずにテスト
www.oisix.com
ができる
 直近であれば本番に近いデータ量がある為、テストDBでも常に
負荷がかかった状態でテストができる
 バッチのテストの為に大量のデータを作ったりしなくて済む。
しかも、本番同様の複雑なデータ

23. www.oisix.com
ご質問など

24. www.oisix.com
ご静聴有難うございました。