Magento Test Automation Framework

Magento Test Automation Framework
紹介&使用感レポート

株式会社フラッツ
CTO 天方貴久
2012年6月

Copyright (C) 2012 FLATz Inc. All rights reserved. 1

自己紹介
• 天方貴久
• 株式会社フラッツ CTO

• 趣味
– 天体観測
– SF小説を書くこと

• Magento歴
– ここ１年はMagentoばかりいじっている


Magento Test Automation Frameworkとは？
• Magento Test Automation Framework(MTAF)
• Magentoの自動テストのためのフレームワーク
– 機能テスト
– 実際にブラウザを使ったテスト

– https://github.com/magento/taf
• githubでソースコードが公開されています


Magento の人力テストの問題点(1)

• テストが大変
– Magentoは標準でも機能数が非常に多い
• 人力でのテスト項目は数百から数千項目

– Magentoの各機能はほかの機能と連携している
• ある機能の不具合を修正したら、連携している部分もテスト
しなければならない
• 影響範囲を検討するのは難しい


人力テストの問題点(２)

• テストを漏れなく遂行できるか

• コストを払って繰り返しテストをするか

• テストを速くできるか


テストの自動化をすると

• テストを漏れなく遂行できるか
→テストは明確に定義される

• コストを払って繰り返しテストをするか
→テストは何回でも実施できる
→人は張り付いている必要はない

• テストを速くできるか
→人力にくらべて高速にできる。


人力テストのとある方法

HTTP
Magento CE
操作・確認
ブラウザ

私


MTAFをつかったテストだとこうなる
私
実行

HTTP
操作
結果取得

自動テストプログラムブラウザ Magento CE


MTAFをつかったテストだとこうなる
私
実行

HTTP
Test.php Selenium
RC Driver
HTTP
操作
結果取得
Selenium Magento CE
UIMap.yml RC Server
自動テストプログラムブラウザ
ＤａｔａSet.yml

PHP Unit


実際にやってみる


TAFのメリット

• テストの品質が一定になる
• 繰り返しテストができる
• テストを高速に実施できる


TAFのメリット
• ブラウザテストができる
– JavaScriptとかPHPテンプレートのエラーで動きません(> <)/ みた
いなことがない
• 最初からテストコードが付いている
– Magento標準の機能テスト一式が最初からある


TAFの構成の限界
• デザイン崩れはわからない。
– そこは目視チェックが必要
• 単体テストはできない
– ライブラリやAPIのバリエーションテストには不向き
• テストを追加するにはプログラムを組む必要がある
– テスト準備には開発者が必要


MTAFの構成（必要なソフトウェア）
• PHP 5.2.0以上(PHP UnitとMagentoに必要)
• JRE1.6以上(Selenium RCに必要)
• PHPUnit 3.5.13以上
• Selenium RC 1.0.3以上、または 2.0 rc2
• Magento Community Edition 1.5以上


MTAFがサポートするブラウザ
• Mozilla Firefox 3.x以上
• Google Chrome
• Internet Explorer 6.0以上


TAFのテストの具体例の紹介：フォルダ構造


TAFのテストの具体例の紹介：テストケース(1)
class Something_Create_Test extends Mage_Selenium_TestCase
{
// 前提条件設定
protected function assertPreConditions()
{
$this->loginAdminUser(); // 管理者ログイン
$this->assertTrue($this->checkCurrentPage('dashboard'),
'Wrong page is opened');
// 管理メニューのmanage_storesを選択
$this->navigate(‘manage_stores’); // ①
// manage_storesが表示されていることを確認
$this->assertTrue($this->checkCurrentPage(‘manage_stores’), // ②
}


// 管理画面ナビゲーション動作
public function test_Navigation() {
// 検証
$this->assertTrue($this->clickButton(‘create_store_view’), // ③
'There is no "Create Store View" button on the page');
$this->assertTrue($this->checkCurrentPage('new_store_view'),
$this->assertTrue($this->controlIsPresent('button', 'back'),
'There is no "Back" button on the page');
$this->assertTrue($this->controlIsPresent(‘button’, ‘save_store_view’),
'There is no "Save" button on the page');
$this->assertTrue($this->controlIsPresent('button', 'reset'),
'There is no "Reset" button on the page');
}


// 必須フィールドのみのテスト
public function test_WithRequiredFieldsOnly()
{
// フォームにセットするデータ読み込み
$storeData = $this->loadData(‘generic_store’, Null, ‘store_name’); // A

// 操作
$this->clickButton(‘create_store’);
$this->fillForm($storeData);
$this->saveForm(‘save_store’);

// 検証
$this->assertTrue($this->successMessage(‘success_saved_store’) // ④
, $this->messages);
$this->assertTrue($this->checkCurrentPage(‘manage_stores’), // ①
'After successful creation store should be redirected to Manage Stores page');
}
}


TAFのテストの具体例の紹介：UIMap
manage_stores:
mca: system_store/ // ②
click_xpath: //ul[@id=‘nav’]//a[contains(@href, ‘system_store’)] // ①
title: Stores / System / Magento Admin
uimap:
buttons:
create_store_view: button[span=‘Create Store View’] // ③
messages:
success_saved_store: li[normalize-space(@class)=‘success-msg’]// ④


TAFのテストの具体例の紹介：DataSet

generic_store: // A
website: Main Website
store_name: Generic Store(%randomize%)
root_category: Default Category

edit_store:
store_name: Main Website Store
root_category: Default Category
default_store_view: Default Store View


実際のソースコードめぐり


TAFの使用感(1)
• Magentoの標準機能の全体的なテストを実施できるのはうれしい
– すごい量のテストコード
– 自動化テストに取り組むためのフレームワークを自分で作る必要はない
• UIMap、データセット、ユーザログインなどのテストの前提となるテスト機能

• 実は標準のマニュアルの手順だけだとうまく動かない？
– Magento 1.5用なので1.6だとエラーが出る
– Windows用のマニュアルなのでLinuxだと戸惑う

• 結構１回のテストに時間がかかる
– 1回の全テストに10時間以上かかる

• 日本語環境、多言語環境はどうするのか？
– 日本語用のデータセットの準備や日本語エクステンション用のXpathの書き換えが必要


TAFの使用感(2)
• Magento TAFはどんなときに使った方がいいか
– Magento 1.5,1.6,1.7系
• 継続開発、繰り返し開発の場合
– 使うことを検討してみるのはあり。
• 単発の開発の場合
– 日本では、初期導入コストは高いので要検討

– Magento 2.0系
• 試していないが、使えないと思う。
• Magento 2.0のフレームワークには標準でUnit Testの機能があるので、
自動化に興味がある場合はそちらを試したほうがいい
– Magento 2.0 はテスト自動化の本命？
– TAFは機能テストだが・・・


TAFのマニュアル
• ユーザマニュアル、インストール手順書 (英語)がTAF本家で公開さ
れている

– https://github.com/magento/taf/blob/master/MagentoTestAutomationFram
eworkUsersGuide.pdf
– https://github.com/magento/taf/blob/master/MagentoTestAutomationFram
eworkInstallationGuide.pdf


おわり
• Magento全体の品質があがり、より安心できるようになることを
願って


エンジニアを募集
• Magentoの開発に興味のあるエンジニアを募集しています


連絡先
• 株式会社フラッツ(twitter：@flatz)
– 天方貴久 (twitter： @cmmpower)
– http://www.flatz.jp/


Magento Test Automation Framework

Recommended

Recommended

More Related Content

What's hot

What's hot (14)

Viewers also liked

Viewers also liked (11)

Similar to Magento Test Automation Framework

Similar to Magento Test Automation Framework (20)

Recently uploaded

Recently uploaded (10)

Magento Test Automation Framework