Документ представляет собой сравнительный анализ инструментов автоматизации тестирования мобильных приложений, включая m-eux, ranorex, seetest, appium, silk mobile, testdroid и robotium. Каждому инструменту присвоены оценки по ряду критериев, включая лицензионную модель, поддержку платформ, возможность разработки тестов и наличие встроенных IDE. Основные недостатки инструментов выделены, что может помочь пользователям сделать информированный выбор в зависимости от их потребностей.

1. Инструменты автоматизации
тестирования мобильных
приложений.
Сравнительный анализ.

2. Рассматриваемые
инструменты
1) M-Eux
2) Ranorex
3) SeeTest
4) Appium
5) Silk Mobile
6) Test Droid
7) Robotium

3. Приложения, которые были
автоматизированы
1) Complicated – гибридное мобильное
приложение, написаное с помощью:
PhoneGap, Sencha ExtJS, HTML5.
2) Simple- native application для нескольких
версий Android.

4. Список критериев оценки инструментов
тестирования
1) Лицензионность
2) Поддерживаемые платформы (iOS, Android, both)
3) Возможность разработки тестов для Native, Hybrid, Web
приложений
4) Наличие и возможность проигрывания Record Play
тестов
5) Языки разработки тестов
6) Наличие встроенной IDE для разработки тестов
7) Возможность экспорта в другие IDE (Visual Studio,
Eclipse, etc)
8) OOP подход в реализации маппинга объектов
9) Возможность работы с эумлятором/реальным
устройством

5. Лицензионность
M-Eux
Proprietary Bad
Ranorex
Proprietary Bad
SeeTest
Proprietary Bad
Testdroid
Proprietary Bad
Robotium
Free Good
Appium
Free Good
Silk Mobile
Proprietary Bad

6. Поддерживаемые платформы
(iOS, Android, both)
Инструмент Поддержка iOS Поддержка
Android
Оценка
M-Eux + + Good
Ranorex + + Good
SeeTest + + Good
Testdroid - + Medium
Robotium - + Medium
Appium + + Good
Silk Mobile + + Good

7. Возможность разработки тестов для
Native, Hybrid, Web приложений
Инструме
нт
Native Hybrid Web Оценка
M-Eux + + + Good
Ranorex + - + (iOS only) Medium
SeeTest + + + Good
Testdroid +(Android only) +- +- Bad
Robotium + (Android only) + (Android only) + (Android
only)
Medium
Appium + + + Good
Silk
Mobile
+ + + Good

8. Наличие Record Play инструментария
Инструмент Наличие Record Play Оценка
M-Eux + Good
Ranorex + Good
SeeTest + Good
Testdroid + Good
Robotium - (будет выпущен
коммерческий Record Play)
Bad
Appium + Good
Silk Mobile + Good

9. Языки разработки тестов
Инструмент Язык разработки тестов Оценка
M-Eux C#, Java Medium
Ranorex C#, VB.NET Medium
SeeTest C#, Java, Python, Perl Good
Testdroid Java, JavaScript Medium
Robotium Java Bad
Appium C#, Java, Python, Ruby,
PHP, JavaScript
Good
Silk Mobile C#, Java, Python, Perl Good

10. Наличие встроенной IDE
для разработки тестов
Инструмент Встроенная IDE для
разработки тестов
Оценка
M-Eux - Bad
Ranorex Ranorex Studio Good
SeeTest SeeTest Automation Good
Testdroid - Bad
Robotium - Bad
Appium - Bad
Silk Mobile Silk Mobile Good

11. Возможность экспорта тестов в другие
IDE (Visual Studio, Eclipse, etc)
Инструмент Экспорт в другие IDE
(Visual Studio, Eclipse, etc.)
Оценка
M-Eux Работа ведѐтся непосредственно из VS, Eclipse,
etc
Medium
Ranorex + Good
SeeTest + Good
Testdroid Работа ведѐтся непосредственно из Eclipse Medium
Robotium Работа ведѐтся непосредственно из любой JAVA
IDE (Eclipse, IDEA, Net Beans etc.)
Medium
Appium Работа ведѐтся непосредственно из VisualStudio,
Eclipse, etc
Medium
Silk Mobile + Good

12. Инструмент OOP-based
mapping
Оценка
M-Eux + Good
Ranorex + Good
SeeTest - Bad
Testdroid - Bad
Robotium - Bad
Appium - Bad
Silk Mobile - Bad
OOP подход в реализации маппинга
объектов

13. Возможность работы с
эмулятором/реальным устройством
Инструме
нт
Emulator Real Device Оценка
M-Eux + + Good
Ranorex + + Good
SeeTest + + Good
Testdroid + + Good
Robotium + + Good
Appium + + Good
Silk Mobile + + Good

14. Сводный рейтинг
Инструме
нт
Главные недостатки Оценка
M-Eux Стоимость лицензии Medium
Ranorex Хорошо работает только с native приложениями Medium
SeeTest Стоимость лицензии,
Отсутсвтие OOP подхода при формировании мапы
Medium
Testdroid Отсутсвтие OOP подхода при формировании мапы,
Поддержка только Android
Bad
Robotium Поддержка только Android, Поддержка только Java,
Отсутсвтие OOP подхода при формировании мапы
Bad
Appium Отсутсвтие OOP подхода при формировании мапы Good
Silk
Mobile
Стоимость лицензии
Отсутсвтие OOP подхода при формировании мапы
Medium

15. Автор:
Вадим Зубович
Опыт в IT более 5 лет, специализация:
разработка (.NET C# ASPMVC, WPF,
WinForm, Java) и автоматизация
функционального тестирования
програмного обеспечения (Web,
Desktop, Mobile) и тестирования
производительности (Web).