How IntelliJ IDEA plugin can help you in QA Automation

How Idea plugin can help
you in QA Automation
Delex Conf, Minsk, 2019

Артем
Ерошенко
QametaSoftware

Иван
Варивода
Wrike

Приложение для управления проектами
Более 17 000 компаний из 120 стран
Google,AirBnb,Adobe,Western Union, …

Автоматизация тестирования

Много разных проектов

В каждом проекте сюрприз

Расставить все по местам

Расставить все по местамКак обеспечить равномерность?

Ограничить прогресс

Добавить пару рук

Совершенствовать орудие труда

Я видел много инструментов

Возможности Idea Plugin

Тесты катать - не ракеты строить

Тесты катать - не ракеты строить
Атомарные
Похожие
Простые

Доктор, я перевожу
тесты на jUnit5 силой мысли,
это нормально?

Подъем по ступенькам

Вперед к приключениям

Импорт в проект
Экспорт из проекта
Рефакторинг проекта
Плагин за 10 минут

Создаем новый проект

Форма создания Action

Добавляем Action в группу

Группа меню правого клика

Добавили Action в группу

Точка входа в Idea Plugin
public class AnAction {
@Override
public void actionPerformed(AnActionEvent event) {
//MAGIC here
}
}

public class FirstAction extends AnAction {
@Override
public void actionPerformed(AnActionEvent e) {
Project project = e.getProject();
Editor editor = e.getRequiredData(CommonDataKeys.EDITOR);
PsiElement psiElement = e.getData(PSI_ELEMENT);
String name = ((PsiClass)psiElement).getQualifiedName();
showDialog(cName);
}
}
Основа всего PsiElement

public class Steps {
@Step("Open Wrike login page")
public void openWrikeLogin() { ... }
@Step("Open inbox")
public void openInbox() { ... }
...
}
PsiClass - работа с классом

PsiMethod - работа с методами
@Step("Open inbox")
...
}

PsiAnnotation - аннотации
@Step("Open inbox")
...
}

public class FirstAction extends AnAction {
@Override
PsiElement psiElement = e.getData(PSI_ELEMENT);
PsiClass psiClass = ((PsiClass)psiElement);
String name = psiClass.getQualifiedName();
showDialog(name);
}
}
Выведем Qualiﬁed Name

Создаем обычную панель

Рисуем диалоговое окно

Выполняем ./gradlew runIde

Какую проблему решаем?

10 K селениум тестов

Рассмотрим обычный тест
public class LoginTest {
@Before()
public void prepare() { ... }
@Test
@Category({Firefox.class, Smoke.class, Login.class})
@DisplayName("Check login")
public void loginWithCorrectPassword() { ... }

Категории автотеста
@Before()
@Test

На самом деле их много
@Before()
@Test
@Category({Firefox.class, Smoke.class, Login.class,
Workspace.class, IE.class, Safari.class
...})

Технические категории
@Before()
@Test

Продуктовые категории
@Before()
@Test

Нужно поменять разметку
@Before()
@Test

Добавить продуктовые фичи
@Before()
@Test
@Feature("Login")

Добавить технические типы
@Before()
@Test
@Feature("Login")
@Types({@Type("Firefox"), @Type("Smoke")})

Удалить ненужные категории
@Before()
@Test
@Feature("Login")

Какую проблему решаем?Способ решения проблемы

Давайте запилим плагин!

ReplaceCategoryAction
public class ReplaceCategoryAction extends AnAction {
@Override
PsiElement element = event.getData(PSI_ELEMENT)
if (element instance of PsiClass) {
replaceCategory((PsiClass)element)
}
}
}

Получили PsiClass
@Before()
@Test
}

Берем все методы класса
private void replaceCategory(PsiClass psiClass) {
Arrays.stream(psiClass.getMethods())
.filter(m -> m.hasAnnotation("...Test"))
.filter(m -> m.hasAnnotation("...Category"))
.forEach(this::replaceCategory);
}

@Before()
@Test
}
Получили все методы класса

Фильтруем нужные методы
private void replaceCategory(PsiClass psiClass) {
Arrays.stream(psiClass.getMethods())
.filter(m -> m.hasAnnotation("...Test"))
.filter(m -> m.hasAnnotation("...Category"))
.forEach(this::replaceCategory);
}

Получили тестовый метод
@Before()
@Test
}

Берем текст @Category
private void replaceCategory(PsiMethod method) {
PsiAnnotation category =
method.getAnnotation("org...Category");
String categoryValues = category.
findDeclaredAttributeValue(“value”).getText();
//next slide plz
}

@Before()
@Test
Получили текст @Category

Технические и продуктовые
String categoryValues = ...
String featureValue =
findFeatureValue(categoryValues)
List<String> typeValues =
findTypeValues(categoryValues)
//next slide plz
}

@Before()
@Test
}
Технические и продуктовые

Добавляем @Feature
String featureValue = ...
List<String> typeValues = ...
addFeature(method, featureValue);
addTypes(method, typeValues);
removeCategory(method);
}

Добавляем аннотацию
void addFeature(PsiMethod method, String feature) {
String body = "io...Feature("" + feature + "")";
PsiAnnotation featureAnnotation =
method.getModifierList().addAnnotation(body);
JavaCodeStyleManager.getInstance(project)
.shortenClassReferences(featureAnnotation);
}
@io.qameta.Feature("Login")

Добавили с полным путем
@Before()
@io.qameta.allure.Feature("Login")
@Test
}

Оптимизируем импорты
void addFeature(PsiMethod method, String feature) {
String body = "io...Feature("" + feature + "")";
PsiAnnotation featureAnnotation =
}
@Feature("Login")

Оптимизировали импорты
@Before()
@Feature("Login")
@Test
}

Нельзя просто взять
и изменить код!

private void replaceCategory(PsiMethod psiMethod) {
CommandProcessor.getInstance().executeCommand(()->{
getApplication().runWriteAction(()->{
//код с предыдущего слайда
})
})
}
Обертка над изменением кода

Добавляем @Types
}

Все по накатанной схеме
void addTypes(PsiMethod method, List<String> types) {
String body = createTypesBody(types);
PsiAnnotation typesAnnotation =
}

Аннотация в виде строки
public String createTypesBody(List<String> types) {
return types.stream()
.map(f -> "@io..Type("" + f + "")")
.collect(Collectors.joining(","))
}
public String getTypesText(List<String> types) {
String inner = getInnerFeaturesText(features);
return "@io..Types({" + inner + "})";
}

Добавили @Types
@Before()
@Feature("Login")
@Test
}

Удаляем @Category
}

@Before()
@Feature("Login")
@Test

private void deleteCategory(PsiMethod method) {
PsiAnnotation category = method
.getModifierList()
.findAnnotation("org...Category");
category.delete();
}

Удалили @Category
@Before()
@Feature("Login")
@Test

А для всех тестов?

ReplaceAllCategoryAction
public class ReplaceAllCategoryAction extends AnAction {
@Override
project = e.getProject();
AllClassesGetter.processJavaClasses(
new PlainPrefixMatcher(""),
project,
GlobalSearchScope.allScope(project),
processor);
}
}

Начинается с "Test"
@Override
new PlainPrefixMatcher("Test"),
project,
processor);
}
}

Обходим все классы
@Override
project,
processor);
}
}

Указываем проект
@Override
project,
processor);
}
}

Скоуп поиска
@Override
project,
processor);
}
}

Логика обработки
@Override
project,
processor);
}
}

Метод используемый выше
Processor<PsiClass> processor = psiClass -> {
replaceCategory(psiClass);
return true;
};

Какие еще есть идеи?
Разметка новых тестов
Переезд на новую версию

Что автоматизировано?

Задача на автоматизацию

public class AddFavoritesAfterNoteTest {
@Test
@DisplayName("Добавление в избранное после создания заметки")
public void shouldAddToFavoriteAfterNodeTest() { ... }
@Test
@DisplayName("Удаление из избранного после удаления заметки")
public void shouldDeleteToFavoriteAfterNodeTest() { ... }
}
Возьмем название теста

Поиск по тексту в Jira

Нужно расставить ссылки
@Test
@TmsLink("AE-5")
@Test
@TmsLink("AE-4")
}

Для всех тестов сложно

Работаем только с классами
public class JiraKeyImportAction extends AnAction {
@Override
addTmsLinkToClassMethods((PsiClass)element)
}
}
}

Выбрали класс для апдейта
@Test
@Test
private void utilityMethod() { ... }
}

void addTmsLinkToClassMethods(PsiClass testClass) {
Arrays.stream(testClass.getMethods())
.filter(m -> m.hasAnnotation("org..Test"))
.filter(m -> m.hasAnnotation("org..DisplayName"))
.forEach(this::addTmsLinkToMethod)
}
}
Получаем все методы класса

void addTmsLinkToClassMethods(PsiClass testClass) {
.filter(m -> m.hasAnnotation("org..DisplayName"))
}
}
Фильтруем тестовые методы

Выбрали методы для апдейта
@Test
@Test
}

void addTmsLinkToMethod(PsiMethod method) {
PsiAnnotatation nameAnnotation =
method.getAnnotation("org..DisplayName");
String text = name
.findDeclaredAttributeValue("value").getText()
String key = jiraClient.findByText(text);
addTmsLinkToMethod(testMethod, key);
}
}
Берем аннотацию DisplayName

Нашли аннотацию с именем
@Test
@Test
}

void addTmsLinkToMethod(PsiMethod testMethod) {
PsiAnnotatation name =
String text = name
}
}
Берем текст DisplayName

Тест для поиска в Jira
@Test
@Test
}

String text = name
}
}
Ищем Issue по тексту в Jira

Посмотрим на Jira API

String text = name
}
}
Добавляем аннотацию в код

void addTmsLinkToMethod(PsiMethod method,String key){
String tmsLinksAnnotationText =
"@io..TmsLink("" + key + "")";
PsiAnnotation tmsLink =
method.addAnnotation(tmsLinkAnnotationText);
.shortenClassReferences(tmsLink);
}
}
Формируем текст аннотации

void addTmsLinkToMethod(PsiMethod method,String key){
String tmsLinksAnnotationText =
"@io..TmsLink("" + key + "")";
method.addAnnotation(tmsLinkAnnotationText);
.shortenClassReferences(tmsLink);
}
}
Добавляем аннотацию

Добавили аннотацию
@Test
@io.qameta.allure.TmsLink("AE-5")
@Test
}

Добавили импорт аннотации
@Test
@TmsLink("AE-5")
@Test
}

Что еще можно прокачать?

Теги для
запуска тестов

Labels для разметки тестов

Создаем JiraLabelsImportAction
public class JiraLabelsImportAction extends AnAction {
@Override
addTagsToClassMethods((PsiClass)element)
}
}
}

void addTagsToClassMethods(PsiClass testClass) {
.filter(m -> m.hasAnnotation("org..TmsLink"))
}
}
Фильтруем методы с ключом

void addTagsToMethod(PsiMethod testMethod) {
testMethod.getAnnotation("io..TmsLink");
String key = getTextValue(tmsLink);
List<String> labels = jiraClient.getLables(key);
String tagsText = getTagsText(labels);
PsiAnnotation tags = create(tagsText, testMethod);
testMethod.getModifiersList()
.addAfter(tags, tmsLink);
}
}
Зачитываем ключ Issue в Jira

Получили ключи тестов
@Test
@TmsLink("AE-5")
@Test
@TmsLink("AE-4")
}

}
}
Забираем лейбочки из Jira

}
}
Создаем строку с аннотацией

Аннотация в виде строки
public String getInnerTagsText(List<String> labels) {
return features.stream()
.map(f -> "@org..Tag("" + f + "")")
.collect(Collectors.joining(","))
}
public String getTagsText(List<String> labels) {
String inner = getInnerTagsText(labels);
return "@org..Tag({" + inner + "})";
}
@org..Tags({@org..Tag("regress"), ...})

}
}
Создаем аннотацию из строки

}
}
@Tags после @TmsLink

Добавили теги в тест
@Test
@TmsLink("AE-5")
@org..Tags({@org..Tag("regress")})
}

addImport(testMethod.getContainingFile(), "org..Tag");
addImport(testMethod.getContainingFile(), "org..Tags");
// код из предыдущего слайда с write операцией
optimizeImports(testMethod.getContainingFile());
}
}
Оптимизируем импорты

Добавили теги в тест
@Test
@TmsLink("AE-5")
@Tags({@Tag("regress")})
}
Оптимизировали импорты

Импорт сценария теста
Импорт Feature/Story
Включение/выключение

А что в тестах проверяется?

Как будем действовать?

Код метода
автотеста

@Test
@TmsLink("AE-5")
@Features({@Feature("Favorites")})
@Stories({@Story("Add favorites after note")})
public void shouldAddToFavoriteAfterNodeTest() {
steps.openMainPage();
...
}
}
Мета информация

@Test
@TmsLink("AE-5")
...
}
}
Сценарий теста

Код метода
автотеста
Соберем
все
данные

Информация для экспорта
public class TestCase implements Serializable {
private String id;
private String name;
private List<String> features;
private List<String> stories;
private List<String> steps;
...
}

Код метода
автотеста
Соберем
все
данные
Сохраним
в удобном
формате

HTML-шаблон на Freemarker

Создаем TestCaseExportAction
public class TestCaseExportAction extends AnAction {
@Override
PsiElement element = event.getData(PSI_ELEMENT);
List<TestCase> testcases =
Arrays.stream(((PsiClass) element).getMethods())
.map(this::getTestCaseFromMethod)
.collect(Collectors.toList());
writeTestCases(event.getProject(), testcases);
}
}

Берем все методы тестов
@Override
}
}

Собираем информацию
@Override
}
}

Сохраняем результат
@Override
}
}

Как собираем данные метода?
public TestCase getTestCaseFromMethod(PsiMethod method) {
TestCase testCase = new TestCase();
testCase.setId(getTmsLinkText(method));
testCase.setName(getDisplayNameText(method));
testCase.setFeature(getFeaturesText(method));
testCase.setStories(getStoriesText(method));
testCase.setSteps(getSteps(method));
return testCase;
}
}

Уже делали раньше
return testCase;
}
}

@Test
@TmsLink("AE-5")
...
}
}
Уже делали раньше

Тоже самое, только массивы
return testCase;
}
}

@Test
@TmsLink("AE-5")
...
}
}
Тоже самое, только массивы

А вот это не тривиально
return testCase;
}
}

@Test
steps.openAutoCardPage("Volvo XC90")
steps.addNotesToAutoCard("в хорошем состоянии");
steps.openFavoritesPage("в хорошем состоянии");
steps.checkFavoritesListContains("Volvo XC90")
}
}
Сценарий теста

Добываем список Шагов
public class ScenarioExportAction extends AnAction {
public List<String> getSteps(PsiMethod testMethod) {
Arrays.stream(method.getBody().getStatements())
.filter(PsiMethodCallExpression.class::isInstance)
.map(PsiMethodClassExpression.class::cast)
.map(PsiMethodClassExpression::resolveMethod())
.filter(m -> m.hasAnnotation("...Step"))
.map(m -> m.getAnnotation("...Step"))
.map(a -> a.findDeclaredAttribute("value"))
.map(PsiAnnotationMemberValue::getText)
.forEach(Collectors.toList())
}
}

@Test
steps.openAutoCardPage("Volvo XC90")
steps.addNotesToAutoCard("в хорошем состоянии");
steps.openFavoritesPage();
steps.checkFavoritesListContains("Volvo XC90")
}
}
Не метод, а оператор вызова
PsiMethodCallExpression

Добываем список методов
.map(PsiMethodClassExpression::resolveMethod)
}
}

public class BasicSteps {
@Step("Открываем главную страницу")
public void openMainPage() { ... }
@Step("Открываем страницу машины марки {mark}")
public void openAutoCardPage(String mark) { ... }
@Step("Добавляем заметку {text} к машине")
public void addNotesToAutoCard(String text) { ... }
private void utilityMethod { ... }
}
Получили реальные методы
конкретный PsiMethod

Добываем список шагов
.map(PsiMethodClassExpression::resolveMethod())
}
}

Получили текст аннотации
public class BasicSteps {
@Step("Открываем главную страницу")
public void openMainPage() { ... }
@Step("Открываем страницу машины марки {mark}")
public void openAutoCardPage(String mark) { ... }
@Step("Добавляем заметку {text} к машине")
public void addNotesToAutoCard(String text) { ... }
private void utilityMethod { ... }
}

Как сохранить результат?
public void writeTestCases(Project project,
List<TestCase> testCases) {
String content = FreemarketUtls
.processTemplate("testcases.ftl", testCases);
Path projectDir = Paths.get(project.getBasePath())
Path indexFile = projectDir.resolve("index.html");
Files.write(indexFile, content.getBytes());
}
}

Шаблон "testcases.ftl"
<#list testcases as testcase>
<h2>${testcase.id} - ${testcase.name}</h2>
<div class="meta">
<div class="features">${testcase.features}</div>
</div>
<ul class="list-group">
<#list testcase.steps as step>
<li class="list-group-item">${step}</li>
</#list>
</ul
</#list>

Заполняем шаблон данными
}
}

Сохраняем результат
}
}

Проект на основе тестов

Код метода
автотеста
Соберем
все
данные
Экспорт
в Jira

Как сохранить результат?
public void writeToJira(Map<PsiMethod, TestCase> map) {
map.forEach((method, testCase) -> {
JiraIssue new = convert(testCase);
JiraIssue created = jiraClient.create(new);
String key = created.getKey();
addTmsLink(method, key);
});
}
}

Конвертируем в JiraIssue
});
}
}

Конвертируем в JiraIssue
public JiraIssue convert(TestCase testCase) {
return new JiraIssue()
.setSummary(testCase.getName())
.setDescription(toScenario(testCase.getSteps()))
.setFeatures(testCase.getFeatures())
.setStories(testCase.getStories())
.setProject(new Project().setKey("NEW"))
}
}

Создаем Issue в проекте
});
}
}

Проставляем @TmsLink
});
}
}

Экспорт в другие системы
Ревью автотестов

Вершина айсберга

Собери свою коллекцию

Артем
Ерошенко
@eroshenkoam
https://github.com/eroshenkoam/idea-plugin-sample

Иван
Варивода
gh:varivoda
https://github.com/varivoda/idea-plugin-example

How IntelliJ IDEA plugin can help you in QA Automation

Recommended

Recommended

More Related Content

What's hot

What's hot (8)

Similar to How IntelliJ IDEA plugin can help you in QA Automation

Similar to How IntelliJ IDEA plugin can help you in QA Automation (20)

More from Dmitriy Gumeniuk

More from Dmitriy Gumeniuk (11)

How IntelliJ IDEA plugin can help you in QA Automation