Существуют три наисложнейшие проблемы в программировании: именование, кэширование и выход за границу массива. Проверка пограничных случаев поведения кода наиболее важна, но эта зона также наименее тестируема. Придумать и предугадать все возможные ситуации человеку тяжело, и порой мы что-то упускаем из виду. Вот было бы здорово, если бы тесты сами находили такие случаи, при которых код падает… Мечты? О том, как превратить их в реальность, и рассказал Александр.

1. QuickCheck в PythonQuickCheck в Python
Проверка гипотез и поиск ошибокПроверка гипотез и поиск ошибок
Шорин Александр / @kxepal

2. О чем пойдет речь:О чем пойдет речь:
Что не так с нашими тестами
Что такое QuickCheck...
...и как его неправильно портировать
Знакомство с Hypothesis
Время офигенных историй

3. Что не так с нашими тестами?Что не так с нашими тестами?

4. Простейший примерПростейший пример
def qsort(list_):
if len(list_) <= 1:
return list_
head = qsort([x for x in list_[1:] if x < list_[0]])
tail = qsort([x for x in list_[1:] if x > list_[0]])
return head + [list_[0]] + tail
(да, в жизни все сложнее)(да, в жизни все сложнее)

5. ТестируемТестируем
def test_empty():
assert qsort([]) == []
def test_sort():
assert qsort([3, 2, 1]) == [1, 2, 3]
def test_sorted():
assert qsort([1, 2, 3]) == [1, 2, 3]
Шаблонная копипастаШаблонная копипаста

6. Мы можем решить проблему копипасты...Мы можем решить проблему копипасты...
@pytest.mark.parametrize(('value', 'result'), [
([], []),
([1, 2, 3], [1, 2, 3]),
([3, 2, 1], [1, 2, 3]),
])
def test_qsort(value, result):
assert qsort(value) == result

7. ...хотя может показаться, что нет...хотя может показаться, что нет
@pytest.mark.parametrize(('value', 'result'), [
([], []),
([1, 2, 3], [1, 2, 3]),
([3, 2, 1], [1, 2, 3]),
(['a', 'c', 'b'], ['a', 'b', 'c']),
(['a', 'A'], ['A', 'a']),
([[0], [3], [1, 2, 3]], [[0], [1, 2, 3], [3]]),
...
])
def test_qsort(value, result):
assert qsort(value) == result

8. Можем ли мы проверить все допустимые случаи?Можем ли мы проверить все допустимые случаи?
+----------------------------------------------------------------------+
| ВЕЛИКОЕ ВСЁ |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| +---------------------+
| | Приемлемые данные |
| | Х |
+------------------------------------------------+-------------------^-+
|
Наши тесты -------+

9. Ошибку в коде мы так и неОшибку в коде мы так и не
нашлинашли
def test_qsort():
> assert qsort([1, 1, 1]) == [1, 1, 1]
E assert [1] == [1, 1, 1]
E Right contains more items, first extra item: 1
E Full diff:
E - [1]
E + [1, 1, 1]

10. Bug Driven DevelopmentBug Driven Development
Bug. Test. Fix. Repeat.Bug. Test. Fix. Repeat.

11. РезюмируемРезюмируем
Мы не тестируем наш код, мы закрепляем его
поведение
Мы не способны описать все пограничные
случаи
Баги всегда впереди нас

12. QuickCheckQuickCheck
Изначально написан на Haskell
Основывается на научно-исследовательских
работах
Позиционируется как библиотека для
автоматического тестирование функций на
основе спецификаций и свойств данных
Портирован на Scala, Erlang, Clojure, JavaScript...
Продвигается компанией Quviq
http://www.cse.chalmers.se/~rjmh/QuickCheck/

13. Как оно работает (примерно)Как оно работает (примерно)
passed
+-----------------------+
v |
+-----------+ sample +------+ failed +----------+ +--------+
| Generator | --------> | Test | --------> | Shrinker | --> | Report |
+-----------+ +------+ +----------+ +--------+
| ^ sample | ^
| +------------------+ |
| |
+-----------------------------------------------------------+
success

14. Выглядит просто?Выглядит просто?

15. Нельзя просто взять и написатьНельзя просто взять и написать
правильный QuickCheckправильный QuickCheck
https://github.com/agrif/pyquickcheck
https://github.com/Cue/qc
https://github.com/dbravender/qc
https://github.com/futoase/PyQCheck
https://github.com/JesseBuesking/pythoncheck
https://github.com/markchadwick/paycheck
https://github.com/msoedov/quick.py
https://github.com/npryce/python-factcheck
https://github.com/Xion/pyqcy
https://github.com/zombiecalypse/qcc
https://pypi.python.org/pypi/pytest-quickcheck
...

16. Типичные ошибкиТипичные ошибки
Слепое копирование Haskell реализации
Использование типов в качестве генераторов
Отсутствующий или же "глупый" shrinking
Заброшенные или же в зачаточном состоянии

17. Hypothesis [haɪˈpɒθɪsɪs]Hypothesis [haɪˈpɒθɪsɪs]
Автор: David R. MacIver
https://github.com/DRMacIver/hypothesis

18. Что умеетЧто умеет
Генерация всех основных типов данных
Рекурсивные типы
State Machine, N-ary деревья
Позволяет создавать свои стратегии без
погружения в детали
Интегрирован с Fake Factory, Django, pytest
Следит за качеством тестов
Запоминает найденные баги
Хорошо настраивается
http://hypothesis.readthedocs.org/en/master/data.htmlhttp://hypothesis.readthedocs.org/en/master/data.html

19. Генерация данныхГенерация данных
from hypothesis import strategies as st
def nulls(): return st.none()
def booleans(): return st.booleans()
def numbers(): return st.integers() | st.floats()
def strings(): return st.text()
def arrays(elements): return st.lists(elements)
def objects(elements): return st.dictionaries(strings(), elements)
def values():
simple_values = nulls() | booleans() | numbers() | strings()
return (simple_values
| st.recursive(simple_values,
lambda children: arrays(children)
| objects(children)))

20. Генерация данныхГенерация данных
>>> doc = json_st.objects(json_st.values())
>>> doc.example()
{'G Gu202fn G𝞠u202f_n( n(nn_ n': 9.943339378805967e-309}
>>> doc.example()
{'': None, 'x85': '', 'U00014481': None,
'u3000': -2.45410883359415e-309, ' x85': 1.5564453946197205e-308,
'I': ' ',
'u3000u2029': -9.05230966734913e-309, 'U00014481U00014481 ⁱ': None,
'Nj': -1.80149788818e-311, ' ': -1.414261190585428e+202,
'u2029ⁱNj': ' ', ' u2029': inf, ' ': ' ',
'u3000 ': -1.0065151140507456e+206, 'Nj ': None, ' ⁱ': None,
'IU00014481': -1.2296585975031088e+145, 'x80': ' ',
'x85ⁱ x80x80Nj': -6.438869672267061e+116, ' ': None,
'u3000x80': None, 'u2029x80Nj': -698356955173.6532, ' ': ' ',
' x85': None, 'x85ⁱU00014481': None, ' ': None, 'ⁱ': None,
' u3000 ': ' '}

21. Поиск ошибокПоиск ошибок
>>> @given(json_st.objects(json_st.values()))
... def test_json(doc):
... assert json.loads(json.dumps(doc)) == doc
>>> test_json()
Falsifying example: test_json(doc={'': nan})
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "<stdin>", line 2, in test_json
File "./hypothesis/core.py", line 583, in wrapped_test
print_example=True, is_final=True
File "./hypothesis/executors/executors.py", line 25, in default_executor
return function()
File "./hypothesis/core.py", line 365, in run
return test(*args, **kwargs)
File "<stdin>", line 3, in test_json
AssertionError

22. Поиск ошибокПоиск ошибок
>>> @given(json_st.objects(json_st.values()))
... @settings(verbosity=hypothesis.Verbosity.verbose)
... def test_json(doc):
... assert json.loads(json.dumps(doc)) == doc
>>> test_json()

23. Поиск ошибокПоиск ошибок
Trying example: test_json(doc={})
Trying example: test_json(doc={'': True})
Trying example: test_json(doc={'': None})
Trying example: test_json(doc={'': False})
Trying example: test_json(doc={'': -43203256341979896423482879160843})
Trying example: test_json(doc={'': 24})
...
Trying example: test_json(doc={'': 100440})
Trying example: test_json(doc={'': 30323947834323202215971170911015})
Trying example: test_json(doc={'': 0.0})
Trying example: test_json(doc={'': inf})
Trying example: test_json(doc={'': -inf})
Successfully shrunk example 27 times
Falsifying example: test_json(doc={'': nan})

24. Исправление ошибокИсправление ошибок
import math
from hypothesis import strategies as st
def numbers():
return st.integers() | st.floats().filter(math.isfinite)

25. Property-тестированиеProperty-тестирование
@hypothesis.given(st.lists(st.integers()))
def test_qsort(l):
ls = qsort(l)
for i in ls:
assert i in l
l.remove(i)
assert len(l) == 0
assert all(ls[i - 1] <= ls[i] for i in range(1, len(ls)))

26. Property-тестированиеProperty-тестирование
l = [0]
@hypothesis.given(st.lists(st.integers()))
def test_qsort(l):
ls = qsort(l)
for i in ls:
assert i in l
l.remove(i)
> assert len(l) == 0
E assert 1 == 0
E + where 1 = len([0])
foo.py:18: AssertionError
---------------- Hypothesis ----------------
Falsifying example: test_qsort(l=[0, 0])

27. База примеровБаза примеров
Hypothesis сохраняет найденные ошибки в SQLite
базу для последующего воспроизведения.

28. Health CheckHealth Check
Генерируемые данные слишком большие
Слишком строгая фильтрация
Слишком медленная стратегия
Использование random вызовов в коде
Тест возвращает результат

29. Гибкая настройкаГибкая настройка
Количество найденных успехных примеров
(example)
Количество итераций на тест
Глубина поиска минимального примера
Слишком медленная стратегия
Время выполнения теста
QA контроль
Профили

30. ПрофилиПрофили
import os
from hypothesis import settings
from hypothesis import Verbosity
settings.register_profile("ci", settings(max_examples=1000))
settings.register_profile("dev", settings(max_examples=10))
settings.register_profile("debug", settings(max_examples=10,
verbosity=Verbosity.verbose))
settings.load_profile(os.getenv('HYPOTHESIS_PROFILE', 'default'))

31. Что хорошо тестируетсяЧто хорошо тестируется
Алгоритмы
Структуры данных любой сложности
Реализации протоколов, парсеров, базы данных
Любые чистые функции
Детерминированные API

35. Полезные ссылкиПолезные ссылки
Hypothesis
https://github.com/DRMacIver/hypothesis
Hypothesis Talks
https://github.com/DRMacIver/hypothesis-talks
Conjecture
https://github.com/DRMacIver/conjecture
PYCON UK 2015: Finding more bugs with less work
https://www.youtube.com/watch?v=62ubHXzD8tM
How I handled Erlang R18 Maps with QuickCheck
https://vimeo.com/143849945
СurEr - Concolic Testing
https://www.youtube.com/watch?v=XVOV0KQAf-8

36. Спасибо за внимание!Спасибо за внимание!