QA Fest 2017. Алёна Соколова. Ловушки мышления в тестировании
Report
QAFestFollow
Sep. 27, 2017•0 likes•749 views
QA Fest 2017. Алёна Соколова. Ловушки мышления в тестировании
Sep. 27, 2017•0 likes•749 views
Report
Education
Существует прямая связь восприятия человека с образом его мыслей, мнением относительно различных ситуаций. Не всегда мышление и мнения человека объективны — в них могут наблюдаться систематические ошибки и отклонения. При возникновении подобных отклонений видимого от реального, говорят о ловушках мышления или же, научным языком, о когнитивных искажениях. Программное обеспечение неизменно создается людьми, тестируется людьми и, в большинстве случаев, используется людьми. И каждый человек в этой цепочке подвержен собственным когнитивным искажениям.
QAFestFollow
Recommended
Kristal 2012Slanik
ПосвящениеKsyu
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQAFest
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQAFest
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QAFest
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QAFest
More Related Content
More from QAFest
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQAFest
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...QAFest
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...QAFest
QA Fest 2019. Иван Крутов. Bulletproof Selenium ClusterQAFest
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...QAFest
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...QAFest
QA Fest 2017. Алёна Соколова. Ловушки мышления в тестировании
- 1. Киев 2017 Первый в Украине фестиваль тестирования Ловушки мышления в тестировании Соколова Алёна
- 2. Киев 2017<Ловушки мышления в тестировании> Мозг – крутая штука
- 3. Киев 2017<Ловушки мышления в тестировании> Эвристики
- 4. Киев 2017 Ловушка подтверждения <Ловушки мышления в тестировании>
- 6. Киев 2017 Наводящие вопросы? Прочь!
- 8. Киев 2017 Ловушка невозвратных затрат <Ловушки мышления в тестировании>
- 9. Киев 2017 Не жмите на эту кнопку… <Ловушки мышления в тестировании>
- 10. Киев 2017 Цели <Ловушки мышления в тестировании>
- 11. Киев 2017 Когнитивный диссонанс <Ловушки мышления в тестировании>
- 12. Киев 2017 И?... <Ловушки мышления в тестировании>
- 13. Киев 2017 Ложная конъюнкция <Ловушки мышления в тестировании>
- 14. Киев 2017 Хмм… а вы точно уверены? <Ловушки мышления в тестировании>
- 15. Киев 2017 Иллюзорная корреляция <Ловушки мышления в тестировании>
- 16. Киев 2017<Ловушки мышления в тестировании>
- 17. Киев 2017 Когнитивные иллюзии <Ловушки мышления в тестировании>
- 18. Киев 2017 Что делать? <Ловушки мышления в тестировании>
- 19. Киев 2017 Лжепаттерны H H H H H H H H H T H H H H H H H H H ? <Ловушки мышления в тестировании>
- 20. Киев 2017 Человек VS Крыса <Ловушки мышления в тестировании>
- 21. Киев 2017 Иллюзия фокусировки <Ловушки мышления в тестировании>
- 22. Киев 2017 Кто украл «Джоконду»? <Ловушки мышления в тестировании>
- 23. Киев 2017 Ошибка выжившего <Ловушки мышления в тестировании>
- 24. Киев 2017 Дельфин – друг человека? <Ловушки мышления в тестировании>
- 25. Киев 2017 Альтернативы? Данных хватает? <Ловушки мышления в тестировании>
- 26. Киев 2017 Негатив <Ловушки мышления в тестировании>
- 27. Киев 2017 Большие ожидания <Ловушки мышления в тестировании>
- 28. Киев 2017 ЭМОЦИИ <Ловушки мышления в тестировании>
- 29. Киев 2017 Тестирование своего кода <Ловушки мышления в тестировании>
- 30. Киев 2017<Ловушки мышления в тестировании> «You should work to reduce your biases, but to say you have none is a sign that you have many» — Nate Silver Слепое пятно искажений
- 31. Киев 2017 Решение! <Ловушки мышления в тестировании>
- 32. Киев 2017 Спроси себя • Почему я верю, что дела обстоят именно так? • Есть ли контраргументы моему мнению? Насколько они совпадают с реальным положением дел? • Кто или что повлияло на мой выбор? • Следую ли я за группой, потому что она верит в то же самое, что и я? • Что я потеряю, если поступлю так, а не иначе? И что я выиграю? • Действительно ли мои действия повлекут за собой запланированные события? <Ловушки мышления в тестировании>
- 33. Киев 2017 Что бы почитать на тему? • John Stevens. The Psychology of Software #Testing • Дэн Хиз, Чип Хиз. Ловушки мышления. Как принимать решения, о которых вы не пожалеете • Дэн Ариэли. Предсказуемая иррациональность. Скрытые силы, определяющие наши решения • www.fallacyfiles.org/taxonomy.html <Ловушки мышления в тестировании>
- 34. Киев 2017 Мои контакты alena.sokolova.77 alyona-sokolova aliona-sokolova <Ловушки мышления в тестировании>
Editor's Notes
- Мозг – идет по пути наименьшего сопротивления Наш мозг – крутая штука. Он позволяет «мыслить», освобождает нас от скучной, утомительной, однообразной рутины по узнаванию окружающих предметов, определения их предназначения и местоположения в пространстве, а также избавляет от необходимости думать о том, как контролировать движения тела. В общем, дает возможность не задумываться над второстепенными мелочами. Благодаря этому мы можем сосредоточиться на том, что действительно для нас важно.
- Ежесекундно наши органы чувств «бомбардируют» миллионы различных стимулов. Cправиться с таким потоком информации не под силу ни самому современному компьютеру, ни даже нашему мозгу — на то, чтобы думать в каждый момент времени, не хватит никаких мыслимых и немыслимых ресурсов. Именно поэтому в ходе эволюции люди приобрели так называемые эвристики — мыслительные шаблоны, практически инстинктивные суждения, позволяющие на основе обрывков информации выстраивать гипотетические логические цепочки и не тратить лишнее время на обдумывания и размышления. Да, это не совсем рационально. Зато быстро и работает! То, что создано, чтобы облегчить жизнь, работает и в обратную сторону, загоняя людей в определенные рамки. Худшие проявления эвристических шаблонов ученые назвали «когнитивными искажениями». Это систематические ошибки в человеческом мышлении, естественные ограничения мозга, своего рода логические ловушки, из-за которых многие мысли, суждения, умозаключения, рождающиеся непрерывным потоком в наших головах, кажутся непогрешимо верными, но при объективной проверке оказываются полностью ложными. При этом человек может быть уверен в своих неверных суждениях на протяжении многих лет. Программное обеспечение неизменно создается людьми, тестируется людьми и, в большинстве случаев, используется людьми. И каждый человек в этой цепочке подвержен собственным когнитивным искажениям. Самый страшный сон любого ответственного тестировщика — пропустить серьезный баг. Тестировщик старается, тщательно анализирует требования и пишет тест кейсы, внимательно проверяет продукт, а после выпуска пользователь в течение недели сообщает о критической проблеме. Как много багов, очевидных другим, мы пропускаем? Много… Наши искажения влияют на все тестирование как ручное, так и автоматизированное. Знание собственных искажений и их последствий является ключом к эффективному созданию тестовых сценариев, их выполнению и нахождению дефектов. Я бы хотела рассказать о наиболее часто встречающихся когнитивных искажениях, влияющих на работу тестировщика ПО, и о методах снижения негативных эффектов от их проявлений.
- Ловушка подтверждения Одно из опасных и очень распространенных когнитивных искажений — ловушка подтверждения. Это тенденция человека искать, интерпретировать или отдавать предпочтение информации, которая согласуется с его точкой зрения, убеждением или гипотезой, и игнорировать факты, опровергающие ее. Чем опасна эта ловушка для тестировщиков? Допустим, перед тестированием какой-то функциональности вы решили уточнить у разработчика, на какие области, по его мнению, стоит обратить внимание. Основываясь на полученной информации, вы приоретизируете тестирование. Подход срабатывает: в более рисковой области вы находите серьезные проблемы, а в менее рисковой области проблем, как и ожидалось, нет. После релиза оказывается, что в некритической области пользователи нашли критический баг. Высока вероятность, что вы видели либо баг, либо его проявления, но из-за того, что считали область беспроблемной, ваш мозг его отфильтровал. Быстрый и простой путь снизить риск от ловушки подтверждения — привлечение еще одного человека для тестирования той же функциональности. Высока вероятность, что у человека будет своя ловушка подтверждения, но она, скорее всего, будет отличаться от ловушки первого тестировщика.
- Быстрый и простой путь снизить риск от ловушки подтверждения — привлечение еще одного человека для тестирования той же функциональности. Высока вероятность, что у человека будет своя ловушка подтверждения, но она, скорее всего, будет отличаться от ловушки первого тестировщика.
- Ваша компания (проект) придерживается линии поведения в ситуации, когда она не работает, лишь потому что уже вложило много денег в этот проект. Например, у вас тяжеловесная и требующая больших временных затрат на поддержку автоматизация. Регрессия кое-как прогоняется, но на развитие и расширение покрытия уже не остается ни сил, ни времени. Стоит задуматься о переписывании\оптимизации фреймворка. Но так как деньги были вложены и потеряны, ежики продолжают плакать, колоться, но есть кактус.
- Еще одно, не менее распространенное искажение — когнитивный диссонанс — состояние психического дискомфорта, вызванное столкновением в сознании человека конфликтующих представлений: идей, верований, ценностей или эмоциональных реакций. Опасность этой ловушки в том, что человек не любит внутренних конфликтов и человек ленив. Проще скорректировать своё мнение, чем вникнуть в причины возникновения конфликта. Тестировщикам важно распознавать, когда они находятся в состоянии когнитивного диссонанса и учиться задавать вопросы, прежде чем принимать решение. Как только человек принимает решение, он находит всяческие подтверждения правильности сделанного выбора. Если во время тестирования тестировщику необходима какая-то информация о продукте, и он получает из двух источников противоречащие ответы, возникает когнитивный диссонанс. Очень просто выбрать ответ, полученный из более авторитетного источника либо наиболее ожидаемый ответ. Сложнее потратить время и усилия, чтоб детально разобраться. Опасность в том, что если в какой-то области возникли противоречия, то, очень вероятно, там будут и баги.
- Рассмотрим пример. Людей попросили определить, кем работает мужчина, застенчивый и тихий, библиотекарем или фермером. Более вероятным посчитали, что описываемый – библиотекарь. На самом деле мужчин библиотекарей в 20 раз меньше, чем мужчин фермеров. Но тут сыграл факт застенчивости. Когда у нас есть два независимых события/факта, то их одновременное выполнение не может быть более вероятно, чем вероятность любого из двух отдельных событий. Однако, люди забывают об этом и приписывают более высокую вероятность в комбинации событий, ошибочно связывая количество событий с количеством вероятности. В тестировании может повлиять на интерпретацию документации: при составлении тест кейсов нужно понимать, насколько часто какой-то сценарий будет использоваться и, соответственно, насколько он критичен. Эта ловушка может повлиять на понимание вероятности. Избежать можно, обсудив детали заранее, посмотреть статистику использования конкретной функциональности.
- Иллюзорная корреляция Иллюзорная корреляция — восприятие преувеличенно тесной связью между переменными, которой в реальности или не существует, или она значительно меньше, чем предполагается. Суть иллюзорной корреляции заключается в том, что человек может «отчетливо» видеть несуществующие взаимосвязи между параметрами, свойствами или явлениями. Например, если человек считает, что цвет волос может говорить о степени умственного развития. В тестировании, особенно когда команда тестировщиков удалена от аналитиков и разработчиков, тестировщик может начать тестировать функциональность исходя не из требований, а из какой-либо своей гипотезы, как все должно работать. Уменьшить вероятность возникновения этой ловушки поможет вовлечение других в планирование тестирования (мы отправляем аналитику тест кейсы на ревью) и парное тестирование. Чтобы понять, где ваш мозг «дал сбой», и защитить себя от воздействия иллюзорных корреляций, стоит воспользоваться так называемой таблицей случайностей.
- Таблица случайностей Клетка А: полнолуние и аврал в психиатрической больнице. Два явления представляют собой хорошо запоминающееся сочетание, поэтому мы в будущем будем переоценивать их значение. Клетка B: полнолуние и затишье в больнице. Ничего особенного не происходит («не-событие»). Нам будет довольно трудно вспомнить эту ночь, поэтому мы склонны игнорировать данную ячейку. Клетка C: полнолуния нет, но в больнице аврал. В этой ситуации медсестры просто скажут в конце смены: «Суматошная ночь на работе…». Клетка D: полнолуния по-прежнему нет, и пациенты ведут себя спокойно. Это снова пример «не-события»: ничего запоминающегося не происходит, поэтому мы проигнорируем эту ночь.
- Самый просто пример этой ловушки – это визуальная иллюзия. Мы смотрим на какую-то вещь, нам кажется, что она является чем-то одним, а на самом деле это совершенно другое. Это самая распространенная ловушка и часто объясняет почему умные люди могут говорить глупые вещи: просто потому что их мозг может видеть не то, что на самом деле есть. Чтобы избежать подобной ловушки, тестировщик может попробовать взглянуть на ситуацию с других углов. Но это очень сложно, требует опыта и времени.
- Люди склонны находить какие-то зависимости там, где их нет. Например, видеть фигуры животных, когда смотрят на облака или считать, что определенная пара обуви приносит удачу в игре. Нас даже учат анализировать ряды и находить зависимости (вспомните тесты Айзенка). Представьте себе, что вы подбрасываете монетку, 5 раз выпал орел, потом решка и снова 5 раз орел. Каким будет результат следующего броска? Люди, видящие зависимость, скажут, что однозначно выпадет решка. Впрочем, найдутся такие люди, которые знают о существовании лжепаттернов и решат, что выпадет орел, хотя вероятность 50\50. Однажды проводили эксперимент с людьми и крысами. В совершенно произвольном порядке загоралась либо зеленая, либо красная лампочка. Не было никаких паттернов, но зеленая загоралась в 75% случаев. За угаданный цвет крысы получали награду. Они в итоге быстро поняли, что зеленая загорается чаще и всегда выбирали ее, выиграывая в 75% случаев. Люди искали зависимости и выигрывали в 65% случаев. В тестировании это опасно тем, что увиденная зависимость мешает повторить баг.
- Люди склонны находить какие-то зависимости там, где их нет. Например, видеть фигуры животных, когда смотрят на облака или считать, что определенная пара обуви приносит удачу в игре. Нас даже учат анализировать ряды и находить зависимости (вспомните тесты Айзенка). Представьте себе, что вы подбрасываете монетку, 5 раз выпал орел, потом решка и снова 5 раз орел. Каким будет результат следующего броска? Люди, видящие зависимость, скажут, что однозначно выпадет решка. Впрочем, найдутся такие люди, которые знают о существовании лжепаттернов и решат, что выпадет орел, хотя вероятность 50\50. Однажды проводили эксперимент с людьми и крысами. В совершенно произвольном порядке загоралась либо зеленая, либо красная лампочка. Не было никаких паттернов, но зеленая загоралась в 75% случаев. За угаданный цвет крысы получали награду. Они в итоге быстро поняли, что зеленая загорается чаще и всегда выбирали ее, выиграывая в 75% случаев. Люди искали зависимости и выигрывали в 65% случаев. В тестировании это опасно тем, что увиденная зависимость мешает повторить баг.
- Чем больше человек о чем-то думает, тем более важным ему это кажется. Однажды был проведен эксперимент. Давайте посмотрим видео Это так называемая ловушка фокусировки, когда человек не обращает внимания ни на что, кроме какой-то конкретной области. Еще один пример проявления ловушки фокусировки – картина Джоконда. 100 лет назад она была совершенно неизвестной картиной. В 1911 году ее украли и газеты очень сильно разрекламировали событие, несколько месяцев новость не сходила с первых полос. Картина изначально была настолько неизвестна, что одно из изданий поместило фото другой картины. Пример из тестирования. Тестировщик заводит два бага, критичный и нет. Критичный исправился быстро, некритичный нет. Дев и куа работают над нам довольно долго и через какое-то время тестировщику начинает казаться, что без фикса этого бага выйти в релиз нельзя, хотя, судя по затратам времени, возможно, и не стот исправлять этот баг.
- Чем больше человек о чем-то думает, тем более важным ему это кажется. Однажды был проведен эксперимент. Давайте посмотрим видео Это так называемая ловушка фокусировки, когда человек не обращает внимания ни на что, кроме какой-то конкретной области. Еще один пример проявления ловушки фокусировки – картина Джоконда. 100 лет назад она была совершенно неизвестной картиной. В 1911 году ее украли и газеты очень сильно разрекламировали событие, несколько месяцев новость не сходила с первых полос. Картина изначально была настолько неизвестна, что одно из изданий поместило фото другой картины. Пример из тестирования. Тестировщик заводит два бага, критичный и нет. Критичный исправился быстро, некритичный нет. Дев и куа работают над нам довольно долго и через какое-то время тестировщику начинает казаться, что без фикса этого бага выйти в релиз нельзя, хотя, судя по затратам времени, возможно, и не стот исправлять этот баг.
- Ошибка выжившего — склонность недооценивать недоступные прямому наблюдению данные по группе «погибших». Это ловушка, о которой стоит помнить, когда мы не уверены в полноте информации, предоставленной для анализа. Впервые она была зарегистрирована в США, во время Второй Мировой войны. Решив укрепить самолеты, тем самым уменьшив число потерь, изначально приняли логичное, на первый взгляд, но неправильное решение: у вернувшихся самолетов больше всего пробоин было на крыльях и хвосте, их и решили укреплять. Вмешался статистик Абрахам Вальд, объяснив, что крылья и хвост — сильные места, ведь самолеты, подбитые в эти зоны, вернулись на базу, в отличие от самолетов, получивших пробоины в других местах. Еще одним ярким примером составления искаженного мнения является поверье, что дельфины спасают тонущих людей, подталкивая их к берегу. А кто спросит у утонувших, не подталкивали ли их дельфины от берега, просто играя? В тестировании нередко проявляется, когда тестировщик готовит тестовые данные однобоко, выбрав легкий и явно видимый вариант. Еще одним примером может быть тестирование по принципу «в прошлый раз так делали — и все хорошо».
- Ошибка выжившего — склонность недооценивать недоступные прямому наблюдению данные по группе «погибших». Это ловушка, о которой стоит помнить, когда мы не уверены в полноте информации, предоставленной для анализа. Впервые она была зарегистрирована в США, во время Второй Мировой войны. Решив укрепить самолеты, тем самым уменьшив число потерь, изначально приняли логичное, на первый взгляд, но неправильное решение: у вернувшихся самолетов больше всего пробоин было на крыльях и хвосте, их и решили укреплять. Вмешался статистик Абрахам Вальд, объяснив, что крылья и хвост — сильные места, ведь самолеты, подбитые в эти зоны, вернулись на базу, в отличие от самолетов, получивших пробоины в других местах. Еще одним ярким примером составления искаженного мнения является поверье, что дельфины спасают тонущих людей, подталкивая их к берегу. А кто спросит у утонувших, не подталкивали ли их дельфины от берега, просто играя? В тестировании нередко проявляется, когда тестировщик готовит тестовые данные однобоко, выбрав легкий и явно видимый вариант. Еще одним примером может быть тестирование по принципу «в прошлый раз так делали — и все хорошо».
- Это не совсем ловушка, но в некоторых статьях негатив также причисляют к ловушкам. До определенной степени в тестировании это даже скорее полезно. Человеческий мозг устроен так, что в короткой перспективе обращает больше внимания на негатив, чем на позитив. Соответственно, чем больше обращает на него внимание, тем больше его ожидает. Может в тестировании проявляться в двух случаях: Страх изменения (заставляет говорить «нет» на какие-либо изменения).С одной стороны хорошо, т к заставляет сторонников изменения продумывать аргументы и еще раз подумать нужно ли это изменение. С другой стороны – плохо, т к может тормозить развитие в целом. Недоверие девелоперам. С одной стороны у нас работа такая «доверяй, но проверяй». Но в некоторых случаях может затормаживать процесс. Например, очень сложно закрыть тестирование, если не было найдено ни одного, пусть даже маленького бага.
- У негатива есть обратная сторона - позитив, оптимизм. Знаете, как-то проводила собеседование на позицию тестировщика в свою команду. Парень, которого я собеседовала, очень оптимистично сказал на вопрос о негативном тестировании, что у них в проекте очень продвинутые девелоперы и они не делают багов. А если и делают, то бизнес пользователи у них тоже молодцы и не ошибаются. Стоит ли говорить, что собеседование он не прошел? Пример из жизни: Часто купив какую-то дорогую вещь мы ожидаем или даже уверены, что ее качество лучше чем у более дешевого аналога.Например, дорогое вино будет казаться вкуснее, чем дешевое, хотя вслепую человек их может и не различить В тестировании может проявляться в том, что задачу выполненную джуниор девелопером мы можем тестировать более тщательно, чем задачу синьора, потому что джун менее опытен и соответственно, больше вероятность, что он сделает багу. Но, на самом деле синьоры, как правило, делают более сложные задачи и, поэтому, вероятность в итоге примерно одинаковая
- Эмоции – не ловушка, но последствия примерно такие же. Эмоции влияют на восприятие человека и одну и ту же вещь мы можем видеть негативно или позитивно в зависимости от нашего эмоционального состояния. Что самое главное, эмоции влияют на фокусировку и на сосредоточенность человека, потому что когда мы, например, очень счастливы – нам очень радостно и, возможно, нам очень не хочется углубляться в дебри сложного и занудного алгоритма. Как правило, девелоперы тестируют свой код во время его написания либо сразу же после. В таком случае, написание кода и его тестирование происходит в одном эмоциональном состоянии, как следствие там возникают одинаковые слепые пятна. Поэтому, хорошо, когда код тестируется человеком, который его не писал.
- Лечением от всех ловушек является общение. Чем больше людей вовлечелно в этот процесс, тем больше вероятность, что у них разные фильтры и они будут по-разному перекрывать слепые зоны. Еще выше эта вероятность, когда у этих людей разный бекграунд – аналитик, девелопер, тестировщик. Как я уже упоминала, что, как в примере с гориллой, человек сфокусирован на своем задании и не видит, что происходит вне зоны этой фокусировки. Тут можно поспорить, что у девелоперов и тестировщиков глобальная цель одна, сделать какое-то классное приложение, но на самом деле мы не ставим себе глобальную цель, а ориентируемся на задачу, которая имеет свою маленькую цель. И мы ориентируемся на эти под-цели, а они у девелоперов и тестировщиков, как правило, разные. Поэтому, хорошо, когда есть два разных человека с разными подходами, т к у них эта зона фокусировки увеличивается в два раза. Любые сравнения натянуты, но все же. При написании книги, например, есть автор и есть редактор. Даже если автор не один, а группа авторов, все равно есть редактор. При написании статьи есть журналист и есть редактор. Это связано с тем, что человек часто не способен посмотреть на себя и свое творение со стороны, поэтому очень удобно, когда есть человек, способный дать обратную связь.
- Многие искажения и ловушки сознания исчезают, когда вы просто выявляете их. Однако другие настолько сильно въедаются, что приходится долго распутывать этот клубок. Изучайте манеру своего мышления и выявляйте все ловушки. Но если вам кажется, что вы подвержены какому-либо когнитивному искажению в меньшей степени, чем другие люди, – поздравляю, вы находитесь под влиянием еще одного когнитивного искажения