Ще якихось 3 роки назад важко було уявити, що роботи зможуть увійти в життя людей і полегшити виконання повсякдених речей. Сьогодні штучний інтелект частково замінив працю людей, допомагаючи бізнесу досягати своїх цілей і стаючи пріорітетним напрямом розвитку.
Зі збільшенням попиту на чатботи, збільшується кількість інструментів для їх розробки, змінюються технології та ускладнюються задачі, які робот повинен виконувати. Розмови клієнтів з чатботом заощадять близько $8 мільярдів до 2022 року завдяки системам NLP (обробка природньої мови), яка є основною складовою частиною чатботів. В залежності від задач, які виконує NLP, ціна помилки може бути дуже вагомою.
Доповідь розкриє тему обробки природньої мови, як частину чатботів та побудови стратегії тестування моделей: яким чином розподілити пріорітети, які задачі можна автоматизувати і як успішно випускати чатботи в умовах нескінченної гонки за інноваціями.
In order to maximize your conversion rate, your PPC account should be congruent with your landing page and website. From the keywords, to the ad copy, to any specific landing pages, if it all doesn’t align into one cohesive message, then you’re in store for low conversion rates, high costs, and ultimately going in opposition of your goals.
In the presentation, join experts from Visual Website Optimizer and Hanapin Marketing as they discuss secrets to keeping your account unified and hard data behind what works and what doesn’t.
You’ll get expert-level PPC tips like:
*How to test and analyze your landing pages and ad copy to determine the best recipe for success
*Making sure you have the best keywords selected and grouped for your campaign
*Increasing conversions through targeted landing pages
Epic PPC Insights From Hanapin Marketing: What We've Learned As An AgencyHanapin Marketing
At Hanapin Marketing (producers of PPC Hero and Hero Conf), we are constantly learning and discovering new tips and tricks in PPC. We’ve experienced both the successes and the pitfalls that come with an industry that is constantly changing and growing and includes a variety of moving parts. In this webinar, we’ll be doling out some of our “secret sauce” as we like to call it here; things we’ve learned from being in the trenches on accounts day in and day out, as well as higher level learnings.
In this webinar recording, Associate Director of Paid Search, Jeff Baum, and Account Manager, Kristina McLane discuss epic insights and applied learnings for your own account.
You’ll get expert-level PPC tips like:
*Learn why “Testing Small and Going Big” is the safest strategy for PPC account testing
*Learn how automation can be your friend and force multiplier
*Hear Hanapin experts discuss why optimization schedules are so important to performance
A/B testing is an essential step to improving your conversions, validating your business model and making more money from your website. Ingot makes it so super simple to do with WordPress that you'd be silly not to take advantage of the powers of automated A/B testing.
Learn more at IngotHQ.com
2k или 200k: сколько клиент готов заплатить. Квалификация и переговоры с клие...Conformato
Игорь Карпец (Head of Enterprise Sales @Grammarly) выступил с темой "2k или 200k: сколько клиент готов заплатить. Квалификация и переговоры с клиентом в Grammarly" на Conformato Conference 2016. Приобрести видеозаписи конференции можно по ссылке https://goo.gl/ZX8YKM
Основные тезисы доклада:
Квалификация лида: как понять уровень клиента
– составляем опрос, который даст максимум информации о лиде
Схема действий с клиентами класса VIP
– checklist перед первой встречей
– переговоры и работа с возражениями
– контролируем процесс
5 Tips for Data-Driven Product Design by PatientPop's PMProduct School
Product managers know they should use data in their decision making - so why are there so many roadblocks?
Companies often think they're not mature enough, don't have the right volume of data, or that their data is too messy. However, those are 'roadblocks' that can slow product development, and, worse, can drive a product in the wrong direction. PatientPop's Director of Local SEO and Marketing Joel Headley and Product Manager Andy Chu offered strategies on how young companies can creatively gather and utilize data - even without data analysts!
There are many ways to get to a destination. Similarly, there are many ways to get to your goal professionally as a developer. But being a developer is hard work, and starting your career as a developer on your own can be even harder. With experience as a freelancer, a brick-and-mortar in-house developer and a remote full time developer at Alley Interactive, I will outline the pros and cons of each option you may be considering for your next professional move. Hear from my mistakes, successes and utter failures over the past five years, and learn which path might be right for you as a developer.
In order to maximize your conversion rate, your PPC account should be congruent with your landing page and website. From the keywords, to the ad copy, to any specific landing pages, if it all doesn’t align into one cohesive message, then you’re in store for low conversion rates, high costs, and ultimately going in opposition of your goals.
In the presentation, join experts from Visual Website Optimizer and Hanapin Marketing as they discuss secrets to keeping your account unified and hard data behind what works and what doesn’t.
You’ll get expert-level PPC tips like:
*How to test and analyze your landing pages and ad copy to determine the best recipe for success
*Making sure you have the best keywords selected and grouped for your campaign
*Increasing conversions through targeted landing pages
Epic PPC Insights From Hanapin Marketing: What We've Learned As An AgencyHanapin Marketing
At Hanapin Marketing (producers of PPC Hero and Hero Conf), we are constantly learning and discovering new tips and tricks in PPC. We’ve experienced both the successes and the pitfalls that come with an industry that is constantly changing and growing and includes a variety of moving parts. In this webinar, we’ll be doling out some of our “secret sauce” as we like to call it here; things we’ve learned from being in the trenches on accounts day in and day out, as well as higher level learnings.
In this webinar recording, Associate Director of Paid Search, Jeff Baum, and Account Manager, Kristina McLane discuss epic insights and applied learnings for your own account.
You’ll get expert-level PPC tips like:
*Learn why “Testing Small and Going Big” is the safest strategy for PPC account testing
*Learn how automation can be your friend and force multiplier
*Hear Hanapin experts discuss why optimization schedules are so important to performance
A/B testing is an essential step to improving your conversions, validating your business model and making more money from your website. Ingot makes it so super simple to do with WordPress that you'd be silly not to take advantage of the powers of automated A/B testing.
Learn more at IngotHQ.com
2k или 200k: сколько клиент готов заплатить. Квалификация и переговоры с клие...Conformato
Игорь Карпец (Head of Enterprise Sales @Grammarly) выступил с темой "2k или 200k: сколько клиент готов заплатить. Квалификация и переговоры с клиентом в Grammarly" на Conformato Conference 2016. Приобрести видеозаписи конференции можно по ссылке https://goo.gl/ZX8YKM
Основные тезисы доклада:
Квалификация лида: как понять уровень клиента
– составляем опрос, который даст максимум информации о лиде
Схема действий с клиентами класса VIP
– checklist перед первой встречей
– переговоры и работа с возражениями
– контролируем процесс
5 Tips for Data-Driven Product Design by PatientPop's PMProduct School
Product managers know they should use data in their decision making - so why are there so many roadblocks?
Companies often think they're not mature enough, don't have the right volume of data, or that their data is too messy. However, those are 'roadblocks' that can slow product development, and, worse, can drive a product in the wrong direction. PatientPop's Director of Local SEO and Marketing Joel Headley and Product Manager Andy Chu offered strategies on how young companies can creatively gather and utilize data - even without data analysts!
There are many ways to get to a destination. Similarly, there are many ways to get to your goal professionally as a developer. But being a developer is hard work, and starting your career as a developer on your own can be even harder. With experience as a freelancer, a brick-and-mortar in-house developer and a remote full time developer at Alley Interactive, I will outline the pros and cons of each option you may be considering for your next professional move. Hear from my mistakes, successes and utter failures over the past five years, and learn which path might be right for you as a developer.
Hiring and Outsourcing | Pay Per Call MasterclassRingba
Learn how to free up your time and scale your efforts by hiring professionals to help run your business.
Check out the Ringba Blog Post:
https://www.ringba.com/blog/pay-per-call/hiring-and-outsourcing
Watch this Lesson on the Official Ringba YouTube Channel:
https://www.youtube.com/watch?v=EhmrlyRpW0E
Read the Lesson Transcript:
https://www.paypercallers.com/threads/hiring-and-outsourcing.1151/
---
ABOUT RINGBA:
Ringba is an inbound call tracking and analytics platform for connecting consumers with businesses. Purpose-built for performance, reliability and flexibility, Ringba provides on demand access to telecom networks in 60+ countries, intelligent call flow management and real-time analytics and reporting to performance marketers, contact centers and pay per call networks.
My Way: Techniques & Approaches for Web AnalyticsPeter O'Neill
Practical presentation on the techniques and approaches used by Peter O'Neill when analysing website data. It goes from looking at the simple top line traffic numbers and then digging deeper into whatever looks interesting. End result needs to be recommendations to improve business performance.
By Neeharika Bhartiya, Head of Product and Co-Founder at Sonar.
Learn how to conduct product usability studies at lean startup organizations. Know prototyping techniques, how many user studies to run, which software to use, and which questions to ask through the studies. These user studies have significantly informed product at Sonar, and we hope they'll help you do the same!
UXSA - Preparing for the Interview - 3-12-20Cherri Pitts
UX Researcher Cherri Pitts offers lots of information about prepping for user interviews followed by an engaging and active question and answer section.
Improving Analytics Success through CommunicationAnna Lewis
Communication doesn't come naturally to everyone and even when it does it is important to consider the strategies you need to work for everyone you come into contact with. This talk goes through many ideas to help you improve your communication and as a result, improve the success of your projects and relationships.
Three Ways Fast Human Insight is Revolutionizing Marketing UserTesting
The time pressure on marketers is relentless. You need to be sure your projects resonate with customers, but often you don't have time for conventional market research studies. Many marketers are using fast user studies to validate their ideas in a few hours. The studies eliminate guesswork, and they give persuasive videos of customer reactions to help educate the company.
In this free webinar, Michael Mace, UserTesting's VP of Product Marketing, will describe how fast human insight is revolutionizing agile marketing. Find out how marketing teams are using human insight to perfect their customer experience in real time.
You'll learn how marketing teams:
Get customer reactions to messages and content in just hours
Quickly explore customer lifestyles and attitudes
Understand and perfect the customer journey
Including sample videos and real-world usage examples, this webinar will teach you everything you need to start applying fast human insight to your daily marketing decisions.
Генерация лидов: 23 хинта для писем и LinkedIn сообщенийConformato
16 апреля 2015 года Анастасия Новикова выступила в Харькове в сообществе Sales-club.org с презентацией "Генерация лидов: 23 хинта для писем и LinkedIn сообщений".
Для большинства присутствующих холодные письма и сообщения - часть работы. И как бы не хотелось, но все мы отправляли тексты с презентацией компании на несколько строчек, пытались продать аутсорсинг письмом или рассылали одно и тоже письмо всем-всем.
Во время презентации Анастасия рассказала о том, какие конкретные приемы, слова, фразы и небольшие изменения могут кардинально поменять результативность писем.
Igor Karpets. Still cold calling your leads? Grammarly's cold email strategy ...IT Arena
Igor Karpets, Head of Enterprise Sales at Grammarly
Still cold calling your leads? Grammarly's cold email strategy which will get you on a meeting
Experienced sales and marketing professional specializing in B2B sales with competitive experience in the US and International educational technology market. Passionate about technology and getting the things to the closed/won stage.
Areas of focus: B2B sales, lead generation, sales automation, strategic planning, technology licensing best practices and typical contract structures, reseller and distributor relationships, product roadmap development.
Smoke Your Competition: 14 Ways to a High Conversion RateHanapin Marketing
What happens after the click is just as important as what happens before the click, but there's way more to conversion rate optimization than just the technical side, like button color and layout. It's also about the experience. Searchers are smarter now. Not only should you be prioritizing what really leads to a conversion, you should also be looking at the unique perspectives of your different target audiences.
3Q Digital and Hanapin experts, Joe Kerschbaum and Kayla Kurtz, go through different steps that will change how you think about getting a conversion, other objectives to consider, and lead you down a road that helps you ricochet past your competitors.
You'll get expert-level PPC tips like:
*What to consider for extremely productive and efficient landing pages
*How to structure the testing process for practical feedback
*Reminders on things search marketers often forget
Smoke your competition and get these 14 ways to high conversion rates!
5 tips to help marketers sell tech, and techies market their services, from Marketing Coordinator Anna Remus at WordCamp Boston 2014.
*Minor corrections will be made to slides soon.
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQAFest
Поговоримо про найпопулярніші помилки, яких припускаються розробники веб додатків, та як зловмисник може використати їх на свою користь. Охопимо максимальну кількість матеріалу за короткий проміжок часу.
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQAFest
Мы уже разговаривали о self-healing автоматизации, как она работает, какие есть подходы, чем они хороши, плохи и о новом инструменте, который мы разрабатываем в EPAM. Наш продукт завершает стадию POC и настало время поделиться результатами и понять, насколько self-healing автоматизация поможет вашим тестам стать стабильнее? Или наоборот, навредит?... Приходи и узнаешь!
More Related Content
Similar to QA Fest 2019. Ірина Ярославцева. Майбутнє вже тут, або як тестувати систему обробки природньої мови у чатботах
Hiring and Outsourcing | Pay Per Call MasterclassRingba
Learn how to free up your time and scale your efforts by hiring professionals to help run your business.
Check out the Ringba Blog Post:
https://www.ringba.com/blog/pay-per-call/hiring-and-outsourcing
Watch this Lesson on the Official Ringba YouTube Channel:
https://www.youtube.com/watch?v=EhmrlyRpW0E
Read the Lesson Transcript:
https://www.paypercallers.com/threads/hiring-and-outsourcing.1151/
---
ABOUT RINGBA:
Ringba is an inbound call tracking and analytics platform for connecting consumers with businesses. Purpose-built for performance, reliability and flexibility, Ringba provides on demand access to telecom networks in 60+ countries, intelligent call flow management and real-time analytics and reporting to performance marketers, contact centers and pay per call networks.
My Way: Techniques & Approaches for Web AnalyticsPeter O'Neill
Practical presentation on the techniques and approaches used by Peter O'Neill when analysing website data. It goes from looking at the simple top line traffic numbers and then digging deeper into whatever looks interesting. End result needs to be recommendations to improve business performance.
By Neeharika Bhartiya, Head of Product and Co-Founder at Sonar.
Learn how to conduct product usability studies at lean startup organizations. Know prototyping techniques, how many user studies to run, which software to use, and which questions to ask through the studies. These user studies have significantly informed product at Sonar, and we hope they'll help you do the same!
UXSA - Preparing for the Interview - 3-12-20Cherri Pitts
UX Researcher Cherri Pitts offers lots of information about prepping for user interviews followed by an engaging and active question and answer section.
Improving Analytics Success through CommunicationAnna Lewis
Communication doesn't come naturally to everyone and even when it does it is important to consider the strategies you need to work for everyone you come into contact with. This talk goes through many ideas to help you improve your communication and as a result, improve the success of your projects and relationships.
Three Ways Fast Human Insight is Revolutionizing Marketing UserTesting
The time pressure on marketers is relentless. You need to be sure your projects resonate with customers, but often you don't have time for conventional market research studies. Many marketers are using fast user studies to validate their ideas in a few hours. The studies eliminate guesswork, and they give persuasive videos of customer reactions to help educate the company.
In this free webinar, Michael Mace, UserTesting's VP of Product Marketing, will describe how fast human insight is revolutionizing agile marketing. Find out how marketing teams are using human insight to perfect their customer experience in real time.
You'll learn how marketing teams:
Get customer reactions to messages and content in just hours
Quickly explore customer lifestyles and attitudes
Understand and perfect the customer journey
Including sample videos and real-world usage examples, this webinar will teach you everything you need to start applying fast human insight to your daily marketing decisions.
Генерация лидов: 23 хинта для писем и LinkedIn сообщенийConformato
16 апреля 2015 года Анастасия Новикова выступила в Харькове в сообществе Sales-club.org с презентацией "Генерация лидов: 23 хинта для писем и LinkedIn сообщений".
Для большинства присутствующих холодные письма и сообщения - часть работы. И как бы не хотелось, но все мы отправляли тексты с презентацией компании на несколько строчек, пытались продать аутсорсинг письмом или рассылали одно и тоже письмо всем-всем.
Во время презентации Анастасия рассказала о том, какие конкретные приемы, слова, фразы и небольшие изменения могут кардинально поменять результативность писем.
Igor Karpets. Still cold calling your leads? Grammarly's cold email strategy ...IT Arena
Igor Karpets, Head of Enterprise Sales at Grammarly
Still cold calling your leads? Grammarly's cold email strategy which will get you on a meeting
Experienced sales and marketing professional specializing in B2B sales with competitive experience in the US and International educational technology market. Passionate about technology and getting the things to the closed/won stage.
Areas of focus: B2B sales, lead generation, sales automation, strategic planning, technology licensing best practices and typical contract structures, reseller and distributor relationships, product roadmap development.
Smoke Your Competition: 14 Ways to a High Conversion RateHanapin Marketing
What happens after the click is just as important as what happens before the click, but there's way more to conversion rate optimization than just the technical side, like button color and layout. It's also about the experience. Searchers are smarter now. Not only should you be prioritizing what really leads to a conversion, you should also be looking at the unique perspectives of your different target audiences.
3Q Digital and Hanapin experts, Joe Kerschbaum and Kayla Kurtz, go through different steps that will change how you think about getting a conversion, other objectives to consider, and lead you down a road that helps you ricochet past your competitors.
You'll get expert-level PPC tips like:
*What to consider for extremely productive and efficient landing pages
*How to structure the testing process for practical feedback
*Reminders on things search marketers often forget
Smoke your competition and get these 14 ways to high conversion rates!
5 tips to help marketers sell tech, and techies market their services, from Marketing Coordinator Anna Remus at WordCamp Boston 2014.
*Minor corrections will be made to slides soon.
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQAFest
Поговоримо про найпопулярніші помилки, яких припускаються розробники веб додатків, та як зловмисник може використати їх на свою користь. Охопимо максимальну кількість матеріалу за короткий проміжок часу.
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQAFest
Мы уже разговаривали о self-healing автоматизации, как она работает, какие есть подходы, чем они хороши, плохи и о новом инструменте, который мы разрабатываем в EPAM. Наш продукт завершает стадию POC и настало время поделиться результатами и понять, насколько self-healing автоматизация поможет вашим тестам стать стабильнее? Или наоборот, навредит?... Приходи и узнаешь!
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QAFest
Mobile apps and websites are now the predominant ways that users interact with brands. Research has shown that slow sites and apps lose customer engagement. Despite this, most mobile sites and apps have performance issues that can be easily resolved once diagnosed. In this talk, we will walk through steps to diagnose network performance bottlenecks in mobile services. We'll discuss real-world examples and how they were resolved. Attendees will leave this talk armed with the tools to test, diagnose and resolve the top network performance issues that affect mobile today.
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QAFest
Раньше мы в Badoo фокусировались в основным на ручном тестировании. Получался этакий дедлок мануальной регрессии: не было времени, чтоб писать тесты, потому что много тестировали руками, а много тестировали руками, потому что не было автотестов.
Но мы смогли наладить свою систему автоматизации и процессы, разорвали этот порочный круг и начали писать годные тесты.
В своем докладе я расскажу, как нам удалось сократить ручную регрессию с 90% до 30% рабочего времени, при этом сохранить достойный уровень качества и профессионально вырасти!
QA Fest 2019. Никита Галкин. Как зарабатывать большеQAFest
Вам знаком термин mindshift? Именно его вы испытаете от этого доклада. Он будет не о QA процессах или инструментах, он будет о деньгах и бизнесе, о рисках и коммуникациях. Все это с примерами из Украинского и мировом IT в формате живого общения с аудиторией.
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQAFest
In this talk, I will cover the pain points of the Test Automation process. We will discuss traps, mistakes and crazy decisions that lead to test automation failure and lost budgets.
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQAFest
Поговорим о мотивации простым языком, проясним, что стимулирует нас работать лучше. Поисследуем обратную сторону мотивации – выгорание. Выясним, как диагностировать выгорание и не допустить неприятных последствий.
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...QAFest
Для разработки современных программных решений необходимо обеспечить эффективную систему тестирования, которая состоит из большого количества компонентов и задает требования ко всем этапам разработки.
Владимир Никонов, руководитель департамента разработки платформы в Terrasoft, эксперт в области проектирования приложений с опытом работы более 10 лет, поделится экспертным мнением с участниками QA Fest и расскажет:
- об инструментах и процессах на каждом этапе создания и поставки функциональности: от unit-тестов до нефункционального тестирования;
- о требования к инструментам тестирования и компетенциям команды QA-инженеров, которые необходимо выдвигать на каждом этапе тестирования;
- как внедрять современные подходы в существующий проект с минимальными затратами;
- как развивать команду и процессы тестирования в целом.
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...QAFest
Доклад посвящен автоматизации тестирования WEB-приложений с SVG-графикой. В 1-ой части доклада даны короткое описание процессов разрабатываемого приложения и обоснование необходимости применения SVG-графики. Во 2-ой части сделан короткий обзор SVG-графики, показаны основные преимущества/недостатки такого типа графики, сделан обзор основных SVG-поверхностей и рассмотрен процесс их трансформации с помощью матрицы преобразования с разбором ее основных типов. В 3-ей части обозначены основные проблемы автоматизации действий с SVG-графикой, такие как drag’n’drop графических объектов (SVG на SVG), их масштабирование при помощи колесика мышки и выделение ломаный линий. В 4-ой части показаны решения обозначенных проблем с использованием JavaScript.
QA Fest 2019. Иван Крутов. Bulletproof Selenium ClusterQAFest
Browser tests are known to be the flakiest ones. This is partly because browser infrastructure is complicated to maintain. But the second reason is – mainstream browser automation tools such as Selenium server are far from being efficient.
A year ago I have shown Selenoid - a truly efficient replacement of the standard Selenium server. This year I would like to demonstrate how to organize a fault-tolerant and easily scalable Selenium cluster using virtual machines in the cloud. I will start by setting up several Selenoid nodes and configure them to send logs and recorded videos to S3-compatible storage. Then I will run multiple Ggr load balancer instances allowing to use all running Selenoid nodes and organize a single entry point to the cluster. Finally, we'll discuss how to work with VNC and video recording in such a cluster.
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...QAFest
Случалось ли вам запускать автоматизацию на проекте? Испытывать непревзойденное удовольствие от необходимости собеседовать технического специалиста, когда сам не имеешь технического опыта? Если да, то этот доклад для вас.
Мы научимся анализировать сеньорность кандитата, его технический уровень и способность к организации команд. Но самое главное - все это мы сможем достичь без серьезного технического опыта. Будет интересно, заходи на огонек!
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...QAFest
Це буде огляд підходів до побудови програми безпеки програмного забезпечення в команді розробки або кампанії загалом, доповнений висновками з мого власного досвіду виконання практичних та консультаційних проектів в сфері Application Security.
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automationQAFest
Веб-приложения и технологии стремительно развиваются. Мы уже вступили в эру Single Page Application и идем к Progressive Web Application. В большинстве современных проектов идет разделение команд на front-end и back-end, и не только команд, но идет раздельная релизная политика. Это требует более детальных подходов к тестированию front-end. В этом докладе мы рассмотрим кейсы, который есть на практике при тестировании задач front-end и инструменты автоматизации, которые могут решать задачи описанные в этих кейсах: чтение request/response browser network и соответственно мокирование response.
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...QAFest
Проектирование и производство медицинских устройств — это регулируемый бизнес. Государственные органы во всем мире призваны гарантировать безопасность и эффективность медицинских устройств. Несоответствие нормативным требованиям ставит под угрозу жизнь и здоровье человека. Как медицинское регулирование влияет на рабочий процесс компании производителя? Мы поговорим о том, какие вызовы стоят перед тестировщиком медицинского софта, а также какие возможности при этом открываются.
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...QAFest
Про «тестабилити» в последнее время говорят часто, зачастую говорят в рамках способности тестировать тот или иной функционал. А иногда и ограничиваются только возможностью автоматизировать. Существует техника “10P тестируемости”, которая используется для оптимизации процесса разработки, как инструмент анализа и настройки процессов для достижения успеха на проекте в целом. Вот об этом и поговорим.
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях ITQAFest
Твою гениальность не замечает никто кроме мамы? Идеи и проекты нравятся только твоему коту? Одногруппники уже руководители подразделений, а ты завис между middle и senior? Пришло время найти баги не только на проекте, но и в своей голове! Прокачаем коммуникативные навыки:)
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложенииQAFest
С каждым годом мобильных приложений становится все больше, но мало кто обращает внимание на безопасность этого приложения, когда оно находится в процессе разработки. Так как бизнес нацелен только на то, чтобы оторвать большую часть пользователей, которые будут использовать это приложение, они обращают внимание на конфиденциальность своих клиентов в последнюю очередь. В своем докладе я расскажу как мануал QA может проверить мобильное приложение на уязвимости и найти топовые дыры по рейтингу OWASP. В презентации будут использованы такие тулзы Santoku Linux + Genymotion.
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...QAFest
Маючи досвід роботи з іноземними замовниками і колегами, а також вивчаючи культурні особливості жителів інших країн, ми якось поставили собі за мету з'ясувати, якими українців бачать іноземці, чи потрібно їм підлаштовуватись під нашу манеру спілкування, чи є щось, що вони зовсім не можуть прийняти.
Поділимося з вами результатами цієї затії, а також поговоримо про:
- те, що потрібно знати українцям про свої софт скіли,
- то, як відрізняються софт скіли українців і жителів кількох інших країн,
- важливість софт скілів для успішних комунікацій з іноземними колегами,
- важливість софт скілів для просування по кар'єрі.
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...QAFest
Обычно в процессе нагрузочного тестирование необходимые app-side метрики(response time, throughput, ..) можно получить прямо в генераторе нагрузки. Мы шлем запрос, получаем респонс и зачастую время выполнения запроса это и есть то что нам нужно.
Но что если после того как сервер отдал вам ответ происходит еще ряд асинхронных операций, время выполнения которых нам необходимо проверить? Как замерить время выполнения этих запросов? Какая часть системы является узким местом в производительности?
В докладе рассмотрим какие челенжи появляются в такой ситуации и как их можно решить.
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22QAFest
Хотели бы вы, чтобы в Украине происходило больше QA ивентов? Чувствуете, что их не хватает?
Знаете, кто может это изменить? - Вы!
Я поделюсь подходами, которые мы использовали при организации QA хакатонов в Wix, которыми завтра вы сможете воспользоваться для создания вашего крутого ивента!
Francesca Gottschalk - How can education support child empowerment.pptxEduSkills OECD
Francesca Gottschalk from the OECD’s Centre for Educational Research and Innovation presents at the Ask an Expert Webinar: How can education support child empowerment?
Embracing GenAI - A Strategic ImperativePeter Windle
Artificial Intelligence (AI) technologies such as Generative AI, Image Generators and Large Language Models have had a dramatic impact on teaching, learning and assessment over the past 18 months. The most immediate threat AI posed was to Academic Integrity with Higher Education Institutes (HEIs) focusing their efforts on combating the use of GenAI in assessment. Guidelines were developed for staff and students, policies put in place too. Innovative educators have forged paths in the use of Generative AI for teaching, learning and assessments leading to pockets of transformation springing up across HEIs, often with little or no top-down guidance, support or direction.
This Gasta posits a strategic approach to integrating AI into HEIs to prepare staff, students and the curriculum for an evolving world and workplace. We will highlight the advantages of working with these technologies beyond the realm of teaching, learning and assessment by considering prompt engineering skills, industry impact, curriculum changes, and the need for staff upskilling. In contrast, not engaging strategically with Generative AI poses risks, including falling behind peers, missed opportunities and failing to ensure our graduates remain employable. The rapid evolution of AI technologies necessitates a proactive and strategic approach if we are to remain relevant.
Operation “Blue Star” is the only event in the history of Independent India where the state went into war with its own people. Even after about 40 years it is not clear if it was culmination of states anger over people of the region, a political game of power or start of dictatorial chapter in the democratic setup.
The people of Punjab felt alienated from main stream due to denial of their just demands during a long democratic struggle since independence. As it happen all over the word, it led to militant struggle with great loss of lives of military, police and civilian personnel. Killing of Indira Gandhi and massacre of innocent Sikhs in Delhi and other India cities was also associated with this movement.
Unit 8 - Information and Communication Technology (Paper I).pdfThiyagu K
This slides describes the basic concepts of ICT, basics of Email, Emerging Technology and Digital Initiatives in Education. This presentations aligns with the UGC Paper I syllabus.
Macroeconomics- Movie Location
This will be used as part of your Personal Professional Portfolio once graded.
Objective:
Prepare a presentation or a paper using research, basic comparative analysis, data organization and application of economic information. You will make an informed assessment of an economic climate outside of the United States to accomplish an entertainment industry objective.
Model Attribute Check Company Auto PropertyCeline George
In Odoo, the multi-company feature allows you to manage multiple companies within a single Odoo database instance. Each company can have its own configurations while still sharing common resources such as products, customers, and suppliers.
Introduction to AI for Nonprofits with Tapp NetworkTechSoup
Dive into the world of AI! Experts Jon Hill and Tareq Monaur will guide you through AI's role in enhancing nonprofit websites and basic marketing strategies, making it easy to understand and apply.
Read| The latest issue of The Challenger is here! We are thrilled to announce that our school paper has qualified for the NATIONAL SCHOOLS PRESS CONFERENCE (NSPC) 2024. Thank you for your unwavering support and trust. Dive into the stories that made us stand out!
11. “Show me yesterday’s financial news”
Utterances
● Delivery
● Thanks!
● Book me a flight to Rio next week.
● I already have a phone 9. What the plan going to
cost me ulimited switching over from crickety eyes
you have anything without 1st month.
24. Challenges
● Unlimited inputs quantity
● No definition of quality
● No clear exit criteria
Solutions
● Risk analysis
● Data analysis
25. Challenges Solutions
● Unlimited inputs quantity
● No definition of quality
● No clear exit criteria
● Risk analysis
● Data analysis
26. Challenges Solutions
● Unlimited inputs quantity
● No definition of quality
● No clear exit criteria
● Risk analysis
● Data analysis
27. Challenges Solutions
● Unlimited inputs quantity
● No definition of quality
● No clear exit criteria
● Risk analysis
● Data analysis
28. Challenges Solutions
● Unlimited inputs quantity
● No definition of quality
● No clear exit criteria
● Risk analysis
● Data analysis
29. Structured response
Turning on / Turning
off NLP
Lost in the flow
Business restrictions
Profanity words
Similar intents
Default answer
Acronyms
Informal shortening
Shortening in writing
Emojis
Slang words
Intent + other words
Intent + small talk
Intent + other sentences
Misspellings
Synonyms
Similar phrases
NLP testing checklist
30. ● Order pizza = Order piza
● Change day to Monday = Change day to Mobday
● Send picture = Senf picture
Misspellings
31. ● New offers = New deals
● Some help = Some support = Some assistance
● Order iPhone = Purchase iPhone
Synonyms
32. ● What benefits do you have? = Show me the advantages
● Where is my parcel? = Track my order
● Make a reservation on Friday = Book appointment,
Friday
Similar phrases
33. Can I order bundle of
two headphones, one
for me and one for
my dad?
Intent + other words
I saw your promo,
how to order the
headphones
orderHeadphones
34. Hello, find my bus
station please.
Intent + small talk
findStation
Morning! Nearest
bus station. Thanks.
35. My inbox is a dumpster! I'm like flooded with all the
messages. How can I unsubscribe ?
Intent + other sentences
unsubNews
36. ● Lol - laugh out loud
● Asap - as soon as possible
● Np (No Problem), But how can I send my
booking confirmation
Acronyms
confirmBooking
40. ● Kudos! = praise and honor received for an
achievement
● You rock! = You're awesome (at something)
● On fleek = smooth, nice, sweet
Slang words
41. ● I’d like to order dress
● I’d like to know where
is my dress?
Similar intents
trackOrder
makeOrder
42. ● Sorry, I didn’t get that. Try again
● If you didn’t find what you wanted feel
free to see information in the Main Menu
or type ‘show me main menu’
Default (None) intent
43. Score for None intent
● If utterance score < 0.3
● Avoid repetitions
none
44. Dogs suffer = stop animal testing
Business restrictions
getInfo
52. ● Gathering the stats
● Analyzing what to add/change/delete in NLP model
● Training of the new version of NLP
● Testing
● Monitoring the results
Learning on production
53. ● Gathering the stats
● Analyzing what to add/change/delete in NLP model
● Training of the new version of NLP
● Testing
● Monitoring the results
Learning on production
54. ● Gathering the stats
● Analyzing what to add/change/delete in NLP model
● Training of the new version of NLP
● Testing
● Monitoring the results
Learning on production
55. ● Gathering the stats
● Analyzing what to add/change/delete in NLP model
● Training of the new version of NLP
● Testing
● Monitoring the results
Learning on production
56. ● Gathering the stats
● Analyzing what to add/change/delete in NLP model
● Training of the new version of NLP
● Testing
● Monitoring the results
Learning on production
57. New project roles
NLP model training
Statistics
Bot flow
Copy
NLP model training
Statistics
CONVERSATIONAL
DESIGNER
CONTENT
MANAGER
58. ● Chatbot project = regular project
● NLP is the only unique component
● Analyze risks and statistics to enforce
effective and efficient testing
QA takeaways
59. ● Chatbot project = regular project
● NLP is the only unique component
● Analyze risks and statistics to enforce
effective and efficient testing
QA takeaways
60. ● Chatbot project = regular project
● NLP is the only unique component
● Analyze risks and statistics to enforce
effective and efficient testing
QA takeaways
Доброго дня.
Сьогодні я б хотіла розповісти про тестування NLP в чатботах. І відразу розшифруємо абревіатуру NLP - від англійських слів Natural Language Processing - системи обробки природньої мови.
Пару слів про мене і мій досвід в данному питанні.
Я працюю в компанії Master of Code Global, яка фокусно займається розробкою конверсейшнл додатків, які об’єднують у собі чатботів та інтеграції зі сторонніми сервісами (таких як платіжні системи, клієнтські СіЕрЕм, AR ефекти). Також ми маємо експертизу в eCommerce продуктах, веб та мобайл розробці.
Маю 5 років досвіду взагалі в тестуванні, 3 з яких саме в тестуванні чатботів.
За цей час мала змогу співпрацювати з багатьма компаніями, які представлені різними доменами.
Наприклад, компанія T-Mobile, яка працює працює в області мобільного зв’язку, косметичний бренд Aveda та спортивна організація Всесвітня ліга серфінгу.
Власне, чому я вважаю тему тестування NLP актуальною?
Ще якихось 3 роки назад важко було уявити, що розумні боти зможуть увійти в життя людей і полегшити виконання повсякдених задач.
Але вже сьогодні ми бичимо, що штучний інтелект вже частково замінив працю людей, допомагаючи бізнесу досягати своїх цілей і стаючи пріорітетним напрямом розвитку.
За даними ресерча від Оракл близько 80% бізнесів відповіли, що хочуть мати чатбота до 2020 року.
Перші спроби зарелізити API для побудови чатботів були на таких месенджерах, як WeChat, Телеграм.
Пізніше до них приєднались Facebook messenger, Slack, Skype, ABC та інші.
І вже за кілька років майже кожен мессенджер має підтримку ботів.
Використання чатботів для бізнесу стає майже необхідністю, адже вони хочуть бути там, де є їхні потенційні клієнти, тобто всередині мессенджингових платформ.
Але повної та змістовної інформації саме по тестуванню НЛП і чатботів дуже мало, тому моя мета поділитись нашим досвідом і дати корисну і цікаву інформацію.
Основний челедж при створенні чатбота - це обробка запитів людини.
Це можна зробити двома способами.
Перший - задати строгий набір команд у вигляді “запитання-відповідь”, так званих команд.
Але в такому випадку бот буде вузьконаправлений і обмежений.
Наприклад, якщо юзер каже Buy dress, бот відповідає галереєю з товарами.
Але якщо юзер напише Buy A Dress, бот відповість помилкою, адже саме такого правила у списку не було.
Такі системи називаються Ruled based і їх використання можна порівняти з запитами на веб сторінку.
URL адреса повинна мати певний набір та порядок символів, і у випадку зайвого символа ми побачимо 404 помилку.
Інший спосіб, на якому ми зосередились, - це підключити машинне навчання, яке дозволяє навчити бота розуміти юзера по кільком ключовим словам.
Тоді навіть з довгого речення: “Hi, I want to buy a dress”, бот зможе розпізнати намір і відповісти підходящим контентом.
Такі системи називають AI based, а в їх основі лежать моделі NLP - від англійських слів Natural language processing - системи обробки природньої мови.
Саме про такі системи і їх тестування далі і піде мова.
Зараз на ринку достатньо NLP платформ, які пропонують готові рішення девелоперам.
Наприклад, Luis від Microsoft, DialogFlow від Google, Lex від Amazon та інші.
Усі вони мають свої плюси та мінуси.
Ми на своєму поточному проекті використовуємо Luis від Microsoft як НЛП платформу і ChatFuel як платформу для побудови структури бота (текстових блоків, зображень, кнопок).
Потім все це інтегрується в FB Messeger, і вже кінцеві користувачі спілкуються з готовим ботом безпосередньо всередині аплікейшена.
На даному проекті ми використовували і інші НЛП платформи: експериментували з вбудованим НЛП від ChatFuel, тестували роботу DialogFlow від Google.
Але Luis від Microsoft показав кращі результати, тому ми зупинились на ньому.
Який би інструмент ви не вибрали, усі вони об’єднуються спільною базою понять для тренування моделі.
І для того щоб вибрати найоптимальніші методи тестування, необхідно ознайомитись з цими поняттями.
Почнемо з поняття Utterance - в перекладі з англійської мови - висловлювання.
Utterance - це все те, що юзер може написати в бот.
Це може бути символ, слово, словосполучення, фраза, речення, абзац. Все, що завгодно.
Друге поняття, яке необхідно розглянути, - це інтент (в перекладі з англійської мови - намір).
Інтент - це бажання юзера викликати в боті певну дію або переглянути певний контент.
Наприклад в данному висловлюванні наміром юзера буде переглянути финансові новини за минулий день.
Зазвичай, інтенти записуються у вигляді пари: дієслово+іменник для їх швидкої ідентифікації з-поміж схожих інтентів.
Для данного прикладу це буде пара showNews.
Кілька прикладів інтентів, щоб ви побачили як вони утворюються і які бувають в залежності від функцій бота: наприклад, bookAppointment, checkCoverage, buyIphone.
І останнє поняття - це ентіті (в перекладі з англійської - сутність).
Ентіті - це слова чи словосполучення, які надають додаткової інформації до наміру користувача.
Наприклад, в данному випадку додатковою інформацією до наміра переглянути новини буде категорія новин та часовий період, за який треба ці новини відфільтрувати: тобто це слова financial та yesterday.
Ентіті описують усі властивості навколишніх об’єктів та процесів, тому майже кожен інтент може мати свої ентіті.
Наприклад, маємо інтент buyIphone - ентіті для нього будуть Model, Color, Capacity, Price.
Це були основні поняття, а тепер перейдемо до процесів.
Робота з НЛП триває протягом усього циклу розробки і поділяється на 4 фази: діскавері, тренування модеоі, власне тестування та навчання на продакшені.
Почнемо з перешої фази - діскавері.
Тестування НЛП (як і будь якого іншого проекту) розпочинається якомога раніше, ще на фазі збору вимог.
Основні пункти, які необхідно обговорити до початку розробки і які будуть впливати на тестування це наступні.
Перше - це мова. Може бути multy-language бот, або якась іноземна мова, яка вам невідома.
Це може вплинути на вибір НЛП інструмента (адже не кожен з них підтримує усі мови); на кількість ефорда, який треба закласти в тест-план; також може вплинути на залучення додаткових спеціалістів в команду у зв’язку з іноземною мовою.
Другий пункт, але не менш важливий - це feature scope.
Може статися так, що клієнт захоче покрити через діалоги лише Смол ток, а основні фічі розробити як кліки по кнопкам, а може бути навпаки - усі бізнес кейси заімплементити через діалоги з ботом (тобто використання НЛП).
Це вплине на к-сть атеренсів, інтентів в моделі і на час розробки та тестування.
І останнє, але не менш важливе - це цільова аудиторія.
Це може бути стать, вік, геолокація, соціальне становище.
Усе, що допоможе вибрати валідні висловлювання для тренування і тествання.
Переходимо до наступної фази - тренування моделі.
Після того, як затвердили усі вимоги, ми приступають до наповнення моделі атерансами (словами, реченнями, словосполученнями), виділяють інтенти та ентіті.
На скріншоті показано як виглядає дашборд НЛП платформи на прикладі Luis від Microsoft.
Ми бачимо один інтент showNews, три атеранси і виділені ентіті.
Простими словами система працює наступним чином: якщо юзер пише find financial news, атеренс, якого немає в цьому списку, система все одно повинна проматчити його на цей інтент.
Ми працюємо з нативними спікерами, які допомагають з підбором найоптимальніших фраз.
Також в цьому можуть допомогти спеціалісти зі сторони клієнта, які знають специфічну термінологію свого домена або знають як саме користувачі спілкуються з їх бізнесом.
Переходимо безпосередньо до фази тестування.
Основною складністю тестування НЛП є те, що важко визначити класи еквівалентності і вибрати представників з цих класів серед нескінченної к-сті інпутів (символів, слів, речень).
Також є ризик витратити забагато часу на тестування через відсутність чітких критеріїв якості.
Завжди будуть баги - тобто завжди будуть ситуації, коли НЛП дасть відповідь не таку, яку очікуємо.
І як результат неможливо узгодити і затвердити критерії закінчення тестування.
Але що дозволяє нам ефективно тестувати незалежно від цих проблем, це те що використовуємо наступні два методи.
По-перше, ми використовуємо аналіз ризиків і на основі нього виставляємо пріорітети.
Це допомагає нам знайти підходящі приклади для тестування, зробити смоук чи регрешн критичних ділянок і швидко дати фідбек стейкхолдерам про проблеми на проекті.
І другий солюшен - це аналіз даних.
Ми збираємо статистику усіх юзерських інпутів в боти і виділяємо топ випадків, які варті уваги.
Результатом роботи над статистикою та ризиками став так званий QA basic чекліст, який покриває основні тестові ідеї.
Чекліст має чимало цікавих випадків, про які далі піде мова.
Приклади будуть англійською мовою, але усі пункти підходять до будь якої з мов.
Найперше з чим ми працюємо - це перевірка помилок.
НЛП інструменти мають вбудовану функцію перевірки помилок, тому немає потреби вводити усі варіанти написання слів з помилками.
Але якщо ми говоримо про підбір слів для тестування - тут необхідно використати аналіз ризиків та вибрати найкритичніші варіанти.
Наприклад, якщо у нас бот, основною функцією якого є доставка піцци, то важливо перевірити усі варінти написання слів Order та pizzа.
Також пріорітетними є кейси використання слів-синонімів.
Тут вам допоможуть численні словники.
І фокусуватись необхідно на найбільш уживаних словах.
Наприклад, фрази new offers і new deals - повинні вести юзера на однаковий інтент.
Іноді розповсюджених слів-синонімів може бути більше: наприклад, help, support, assistance.
Можуть бути цілі фрази-синоніми.
Але на відміну від слів-синонімів, для яких в НЛП інструментах є окрема таба, де можна їх додати усі через кому, з фразами так не вийде.
Адже слово Have не є синонімом в загальному значенні до слова Show, але фрази Show me your advantages і What benefits do you have? повинні бути синонімічними, тобто вести на однакову відповідь.
1 - Наступні кейси для перевірки - це більш довші речення, де крім ключових фраз є ще інші слова, які не несуть суттєвої ваги (так званний шум).
2 - Наприклад, обидва речення повинні вести на інтент orderHeadphones, а решту слів система повинна проігнорувати.
Схожий випадок - це речення, у яких крім ключових слів є ще фрази смол току.
Кейс майже як попередній, але ми тестуємо його окремо, тому що фрази смол току належать окремому інтенту smallTalk.
І нам необхідно перевірити, що фраза hello, find my bus station please поведе юзера саме на інтент findStation, а НЕ на інтент smallTalk.
Аналізуючи юзерські інпути, ми помітили досить багато довгих і неструктурованих атеренсів.
Зазвичай, по контексту можна зрозуміти, що юзер не знав, що спілкується з ботом і висловлював думки так, ніби до живого агента сапорта.
В цьому випадку задача бота продовжувати відповідати юзеру адекватно і намагатись допомогти, розпізнавши навіть з неструктурованого висловлювання ключові слова.
А наша задача це перевірити.
В нашому столітті, переповненому інформацією, часу на спілкування і на листування залишається все менше і менше.
Як би це парадоксально не звучало, але чим більшою кількісю інформації людина володіє, тим більше способів її скорочення вона шукає.
Одним з найдієвіших способів скоротити мову є використання акронімів.
Зараз вони є повсюди: в діловому та повсякденному спілкуванні, в міжнародних термінах та технічній документації, тому не дивно, що юзери будуть їх використовувати під час розмови з ботом.
Акронім може бути одиничним атеренсом (наприклад, asap, lol), або частиною більш повного атерена - необхідно перевіряти обидва випадки.
Ще одним дієвим способом скоротити висловлювання - це використання скорочень на письмі.
Скорочення можуть бути неформальні і формальні.
Пару прикладів неформальних скорочень: lil - від слова little, wanna від слів want to.
І формальні скорочення, які є більш розповсюдженними, адже є затвердженими правилами на письмі.
Для того, щоб коректно перевірити їх вживання, треба знати їх розшифровку.
Наприклад: smth. Скорочення від something, I’ve - скорочення від I have.
Разом з актонімами і скороченнями, ще одне явище увійшло в письмову мову - це вживання емодзі.
Вони стали настільки популярними, що у 2015 році Оксфордський словник назвав словом року - емодзі, який плачу від сміху.
Але використання емодзі - це окрема тема для ресерча, адже ми знаємо, що жести можуть означати різне для різних культур і країн, тому треба знати свою аудиторію, щоб не зробити помилок.
Ми перевіряємо топ емодзі і в залежності від вимог, перевіряємо заборонені емодзи: які відображають релігійні чи расові образи, зброю, наркотики чи інтерпритуються, як чистини тіла.
Вживання сленгу - також розповсюджений випадок.
Сленг - емоційна і яскрава складова лексики будь якої мови.
Ми знаємо наш айтішний сленг, що є різновидом професійного сленгу; також є студентський, молодіжний, дитячий сленг, які є найдинамічнішими через швидку зміну поколінь.
Сленгових фраз велика кількість, тому треба знати вашу цільову аудиторію.
Вивчаючи вік, стать, профисію можна вибрати підходящі варіанти, які будуть притаманні вашим юзерам.
Іноді трапляються ситуації, коли одне і те саме слово повинно бути ключовим у різних інтентах, які відрізняються між собою.
Відрізняються настільки, що повести юзера на інший інтент - рівноцільно його втраті.
Наприклад, якщо юзер зробив покупку, не дочекався вчасної доставки і запитує у бота I’d like to know where is my dress, що є trackOrder інтентом, то повести його на makeOrder інтент буде вкрай недоречно.
Юзер навряд чи зробить ще одну покупку, але знервований він точно покине бот і піде шукати сапорт на вебсайті.
Іноді такі кейси місматчинга не є критичними, але вони все одно покажуть недосконалість НЛП і погіршать експірієнс юзера в боті.
Незважаючи на те, що НЛП модель можна натренувати доволі якісно, все одно бутуь кейси, коли юзер буде писати фрази, які є поза межами скоупа функціональності бота.
Наприклад, якщо бот займається продажем канстоварів, він навряд чи розповість щось юзеру про погоду.
В таких випадках використовують None (Default) інтент - це резервний інтент, на який система буде відправляти все те, що не проматчилось з жлдним з існуючих інтентів.
По змісту він може звучати як короткий меседж Sorry I didn’t get that, try again, а може бути значно довшим і містити повний мануал того, зо юзер може зробити в боті.
Також в залежності від вимог можна налаштувати мінімальний скор для того, щоб відображати юзеру цей дефолтний меседж.
Кожному атеренсу система дає скор, ймовірність попадання в той чи інший інтент.
Наприклад, фраза order iPhone має скор 1 для попадання в інтент orderIphone і скор 0,1 наприклад для попадання в інтент orderPizza.
Щоб не було таких місматчингів можна задати правило: якщо атерант скор менший 0,3, наприклад, вести юзера на дефолт меседж.
Але тут треба бути обережним і перевіряти уважно, адже може бути ситуація, що кожен юзерський інпут буде вести на дефолт меседж і юзер буде злим кожно разу читаючи, Sorry I didn’t get that.
Цікавими є кейси перевірки випадків, пов’язаних з бізнес специфікою клієнта.
Наприклад, бот косметичної компанії повинен усі фрази, які пов’язані з тестуванням косметичної продукції на тваринах відправляти на специфічний інтент з меседжом, який пояснить юзеру політику компанії щодо цього питання.
У випадку місматчингу на інший інтент, особливо якщо це веселий смол ток, компанія може бути скомпроментована і понести збитків.
Тому такі критичні кейси треба перевіряти якомога прискіпливіше і виділяти на них більше часу.
Окремий скоуп на тестування - це лайливі слова.
В залежності від вимог, бот може мовчати у відповідь, вести на дефолтний інтент або на меседж, який пояснить, що бот спілкується з ввічливими юзерами.
Так як таких слів багато - збираємо топ зі статистики.
Перевіряти їх треба як одиничний інтент і також в поєднанні з іншими фловами, фразами смол току.
Іноді для певних фіч нам необхідно відправляти атеранс юзера на бекенд для обробки.
В таких випадках ми просимо ввести такі інпути в певному форматі.
Наприклад, якщо це номер автобуса - ми очікуємо натуральне число.
Або якщо юзер вводить ціну: він може ввести у вигляді десяткового дробу, або цілого числа, може використати символ валюти, або ж відправити без нього.
В таких випадках ми використовуємо так званні пребілд ентіті, які пропонує НЛП платформа і які допомагають розпізнавати такий структурований контент.
Тестування таких видаків дещо сходе на перевірку вебформи.
Кілька прикладів такого структурованого контенту: це може бути імейл, телефон, дата час.
Незважаючи на те, що френдлі бот повинен постійно вести діалог з юзером і підтримувати його зацікавленність, існують такі флоу, де бот (а точніше НЛП) повиннен мовчати.
Наприклад, фіча фідбек форма - які б ключові слова і фрази не були б в інпуті юзера, бот усім повинен відповісти однаковим Thank you месенджем. І нам необхідно це перевірити.
В таких точках флоу ми ставимо так званні заглущки, які вимикають вмикають НЛП назад.
Але тут є проблема з непослідовністю дій юзера, які можуть собі вимкнути НЛП назавжди.
Тому тестуючи такі випадки, ми завжди використовуємо тест дизайн техніку State transition flow, щоб не пропустити жодну з послідовностей виконання дій у флоу.
І останній кейс з чекліста - це перевірка випадків, коли НЛП допомагає юзеру не заблукати у флоу.
Структура бота може бути доволі послідовною, так що ви не зможете перейти до степа 2 не завершивши попередній степ 1.
Такі експірієнси можуть мати негативні наслідки.
Наприклад, покупка товару з опціями. Юзер вибрав товар - степ 1, вибір кольору - степ 2 і покупка - степ 3.
Якщо, юзер замість того, щоб вибрати колір, клікнувши по кнопці, напише текстовий меседж в бот, він вийде з флоу покупки і не завершить транзакцію.
В таких випадкам ми пропонуємо сетапити повторні запитання, щоб повернути юзера у ту ж точку.
Але повторний меседж може нервувати юзера, тому конверсейшн дизайнери повинні або знайти кілька варіантів одного і того самого запитання, або знайти якийсь цікавий інтерактив, щоб все таки витягти з юзера потрібеу відповідь і рухатись далі.
Який би варіант ви не вибрали, обов’язково треба передбачити вихід з такого цикла для юзера, який точно не хоче купувати товар, додавши кнопки back чи exit.
Це був останній пункт з чекліста.
Незважаючи на достатнью кількість тестових ідей для перевірки, за один повний робочий день один тестувальник може перевірити 3 нові інтенти, при умові, що там немає складної логіки чи ризикових кейсів і при умові, що він в контексті поточної моделі НЛП і в контексті усього проекту.
І нарешті ми дійшли до останньої фази - навчання на продакшені.
Після релізу на продакшен починається сама цікава фаза в тестуванні НЛП - це збір статистики.
Тут нас цікавить чи дійсно юзери пишуть, те що ми очікували, чи є якісь топ по інпутам та атеренсам, як система реагує на валідні та неваліндні інпути.
Аналізуючи всю інформацію ми визначаємо, що можна покращити: додати, змінити чи навіть видалити в поточній моделі.
Потім необхідно перетренувати модель.
І обов’язково зробити ще один раунд тестування, так як перетренована модель - це нова модель, і як вона себе поведе ніхто не знає.
Такий цикл може повторюватись з періодичністю 1-2 в місяць в залежності від нових фіч, побажань клієнта та результатів попереднього аналізу.
Такий постійний процес навчання на продакшені і паралельно реліз нових фіч потребує розширення команди і залучення спеціалістів, які фокусно будуть працювати саме над НЛП складовою.
Таким чином з’явились нові професії і ролі в команді.
Конверсейшн дизайнер працює над побудовою флоу і структури бота, дизайнить діалоги, щоб бот приносив користь і був зручним и швидким у користуванні. Разом з контент менеджером вони займаються тренуванням моделі: підпороб атеренсів (слів, словосполучень, речень), виділенням ентіті, інтентів.
Також саме вони займаються збором і аналізом статистики після релізу і визначають слабкі сторони для покращення.
Тестувальники залучені на кожну з фаз: під час діскавері ми разом з бізнес аналітиками приймаємо учисть в обговоренні та валідації вимог; під час фази тренування моделі можемо допомогти з підбором атеренсів, пріорітизациєю інтентів.
А під час фінальної фази приймаємо участь в обговоренні змін в НЛП, адже знайємо продукт у цілому і можемо визначити як зміни можуть вплинути на інші частини бота.
Як висновок, хочу сказати, що в цілому тестування чатбот проекту майже нічим не відрізняється від тестування інших проектів і його можна розкласти на складові, які нам вже знайомі: це функціональне тестування, юзабіліті, UI, секьюріті, перформанс, тестування мобайл спесифік кейсів (так як бот працює всередині мобайл аплікейшена) і так далі.
Але частинка НЛП - це нова і найменш досліджена для нас складова бота, тестування якої супроводжується складнощами, але є надзвичайно важливим.
Кастомер саппорт, покупки онлайн та букінг апойнтмента - всі ці функції вже давно доступні користувачам вебсайтів.
Але чатботи можуть запропонувати більше: миттєву консультацію 24/7, швидку покупку у вигляді діалога, персоналізований експірієнс та легкий інтерфейс чатбота у вже відомому месенджері (що позбавляє потреби встановлювати додаткові аплікейшени).
Вдалий експірієнт роботи з чатботом може підвищити задоволення користувача (так званний - кастомер сатісфекшн, який є одним з основних КПІ для бізнесу), але це станеться лише тоді, коли НЛП складова, яка зустрічає юзера та проводить його через весь бот, буде протестована на бездоганному рівні.
А це в свою чергу буде залежити від тестової стратегії, яку ви обираєте.
Наш досвід показує, що зробити тестування ефективним нам допомагає аналіз ризиків та робота зі статистикою.
Тут знаходиться чекліст, який був в основі доповіді.
Звичайно у вас на прокті може бути своя специфіка і контекст, але його можна юзати як темплейт для вашої власної тестової стратегії.