Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Charla TestingUy 2019 - Testing de chatbots

136 views

Published on

Expositores: Paula Martínez y Rodrigo Beceiro

Resumen: En esta charla compartiremos nuestra experiencia en el testing de Chatbots. Veremos cómo funciona un chatbot y cuál es el estado del arte en esta tecnología. Hablaremos del procesamiento del lenguaje natural realizado por ellos buscando comprender qué debemos testear.

Analizaremos tanto la comprensión del chatbot como el manejo de sus flujos de diálogo y las dificultades que las conversaciones naturales no estructuradas representan para nosotros en el diseño, desarrollo así como en el testing.

Hablaremos también de herramientas de testing automático para chatbots y discutiremos qué limitantes presentan para nosotros herramientas como IBM Watson, Microsoft LUIS y Google Dialogflow.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Charla TestingUy 2019 - Testing de chatbots

  1. 1. @pau_martinez | @rodrigobeceiro | #testinguy CHARLA Paula Martínez paula@botia.io @pau_martinez Rodrigo Beceiro rodrigo@botia.io @rodrigobeceiro 13 y 14 de mayo, 2019 testinguy.org @testinguy | #testinguy Testing de Chatbots
  2. 2. @pau_martinez | @rodrigobeceiro | #testinguy ¿Quiénes somos?
  3. 3. @pau_martinez | @rodrigobeceiro | #testinguy ¿Qué es un chatbot?
  4. 4. @pau_martinez | @rodrigobeceiro | #testinguy NLP Manejo del diálogo Input: “Hola, quiero pedir una pizza” ¿Intención? Pedir ¿Qué? Pizza Output: “¿Quiere pagar en efectivo o crédito? Nuevo pedido Aplicación Chatbots: ¿Cómo funcionan?
  5. 5. @pau_martinez | @rodrigobeceiro | #testinguy Intents Acciones que el usuario puede realizar
  6. 6. @pau_martinez | @rodrigobeceiro | #testinguy Entities Metadata del intent
  7. 7. @pau_martinez | @rodrigobeceiro | #testinguy Confianza en las predicciones No hay 100% de confianza
  8. 8. @pau_martinez | @rodrigobeceiro | #testinguy
  9. 9. @pau_martinez | @rodrigobeceiro | #testinguy NLP Manejo del diálogo Input: “Hola, quiero pedir una pizza” Output: “¿Quiere pagar en efectivo o crédito? Nuevo pedido Aplicación Chatbots: ¿Cómo funcionan? INTENT: PedidoNuevo ENTITIES: Comida (valor: Pizza)
  10. 10. @pau_martinez | @rodrigobeceiro | #testinguy Utterances Ejemplos de oraciones que ayudan a determinar el significado
  11. 11. @pau_martinez | @rodrigobeceiro | #testinguy Procesamiento del lenguaje natural
  12. 12. @pau_martinez | @rodrigobeceiro | #testinguy Alternativa al motor de reglas Fuente https://keepcon.com
  13. 13. @pau_martinez | @rodrigobeceiro | #testinguy
  14. 14. @pau_martinez | @rodrigobeceiro | #testinguy ¿Qué quiero testear? • NLP = Entrenamiento del bot • Flujos de conversaciones • Interacción con otros sistemas
  15. 15. @pau_martinez | @rodrigobeceiro | #testinguy ¿Qué quiero testear?
  16. 16. @pau_martinez | @rodrigobeceiro | #testinguy Es un bot que busca mantener una conversación natural Debo manejar elementos naturales de conversaciones como el Gracias, Adiós, Hola, etc.
  17. 17. @pau_martinez | @rodrigobeceiro | #testinguy Rindfleischetikettierungsü berwachungsaufgabenüber tragungsgesetz
  18. 18. @pau_martinez | @rodrigobeceiro | #testinguy ¿Qué quiero testear? NLP
  19. 19. @pau_martinez | @rodrigobeceiro | #testinguy
  20. 20. @pau_martinez | @rodrigobeceiro | #testinguy ¿Qué quiero testear? NLP
  21. 21. @pau_martinez | @rodrigobeceiro | #testinguy “Quiero la ocsion 3” Hacen falta conversaciones reales
  22. 22. @pau_martinez | @rodrigobeceiro | #testinguy Un buen diseño ayuda… siempre que sea posible Empresa: Prex Producto: Prexcard = tarjeta prepaga Producto: Prextamo = préstamo
  23. 23. @pau_martinez | @rodrigobeceiro | #testinguy ¿Qué quiero testear? Flujos de conversaciones Saludo Agregar productos Confirmar orden Verificar dirección Despedida
  24. 24. @pau_martinez | @rodrigobeceiro | #testinguy ¿Qué quiero testear? Flujos de conversaciones Saludo Agregar productos Confirmar orden Verificar dirección Despedida Listar catálogo
  25. 25. @pau_martinez | @rodrigobeceiro | #testinguy ¿Qué quiero testear? Flujos de conversaciones Saludo Agregar productos Confirmar orden Verificar dirección Despedida Listar catálogo Agregar dirección ¿Métodos de pago? ¿Tiempo de espera? Eliminar productos
  26. 26. @pau_martinez | @rodrigobeceiro | #testinguy Diálogos o intents Globales
  27. 27. @pau_martinez | @rodrigobeceiro | #testinguy A cuidar • Contexto • Loops • Conversaciones no estructuradas: Saltos de ida y vuelta a un diálogo
  28. 28. @pau_martinez | @rodrigobeceiro | #testinguy Consejos prácticos y métricas • Conversaciones que llegan a su fin correctamente • Intents y entities correctamente identificados • Confianza en la predicción • Con usuarios “malvados” prefiero no perder tiempo • Debo manejar todos los casos posibles elegantemente
  29. 29. @pau_martinez | @rodrigobeceiro | #testinguy Chatbots que testean chatbots
  30. 30. @pau_martinez | @rodrigobeceiro | #testinguy Arquitectura más común Aplicación Motor NLP Motor de NLP extrae Intents y Entities Genero respuesta
  31. 31. @pau_martinez | @rodrigobeceiro | #testinguy Consideraciones prácticas para el testing automático
  32. 32. @pau_martinez | @rodrigobeceiro | #testinguy ¿PREGUNTAS? ¡MUCHAS GRACIAS! 13 y 14 de mayo, 2019 testinguy.org | @testinguy | #testinguy Paula Martínez paula@botia.io @pau_martinez Rodrigo Beceiro rodrigo@botia.io @rodrigobeceiro

×