Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Revisiones de la literatura en
Ingeniería del Software:
Un ejemplo práctico.
Iván Ruiz Rube
ivan.ruiz@uca.es
Desarrollo de...
Contenidos
•
•
•
•
•

Introducción
Planificación
Ejecución
Difusión
Bibliografía
Introducción
• Toda investigación debe comenzar estudiando
el estado del arte de algún tema específico.
• Es algo común ta...
Introducción
Introducción
• Existen dos formas de estudiar la literatura:
• Poco rigurosa
• “Busca aquí en el Google..”
• “Mírate las a...
Introducción
• Barbara Kitchenham propuso un conjunto de
directrices para llevar a cabo estudios de la
literatura en Ingen...
Introducción
• Systematic Literature Review (SLR)
Estudio secundario que utiliza una metodología
rigurosa para identificar...
Introducción
• Systematic Mapping Study (SMS)
Estudio secundario (también utiliza una metodología
rigurosa) que analiza un...
Introducción
Systematic Literature Review
• El tópico que se quiere
estudiar es reducido
• Estudiar la calidad de las
evid...
Introducción
• Etapas de la SLR/SMS
• Etapas de la SLR/SMS
Planificación de la Revisión
1. Identificar la necesidad de la revisión
Justificación:
En el año 2002, la OMG propuso un l...
Planificación de la Revisión
1. Identificar la necesidad de la revisión
Justificación (cont.)
Planificación de la Revisión
1. Identificar la necesidad de la revisión
Justificación (cont.)
Sin embargo, parece que SPEM...
Planificación de la Revisión
2. Comisionar una revisión
Comisionar revisión
Consiste en la subcontratación o externalizaci...
Planificación de la Revisión
3. Definir las preguntas de investigación
Preguntas de Investigación
A continuación, se descr...
Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Términos de búsqueda
SPEM y “software process” (para ...
Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Criterios de inclusión/exclusión
•Fuera de alcance: T...
Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Procedimiento para la evaluación de la calidad
Esta a...
Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Esquema para la extracción de datos
•Metadatos básico...
Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Procedimiento de extracción
Extraer de manera automát...
Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Procedimiento de análisis y síntesis de los datos
En ...
Planificación de la Revisión
5. Evaluar el protocolo de revisión
Evaluación del Protocolo
Es importante validar el protoco...
• Etapas de la SLR/SMS
Ejecución de la Revisión
1. Localizar literatura
ID

SOURCE

SEARCH TERMS

SEARCH SCOPE

1 Wiley Online Library

''softwar...
Ejecución de la Revisión
1. Localizar literatura
Ejecución de la Revisión
2. Selección de estudios primarios
Ejecución de la Revisión
3. Evaluación de la calidad de los estudios
primarios
Ejecución de la Revisión
4. Extracción de datos
Type

Publisher

Normalised Publication

Citation Key

1

IEEE

Asia-Pacif...
Ejecución de la Revisión
4. Extracción de datos
Citation Key
Wookjin

Year
2005

Cossentino2005

2005

Theunissen2005

200...
Ejecución de la Revisión
5. Análisis y Síntesis de datos
Ejecución de la Revisión
5. Análisis y Síntesis de datos
Ejecución de la Revisión
5. Análisis y Síntesis de datos
Ejecución de la Revisión
5. Análisis y Síntesis de datos
Hallazgos encontrados
•Gran aceptación de SPEM en el diseño de me...
• Etapas de la SLR/SMS
Difusión de los Resultados
1. Definir mecanismos de difusión
Publicación de los resultados
•Proyecto de investigación
•Inf...
Difusión de los Resultados
2. Formatear el informe
Difusión de los Resultados
3. Evaluar el informe
Bibliografía
•

Kitchenham, B., et al. (2007). Guidelines for performing Systematic Literature
Reviews in Software Enginee...
Iván Ruiz Rube
ivan.ruiz@uca.es

Desarrollo de software orientado a servicios y procesos de aprendizaje
Itinerario de Doct...
Upcoming SlideShare
Loading in …5
×

Revisiones de la literatura en Ingeniería del Software

1,758 views

Published on

Presentación sobre cómo llevar a cabo estudios de la literatura en Ingeniería del Software, a través de un ejemplo real.

Published in: Technology

Revisiones de la literatura en Ingeniería del Software

  1. 1. Revisiones de la literatura en Ingeniería del Software: Un ejemplo práctico. Iván Ruiz Rube ivan.ruiz@uca.es Desarrollo de software orientado a servicios y procesos de aprendizaje Itinerario de Doctorado en Modelado, Simulación y Pruebas de Procesos y Tratamiento de Señales y Datos
  2. 2. Contenidos • • • • • Introducción Planificación Ejecución Difusión Bibliografía
  3. 3. Introducción • Toda investigación debe comenzar estudiando el estado del arte de algún tema específico. • Es algo común tanto para estudiantes predoctorales como para los ya doctores. • Una revisión de la literatura es un medio para evaluar e interpretar la investigación disponible relativa a una determinada área de interés.
  4. 4. Introducción
  5. 5. Introducción • Existen dos formas de estudiar la literatura: • Poco rigurosa • “Busca aquí en el Google..” • “Mírate las actas de este congreso..” • “Yo se que no se ha hecho nada anteriormente…” • Formal • Usando alguna metodología confiable, rigurosa y extendida en la comunidad investigadora.
  6. 6. Introducción • Barbara Kitchenham propuso un conjunto de directrices para llevar a cabo estudios de la literatura en Ingeniería del Software. • Estas directrices están basadas en otras metodologías similares en disciplinas como las ciencias sociales o la medicina. • Están siendo ampliamente utilizadas por parte de la comunidad investigadora.
  7. 7. Introducción • Systematic Literature Review (SLR) Estudio secundario que utiliza una metodología rigurosa para identificar, analizar e interpretar de forma no sesgada y repetible, todas las evidencias relativas a una pregunta de investigación.
  8. 8. Introducción • Systematic Mapping Study (SMS) Estudio secundario (también utiliza una metodología rigurosa) que analiza un amplio conjunto de estudios primarios para identificar qué y cuantas evidencias hay disponibles sobre un determinado tópico. También llamado estudio de alcance (scoping study).
  9. 9. Introducción Systematic Literature Review • El tópico que se quiere estudiar es reducido • Estudiar la calidad de las evidencias • Requiere un análisis detallado de los estudios • Búsqueda en profundidad • El objetivo es resumir el estado del arte Systematic Mapping Study • El tópico que se quiere estudiar es muy amplio • Estudiar la cantidad de evidencias • Requiere un análisis superficial de los estudios • Búsqueda en anchura • El objetivo es identificar clusters de evidencias y áreas donde fomentar la investigación
  10. 10. Introducción • Etapas de la SLR/SMS
  11. 11. • Etapas de la SLR/SMS
  12. 12. Planificación de la Revisión 1. Identificar la necesidad de la revisión Justificación: En el año 2002, la OMG propuso un lenguaje para el modelado de procesos software, en línea con el enfoque de desarrollo MDA. Se trata de SPEM (Software & Systems Process Engineering Meta-Model). Este lenguaje dispone de los elementos básicos para la definición de metodologías y procesos software: roles, actividades, tareas, herramientas, productos de trabajo, iteraciones, hitos, etc. La misión del lenguaje fue por un lado, dotar de un mecanismo para la representación estandarizada de contenidos de métodos en IS y por otro, dar soporte a la sistematización/ejecución de los procesos de desarrollo software.
  13. 13. Planificación de la Revisión 1. Identificar la necesidad de la revisión Justificación (cont.)
  14. 14. Planificación de la Revisión 1. Identificar la necesidad de la revisión Justificación (cont.) Sin embargo, parece que SPEM no ha conseguido la popularidad de otros lenguajes de la OMG, como UML. Por este motivo, se plantea desarrollar un estudio de alcance (systematic mapping study) para comprobar el nivel de aceptación del lenguaje SPEM, así como de los usos y los beneficios reales (en contraposición con los prometidos) al usar esta notación. Además, no se han encontrado estudios secundarios relativos a este asunto, por lo que se justifica el desarrollo de este trabajo. De este modo, se pretende descubrir debilidades en el lenguaje y las áreas de trabajo donde aplicar futuros esfuerzos de investigación.
  15. 15. Planificación de la Revisión 2. Comisionar una revisión Comisionar revisión Consiste en la subcontratación o externalización del desarrollo de una revisión de la literatura a otra organización diferente de la que la necesita. Esta actividad no aplica para estudiantes de doctorado o en aquellos casos en que el grupo de investigación acomete la revisión por necesidades o inquietudes propias.
  16. 16. Planificación de la Revisión 3. Definir las preguntas de investigación Preguntas de Investigación A continuación, se describen las preguntas de investigación que dirigirán la ejecución del estudio. •Q1: ¿Cuáles son las metodologías y procesos que se han modelado con SPEM? •Q2: ¿Qué mecanismos se han desarrollado o utilizado para verificar y validar modelos SPEM? •Q3: ¿Qué posibilidades con respecto al despliegue y la ejecución de los procesos se han obtenido utilizando modelos SPEM? •Q4: ¿Qué ventajas se obtienen al evaluar y monitorizar procesos SPEM desplegados en entornos de ejecución adecuados?
  17. 17. Planificación de la Revisión 4. Desarrollar el protocolo de revisión Términos de búsqueda SPEM y “software process” (para desambiguación). Los términos de búsqueda deben adaptarse a los requerimientos de los motores de búsqueda. Motores de búsqueda seleccionados Wiley Online Library, World Scientific Net, IEEE Digital Library, Elsevier, Springer y ACM Digital Library. Herramientas de soporte a la revisión Registro de búsquedas, resultados y analíticas: Excel Sistema de gestión de referencias: Mendeley
  18. 18. Planificación de la Revisión 4. Desarrollar el protocolo de revisión Criterios de inclusión/exclusión •Fuera de alcance: Trabajos publicados antes de la publicación de la primera versión formal de la especificación (Noviembre 2002) •Lenguaje no apropiado: Trabajos publicados en idiomas distintos del inglés o castellano. •Fuera de ámbito: En algunas ocasiones se localizan trabajos no directamente relacionados con nuestros tópicos de interés. •Duplicado: Trabajos cuya contribución principal está recogida en otros trabajos ya incluidos. Procedimiento de selección El tercer criterio requería distinguir si los trabajos emplean SPEM, como mera anotación para clarificar la propia investigación o lo citan como trabajo futuro. Para el cuarto, se revisan las publicaciones encontradas de un mismo autor y se selecciona una, en base a la relevancia de la publicación y otros factores.
  19. 19. Planificación de la Revisión 4. Desarrollar el protocolo de revisión Procedimiento para la evaluación de la calidad Esta actividad no aplica en nuestro caso, dado que al realizar un estudio de alcance no es nuestro objetivo medir la calidad de las contribuciones existentes, sino la cantidad. Se suele llevar a cabo utilizando una lista de control diseñada a tal efecto.
  20. 20. Planificación de la Revisión 4. Desarrollar el protocolo de revisión Esquema para la extracción de datos •Metadatos básicos: título, autor y fecha publicación •Tipo de investigación: opinión, experiencia personal, propuestas de solución, validación de propuesta y evaluación. •Tipo de contribución: técnica, transformación, metamodelo, proceso, herramienta y framework. •Utilidad de la contribución: modelado, verificación/validación, configuración/despliegue y evaluación. adaptabilidad, •Versión del lenguaje: SPEM (1.1 o 2.0), extensión al lenguaje (1.1 o 2.0) y otros lenguajes ideados a partir de SPEM.
  21. 21. Planificación de la Revisión 4. Desarrollar el protocolo de revisión Procedimiento de extracción Extraer de manera automática los metadatos que acompañan a los trabajos en formato BIBTEX. Estos metadatos necesitan un proceso posterior de refinamiento para normalizar nombres de autores, completar campos vacíos como el publicador o la fecha de publicación, etc. Revisar (no en profundidad) los trabajos encontrados: titulo, resumen, palabras clave y en menor medida, las conclusiones u ojeando el texto completo. Simultáneamente, se van clasificando los estudios primarios. Hay que tener en cuenta que el esquema de clasificación no es estático, sino que se va ampliando y mejorando conforme se van revisando trabajos.
  22. 22. Planificación de la Revisión 4. Desarrollar el protocolo de revisión Procedimiento de análisis y síntesis de los datos En estudios de alcance, lo habitual es resumir y totalizar el número de estudios encontrados. En revisiones sistemáticas se suelen emplear técnicas de análisis estadístico y síntesis narrativa. En ambos casos, se utilizan representaciones gráficas para una mejor comprensión e interpretación de los resultados. En nuestro caso, emplearemos algunas tablas y diagramas (gráficos de sectores, de líneas y de burbujas) para representar la información más significativa.
  23. 23. Planificación de la Revisión 5. Evaluar el protocolo de revisión Evaluación del Protocolo Es importante validar el protocolo por parte de algún experto, de cara a confirmar que las cadenas de búsqueda, los datos a extraer y los procedimientos de análisis y síntesis sean los mas apropiadas para intentar dar respuesta a las preguntas de investigación. En nuestro caso, el protocolo fue revisado por los Doctores participantes de esta investigación.
  24. 24. • Etapas de la SLR/SMS
  25. 25. Ejecución de la Revisión 1. Localizar literatura ID SOURCE SEARCH TERMS SEARCH SCOPE 1 Wiley Online Library ''software process'' AND spem All Fields (Including full text) 9 Iván Ruiz-Rube 10/02/2011 2 World Scientific Net spem Keywords 2 Iván Ruiz-Rube 10/02/2011 3 IEEE Digital Library (Xplore) ''software process'' AND spem Full Text and Metadata 109 Iván Ruiz-Rube 10/02/2011 4 Elsevier (ScienceDirect) ''software process'' AND spem Full Text 34 Iván Ruiz-Rube 10/02/2011 5 Springer ''software process'' AND spem Full Text 138 Iván Ruiz-Rube 10/02/2011 6 ACM Digital Library ''software process'' AND spem Full Text, Title, Abstract and Review [Refine Search excluding results from Springer-Verlang and IEEE Press and Computer Society] 33 Iván Ruiz-Rube 10/02/2011 7 Wiley Online Library ''software process'' AND spem All Fields (Including full text) 1 Iván Ruiz-Rube 09/02/2012 8 World Scientific Net spem Keywords 0 Iván Ruiz-Rube 09/02/2012 9 IEEE Digital Library (Xplore) ''software process'' AND spem Full Text and Metadata 23 Iván Ruiz-Rube 09/02/2012 10 Elsevier (ScienceDirect) ''software process'' AND spem Full Text 5 Iván Ruiz-Rube 09/02/2012 11 Springer ''software process'' AND spem Full Text 7 Iván Ruiz-Rube 09/02/2012 ''software process'' AND spem Full Text, Title, Abstract and Review [Refine Search excluding results from Springer-Verlang and IEEE Press and Computer Society] 12 Iván Ruiz-Rube 09/02/2012 12 ACM Digital Library TOTAL RESULTS CONDUCTED BY 373 DATE
  26. 26. Ejecución de la Revisión 1. Localizar literatura
  27. 27. Ejecución de la Revisión 2. Selección de estudios primarios
  28. 28. Ejecución de la Revisión 3. Evaluación de la calidad de los estudios primarios
  29. 29. Ejecución de la Revisión 4. Extracción de datos Type Publisher Normalised Publication Citation Key 1 IEEE Asia-Pacific Software Engineering Conference Wookjin 1 Springer Berlin / Heidelberg International Workshop on Software Engineering for Large-Scale Multi-agent Systems 1 Cossentino2005 Title Agile Development of Web Application by Supporting Process Execution and Extended UML Model Year 2005 Composition of a New Process to Meet Agile Needs Using Method Engineering 2005 ACM Research conference of the South African institute of computer scientists and information Theunissen2005 technologists on IT research in developing countries In search of the sweet spot: agile open collaborative corporate software development 2005 1 Springer Berlin / Heidelberg International Conference on Web Engineering Sampaio2004 XWebProcess: Agile Software Development for Web Applications 2004 1 ACM Press International Workshop on Traceability in emerging forms of software engineering Kelleher2005 A reusable traceability framework using patterns 2005 1 Springer Berlin / Heidelberg International Conference on Software Reuse Lopes2006 Odyssey-CCS: A Change Control System Tailored to Software Reuse 2006 1 Springer Berlin / Heidelberg International Conference on Product-Focused Ceron2005 Software Process Improvement A Meta-model for Requirements Engineering in System Family Context for Software Process Improvement Using CMMI 2005 1 ACM Press Brazilian Symposium on Multimedia and the web Neto2006 Using a software process for ontology-based context-aware computing 2006 1 IEEE IEEE International Conference on eTechnology, e-Commerce and e-Service FalconeSampaio Business Process Design and Implementation for Customer Segmentation e-Services 2005
  30. 30. Ejecución de la Revisión 4. Extracción de datos Citation Key Wookjin Year 2005 Cossentino2005 2005 Theunissen2005 2005 Sampaio2004 Kelleher2005 2004 2005 Research Type Proposal of solution Contribution Type Framework Metamodel Type Description SPEM 1.1 Agile Web Development Process Process V&V Process Modeling ASD Proposal of solution Process SPEM 1.1 Agile PASSI: Agile Agent-Oriented Process ASD-MAS Philosophical papers Proposal of solution Proposal of solution Process Process Framework SPEM 1.1 SPEM 1.1 SPEM 1.1 A hybrid process that embodies the best of ASD and OSSD XP Process for Web Software Product Traceability Process ASD-OSSD ASD-WEB CHANGE CHANGE Proposal of solution Tool SPEM 1.1 Proposal of solution Framework SPEM 1.1 Requirements Engineering Process in System Family Context using CMMI CMM-SPL Validation Research Lopes2006 Modeling Change Control Processes in software reusedriven paradigms. Software to process importation, assignment of users to roles, assignment of templates to products, and Notification configuration. Responsible for selecting the appropriate templates of each finished process activity, presenting the respective forms to be filled in by the users, and storing the documents produced by the forms. A Prolog-based component able to detect pending activities and infer the next activities when an activity is finished Process SPEM 1.1 Software process towards supporting the development of ontology-based context-aware applications CONTEXT Proposal of solution Process SPEM 1.1 Business Process Design for sourcing CRM services via ASP CRM-ASP 2006 Ceron2005 2005 Neto2006 2006 FalconeSampaio 2005
  31. 31. Ejecución de la Revisión 5. Análisis y Síntesis de datos
  32. 32. Ejecución de la Revisión 5. Análisis y Síntesis de datos
  33. 33. Ejecución de la Revisión 5. Análisis y Síntesis de datos
  34. 34. Ejecución de la Revisión 5. Análisis y Síntesis de datos Hallazgos encontrados •Gran aceptación de SPEM en el diseño de metodologías para sistemas multiagente o líneas de productos software. •Flexibilidad de procesos es una labor complicada (variability, tailoring). •No es interpretado por un software y no tiene un mapeo directo con lenguajes ejecutables. •Pocos trabajos relativos a la evaluación sistematizada de procesos software. •Poco calado en la industria.
  35. 35. • Etapas de la SLR/SMS
  36. 36. Difusión de los Resultados 1. Definir mecanismos de difusión Publicación de los resultados •Proyecto de investigación •Informe técnico •Páginas web •Artículo en Congreso/Revista •Etc.
  37. 37. Difusión de los Resultados 2. Formatear el informe
  38. 38. Difusión de los Resultados 3. Evaluar el informe
  39. 39. Bibliografía • Kitchenham, B., et al. (2007). Guidelines for performing Systematic Literature Reviews in Software Engineering. EBSE Technical Report EBSE-2007-01. • Petersen, K., et al. (2008). Systematic mapping studies in software engineering. In 12th International Conference on Evaluation and Assessment in Software Engineering (Vol. 17, p. 1). • Wieringa, R., et al. (2006). Requirements engineering paper classification and evaluation criteria: a proposal and a discussion. Requirements Engineering, 11(1), 102-107. • Ruiz‐Rube, I., et al. (2013). Uses and applications of Software & Systems Process Engineering Meta ‐ Model process models. A systematic mapping study. Journal of Software: Evolution and Process. Early published online.
  40. 40. Iván Ruiz Rube ivan.ruiz@uca.es Desarrollo de software orientado a servicios y procesos de aprendizaje Itinerario de Doctorado en Modelado, Simulación y Pruebas de Procesos y Tratamiento de Señales y Datos

×