Métodos de evaluación de arquitectura a un atributo específico

PONTIFICIA UNIVERSIDAD CATÓLICA DEL ECUADOR
SEDE IBARRA
ESCUELA DE INGENIERÍA
Métodos de evaluación de arquitectura de un atributo específico
Evaluación de Software
Autores: Gonzaga Martínez Evelyn Estefanía
Lema Males Leonel Efraín
Ibarra - Mayo 2014

Métodos de Evaluación de Arquitectura de un Atributo Específico
2
Resumen
En el presente documento se realiza un estudio del estado del arte de la evaluación de arquitecturas de
software de un atributo específico. Para ir introduciéndose en el tema se define que es la evaluación de
arquitecturas, sus características, objetivos que persigue. Se hace además un análisis de cuándo y por
qué una determinada arquitectura debe ser evaluada y los beneficios que reporta.
También se realiza un análisis acerca de los métodos de evaluación de arquitectura de software de un
atributo específico, los cuales son: ArchitectureLevelModifiabilityAnalysis (ALMA), Performance
Assessment of Software Architecture (PASA), ScenariobasedArchitectureLevelUsabiliTyAnalysis
(SALUTA) y Survivable Network Analysis (SNA).
Abstract
In thispaper a study of thestate of the art of assessing software architectures of a
specificattributeisperformed. To be introduced in thefieldisdefinedto be theevaluation of architectures,
characteristics, aims. Italsomakesananalysis of when and why a particular architectureshould be
evaluated and thebenefits.
Ananalysis of themethodsforevaluating software architecture of a specificattributeisalsoperformed,
which are: ArchitectureLevelModifiabilityAnalysis (ALMA), Performance Assessment of Software
Architecture (PASA), ScenariobasedArchitectureLevelUsabilityAnalysis (SALUTA) and Survivable
Network Analysis (SNA).

3
Índice de Contenidos
¿QUÉ ES UNA EVALUACIÓN?............................................................................................................. 4
OBJETIVOS DE EVALUAR ARQUITECTURAS.................................................................................... 4
CARACTERÍSTICAS DE UNA EVALUACIÓN DE ARQUITECTURA.................................................. 4
¿POR QUÉ EVALUAR UNA ARQUITECTURA? .................................................................................. 4
¿CUÁNDO UNA ARQUITECTURA PUEDE SER EVALUADA? .......................................................... 5
¿QUIÉNES PARTICIPAN EN UNA EVALUACIÓN? ............................................................................ 5
TÉCNICAS DE EVALUACIÓN............................................................................................................... 6
BENEFICIOS DE REALIZAR UNA EVALUACIÓN ARQUITECTÓNICA ............................................ 6
SALIDAS DE UNA EVALUACIÓN ARQUITECTÓNICA ...................................................................... 7
PASOS BÁSICOS PARA UNA EVALUACIÓN ....................................................................................... 7
ARCHITECTURE LEVEL MODIFIABILITY ANALYSIS (ALMA) ......................................................... 7
PERFORMANCE ASSESSMENT OF SOFTWARE ARCHITECTURE (PASA) ..................................... 9
SCENARIO BASED ARCHITECTURE LEVEL USABILITY ANALYSIS (SALUTA)............................ 12
SURVIVABLE NETWORK ANALYSIS (SNA) ....................................................................................... 14
REFERENCIAS ..................................................................................................................................... 17
Índice de Figuras
FIGURA 1: CLASIFICACIÓN DE LAS TÉCNICAS............................................................................... 6
FIGURA 2: MÉTODO ALMA................................................................................................................. 9
FIGURA 3: MÉTODO PASA ................................................................................................................ 12
FIGURA 4: MÉTODO SALUTA ........................................................................................................... 14
FIGURA 5: MÉTODO SNA .................................................................................................................. 16
Índice de Tablas
TABLA 1: CUADRO COMPARATIVO ENTRE MÉTODOS DE EVALUACIÓN ALMA, PASA,
SALUTA Y SNA ..................................................................................................................................... 17

4
Marco Teórico
¿Qué es una Evaluación?
Es un estudio de factibilidad que pretende detectar posibles riesgos, así como buscar
recomendaciones para contenerlos.
La diferencia entre evaluar y verificar es que la evaluación se realiza antes de la
implementación de la solución. La verificación es con el producto ya construido.(Yoan Arlet
Carrascoso Puebla, 2009)
Objetivos de Evaluar Arquitecturas
El objetivo de evaluar una arquitectura es saber si puede habilitar los requerimientos, atributos
de calidad y restricciones para asegurar que el sistema a ser construido cumple con las
necesidades de los stakeholders1
.
Características de una Evaluación de Arquitectura
Es uno de los principales puntos de evaluación dentro del proyecto, ya que errores en ella,
pueden traer que el proyecto fracase.
Puede ser realizada por gente Interna o Externa al proyecto, aunque lo más interesante es que
sea realizada por gente Externa (Mentores o Arquitectos del Área).
¿Por qué evaluar una Arquitectura?
“El propósito de realizar evaluaciones a la arquitectura, es para analizar e identificar riesgos
potenciales en su estructura y sus propiedades, que puedan afectar al sistema de software
resultante, verificar que los requerimientos no funcionales estén presentes en la arquitectura,
así como determinar en qué grado se satisfacen los atributos de calidad. Cabe señalar que los
requerimientos no funcionales también son llamados atributos de calidad”. Un atributo de
calidad es una característica de calidad que afecta a un elemento. Donde el término
“característica” se refiere a aspectos no funcionales y el término “elemento” a componente.
1
El término agrupa a trabajadores, organizaciones sociales, accionistas y proveedores, entre muchos otros actores clave que
se ven afectados por las decisiones de una empresa.
http://www.guioteca.com/rse/que-son-los-stakeholders/

5
Cuanto más temprano se encuentre un problema en un proyecto de software, mejor.
Realizar una evaluación de la arquitectura es la manera más económica de evitar
desastres.
Analizar y evaluar la calidad exigida por los usuarios.
Decisiones de diseño
o Restricciones de Implementación.
o Fija la estructura organizacional, tanto del desarrollo, construcción y ejecución
del sistema.
o Logra los atributos de calidad.
o Permite el prototipado.
o Permite estimaciones más certeras.
Abstracción transferible entre sistemas
¿Cuándo una Arquitectura puede ser evaluada?
Es posible realizarla en cualquier momento según Kazman, pero propone dos variantes que
agrupan dos etapas distintas: temprano y tarde.
Temprana. No es necesario que la arquitectura esté completamente especificada para efectuar
la evaluación, y esto abarca desde las fases tempranas de diseño y a lo largo del desarrollo.
Tarde. Cuando ésta se encuentra establecida y la implementación se ha completado. Este es el
caso general que se presenta al momento de la adquisición de un sistema ya desarrollado.
¿Quiénes participan en una Evaluación?
Generalmente las evaluaciones a la arquitectura se hacen por miembros del equipo de
desarrollo, arquitecto, diseñador, entre otros. Sin embargo puede haber también situaciones en
las que intervengan personas especialistas en el tema. Otro que también se interesa por los
resultados de una evaluación es el cliente, ya que en dependencia de los resultados puede
tomar decisiones de continuar o no con el proyecto

6
Técnicas de Evaluación
Existen un grupo de técnicas para evaluar que se clasifican en cualitativas y cuantitativas:
Técnicas de cuestionamiento o cualitativas. Utilizan preguntas cualitativas para
preguntarle a la arquitectura
o Cuestionarios. Abiertas. Temprana
o Checklists. Especifico del Dominio de la aplicación.
o Escenarios. Especificas del Sistema. Arquitectura avanzada.
Measuringtechniques. Sugiere hacerle medidas cuantitativas a la arquitectura.
o Utiliza métricas arquitectónicas, como acoplamiento, cohesividad en los
módulos, profundidad en herencias, modificabilidad.
o Simulaciones, Prototipos, y Experimentos.
Figura 1: Clasificación de las Técnicas
Por lo regular, las técnicas de evaluación cualitativas son utilizadas cuando la arquitectura
está en construcción, mientras que las técnicas de evaluación cuantitativas, se usan cuando la
arquitectura ya ha sido implantada.
Beneficios de realizar una evaluación arquitectónica
Financieros.
Reúne a los stakeholders.

7
Fuerza una articulación en las metas específicas de calidad.
Fuerza una mejora a la documentación de la arquitectura.
Mejora la arquitectura.
Detección temprana de problemas.
Valido requerimiento y los priorizo.
Recolecta los fundamentos y las decisiones arquitectónicas tomadas.
Salidas de una evaluación arquitectónica
Lista priorizada de los atributos de calidad requeridos para la arquitectura que está
siendo evaluada.
Riesgos y no riesgos.
Pasos Básicos para una Evaluación
Preparación.
o Contexto.
o Evaluador.
o Alcance.
o Representación de la Arquitectura.
Realización.
o Presentar el problema de negocio a resolver y la arquitectura planteada.
o Evalúa, el costo, la funcionalidad, los atributos de calidad.
o Revisan requerimientos y posibles cambios.
o Discuten problemas y observaciones.
Generar y distribuir los resultados
o Issues y Recomendaciones.
o Análisis de riesgo.
ArchitectureLevelModifiabilityAnalysis (ALMA)
El atributo de calidad que analiza ALMA, es la facilidad de modificación. Esto se refiere a la
capacidad de un sistema para ser ajustado debido a cambios en requerimientos, o en el

8
entorno, así como la adición de nueva funcionalidad. ALMA es el resultado de los trabajos de
investigación realizados por Bengtsson y Lassing. (Bengtsson, 2004)
ALMA es un método de evaluación orientado a metas. Existen tres para las que se puede usar:
Predicción del costo de mantenimiento. Consiste en estimar el esfuerzo requerido para
modificar la arquitectura a cambios requeridos en un futuro.
Evaluación de riesgos. Identifica los tipos de cambios que pueden ser complejos o que
sean inflexibles en la arquitectura de software.
Selección de un conjunto de arquitecturas. Compara dos o más arquitecturas
propuestas y selecciona aquella que proporcione mayor soporte a cambios.
ALMA puede utilizarse una vez que concluye la especificación de la arquitectura (evaluación
clásica), o aun cuando la arquitectura ya ha sido implementada (evaluación tardía). Este
método se apoya en el uso de escenarios de cambio, los cuales describen eventos posibles que
provocarían cambios al sistema, y cómo se llevarían a cabo éstos.
Este método se realiza a través de los siguientes pasos:
1. Definir la meta de evaluación. Dependiendo del objetivo de la evaluación, se
selecciona alguna de las tres metas.
2. Describir la arquitectura de software. Se colecta la información más relevante de la
arquitectura: sus principales componentes, las relaciones entre éstos, así como las
relaciones con el entorno del sistema.
3. Obtener escenarios. Se definen los escenarios de cambio y se agrupan en categorías.
Se eligen aquellos escenarios relacionados con el propósito de evaluación. Por
ejemplo: si la meta es estimar el esfuerzo de mantenimiento, se recomienda
seleccionar aquellos escenarios que corresponden a los cambios que tienen una alta
probabilidad de que ocurran durante la vida operacional del sistema.

9
4. Evaluar escenarios. Se realiza un análisis de impacto, que consiste en identificar los
componentes afectados por los escenarios previamente definidos, determinar el efecto
del cambio sobre los componentes, así como determinar los efectos del cambio en
otros componentes. Los resultados de este análisis se deben expresar ya sea de manera
cuantitativa o cualitativa.
5. Interpretar resultados. Finalmente se interpretan los resultados, así como las
conclusiones del análisis dependiendo de la meta de evaluación seleccionada.
Figura 2: Método ALMA
Performance Assessment of Software Architecture (PASA)
El atributo de calidad que analiza PASA, es el desempeño. Que se interesa por conocer, qué
tanto tiempo le toma al sistema de software responder cuando uno o varios eventos ocurren,
así como determinar el número de eventos procesados en un intervalo de tiempo dado. PASA
es el trabajo resultante de Williams y Smith (Williams, 2002), y utiliza diversas técnicas para la
evaluación, tales como la aplicación de estilos arquitectónicos, anti-patrones, guías de diseño
y modelos.

10
Al igual que ALMA, PASA se basa en escenarios. Asimismo, puede aplicarse una vez que la
arquitectura se ha especificado, o posteriormente, cuando ya ha sido implementada. Los
escenarios generados en este método proveen una medida de razonamiento con respecto al
desempeño del sistema. Si se requieren análisis más detallados, los escenarios sirven como
punto de partida para construir modelos de desempeño.
Para utilizar este método, la arquitectura de software debe estar previamente documentada. En
caso de que se encuentre parcialmente documentada, es necesario extraer la información
faltante de los miembros del equipo, así como de códigos fuente.
Los pasos para llevar acabo este método son:
1. Presentar el método de evaluación. Se comunica al equipo y directivos el objetivo de
la evaluación, y se explica el método PASA.
2. Presentar la arquitectura. El equipo de desarrollo presenta la arquitectura actual de una
manera general y sin entrar en detalles.
3. Identificar casos de uso críticos. Se seleccionan los casos de uso que son importantes
para la operación del sistema, así como aquellos que demandan una respuesta de
tiempo rápida para el usuario, u otros que presentan algún riesgo de desempeño.
Recordemos que un caso de uso puede contener varios escenarios, que describen las
diferentes formas en que se puede realizar el caso de uso. Los escenarios se
especifican en UML como diagramas de secuencia.
4. Seleccionar los escenarios de desempeño principales. Por cada caso de uso crítico, se
debe identificar los escenarios significativos con respecto al desempeño.
5. Identificar objetivos de desempeño. Por cada escenario de desempeño principal, se
debe especificar al menos un objetivo de desempeño. Mismos que pueden ser
expresados de distintas maneras. Por ejemplo: expresarlos en tiempo de respuesta,
capacidad de respuesta, restricciones o utilización de recursos. Para poder medirlo, el
objetivo de desempeño debe ser cuantitativo.

11
6. Clarificar la arquitectura y discutirla. En este paso se estudia más a detalle la
arquitectura, por lo que se tienen reuniones con el arquitecto y equipo de desarrollo
para aclarar dudas. Si existe información acerca del desempeño del sistema, se
colectan métricas.
7. Analizar la arquitectura. En este paso se utilizan diferentes técnicas para analizar el
desempeño de la arquitectura. Por ejemplo:se identifican estilos arquitectónicos, con la
finalidad de detectar efectos negativos en el desempeño, se identifican anti-patrones de
desempeño que documentan problemas comunes. Se elaboran modelos de desempeño
con el objetivo de identificar problemas en la arquitectura.
8. Identificar alternativas. Si se encontraron problemas de desempeño, se identifican
alternativas de solución. Estas pueden incluir el cambio de estilo arquitectónico,
modificar la arquitectura para eliminar anti-patrones de desempeño, o alternativas para
optimizar la interacción entre componentes.
9. Presentar resultados. Finalmente se elabora un documento con los resultados de la
evaluación que incluye los objetivos de la evaluación, hallazgos encontrados, pasos
específicos a seguir y recomendaciones.

12
Figura 3: Método PASA
Las personas involucradas durante la evaluación son: el arquitecto, el equipo de desarrollo y
en algunos momentos, el gerente(s) de proyecto. Si se realiza de forma intensiva, la
evaluación completa se puede llevar acabo en una semana. PASA se considera un método de
evaluación maduro, ya que ha sido probado en varios dominios de aplicación como sistemas
web, aplicaciones financieras y sistemas en tiempo real.
ScenariobasedArchitectureLevelUsabiliTyAnalysis (SALUTA)
SALUTA es el primer método desarrollado para evaluar la arquitectura desde la perspectiva
de la facilidad de uso del sistema. SALUTA es el resultado de los trabajos de investigación
hechos por Folmer y Gurp. (Folmer)
Este método hace uso de un marco de referencia elaborado por los mismos autores en el que
se expresan las relaciones que existen entre la facilidad de uso y la arquitectura de
software.(Eelke Folmer, 2003) Este marco de referencia incluye un conjunto integrado de
soluciones de diseño tales como patrones de diseño y propiedades que tienen un efecto
positivo sobre la facilidad de uso en un sistema de software. SALUTA analiza cuatro
atributos que están directamente relacionados con la facilidad de uso en un sistema de

13
software, estos son: facilidad de aprendizaje, eficiencia de uso, confiabilidad y satisfacción.
Se recomienda efectuar la evaluación una vez que la especificación de la arquitectura ha
finalizado, pero antes de que se implemente.
Este método se basa en escenarios de uso, los cuales se agrupan en uno o más perfiles de uso.
Cada uno representa la facilidad de uso requerida por el sistema de software.
SALUTA está compuesto por los siguientes pasos, que se ilustran en la figura 3.
1. Crear perfiles de uso. Se identifican los usuarios y se organizan en categorías. Luego
se identifican las tareas más significativas del sistema y el contexto donde será usado
el sistema, se determinan los valores para los atributos: facilidad de aprendizaje,
eficiencia de uso, confiabilidad y satisfacción. Para reflejar la diferencia en la
prioridad de los atributos, se asigna a cada uno un valor numérico no repetido entre 1
y 4. Por último, se seleccionan los escenarios más representativos que tienen mayor
prioridad con respecto a sus atributos.
2. Describir la facilidad de uso proporcionada. Se colecta la información de la
arquitectura de software para determinar el nivel de soporte en los escenarios de uso.
Esto se realiza efectuando un análisis basado en patrones, o basado en propiedades. En
ambos análisis se utiliza el marco de referencia para determinar la presencia de
patrones o propiedades de facilidad de uso en la arquitectura a evaluar.
3. Evaluar escenarios. Se evalúa cada uno de los escenarios que forman parte del perfil
de uso. Por cada escenario se analizan los patrones y propiedades previamente
identificados. Se recomienda usar el marco de referencia para analizar cómo un
patrón, o propiedad particular afecta a un atributo específico en un escenario de uso.
Finalmente, se expresan de manera cuantitativa los resultados del análisis, que indican
el grado de soporte de facilidad de uso en cada uno de los escenarios.
4. Interpretar resultados. En este paso se obtienen los resultados de la evaluación, que
contienen el grado de facilidad de uso que soporta la arquitectura evaluada.

14
Figura 4: Método SALUTA
Las personas involucradas durante la evaluación son el arquitecto de software, ingenieros de
requerimientos o ingenieros responsables por la facilidad de uso.
Survivable Network Analysis (SNA)
SNA es un método desarrollado por el CERT (ComputerEmergency Response Team) que
forma parte del SEI. Este método ayuda a identificar la capacidad de supervivencia en un
sistema, analizando su arquitectura. La supervivencia, es la capacidad que tiene un sistema
para completar su misión a tiempo, ante la presencia de ataques, fallas o accidentes. Un
ejemplo de la definición anterior es la siguiente: un cajero automático debe garantizar al
usuario los servicios esenciales aun cuando éste se encuentre en presencia de algún ataque
externo o falla interna.(Mead, 2000)
SNA utiliza tres propiedades clave para evaluar la supervivencia en un sistema:
Resistencia. Es la capacidad del sistema para repeler ataques, fallas o accidentes.
Reconocimiento. Es la capacidad de detectar ataques, fallas o accidentes, y si estos
ocurren, evaluar los daños.

15
Recuperación. Es la capacidad de mantener en operación los servicios esenciales en
presencia de ataques, fallas o accidentes.
Este método puede ser aplicado después de la especificación de una arquitectura, durante la
implementación de ésta, o posteriormente.
SNA se basa en escenarios de uso, e identifica dos tipos de escenarios. El primer tipo son los
escenarios normales, que se componen de una serie de pasos donde los usuarios invocan a
servicios y obtienen acceso a activos, tales como bases de datos. El segundo tipo de
escenarios son los de intrusión, en los que se representan diferentes tipos de ataques al
sistema.
SNA está compuesto por los siguientes pasos:
1. Definición del sistema. En este paso se obtiene la misión del sistema, se discute el
entorno de uso en términos de capacidades y ubicaciones de los usuarios, se analizan
posibles riesgos que el sistema pueda presentar en condiciones adversas, finalmente se
analiza la arquitectura de software.
2. Definición de las capacidades esenciales. A continuación se seleccionan los servicios
esenciales y los activos que usan. Se deben seleccionar aquellos servicios y activos
que sean críticos para garantizar en condiciones adversas, la misión del sistema. Una
vez seleccionados, estos se trazan a través de la arquitectura, para identificar los
componentes que participan en proporcionar los servicios esenciales.
3. Definición de las capacidades que comprometen al sistema. En este paso se
selecciona un conjunto representativo de posibles ataques, basados en el entorno de
operación del sistema. Se definen los escenarios de intrusión y se trazan a través de la
arquitectura, para identificar componentes que comprometan la supervivencia del
sistema, logrando así el acceso y daño a éste.
4. Analizar la supervivencia. Finalmente se identifican los escenarios de intrusión que
contienen los componentes esenciales y que comprometen la supervivencia del
sistema. Por cada componente identificado se procede a analizarlo en términos de las
capacidades de resistencia, reconocimiento y recuperación. Estos análisis se colocan

16
en una tabla llamada: mapa de supervivencia, que contiene por cada escenario de
intrusión, las estrategias de supervivencia actuales y las recomendadas con respecto a
cada una de las capacidades.
Figura 5: Método SNA
El resultado que se obtiene al final de la evaluación, es un documento que incluye
modificaciones recomendadas a la arquitectura, acompañadas del mapa de supervivencia. Las
personas involucradas durante la evaluación son: el arquitecto de software, el diseñador
principal, los propietarios del sistema y usuarios del mismo.

17
Tabla 1: Cuadro comparativo entre métodos de evaluación ALMA, PASA, SALUTA y SNA
Conclusiones
En este documento el método de evaluación ALMA, que se interesa por predecir la facilidad
de modificación en una arquitectura. PASA, que analiza en la arquitectura el desempeño del
sistema. SALUTA, que analizando una serie de atributos de calidad predice la facilidad de
uso; y SNA, que analiza en la arquitectura, la supervivencia de un sistema ante la presencia de
ataques, fallas o accidentes. La Tabla 1 presenta a manera de resumen, un cuadro comparativo
entre estos cuatro métodos de evaluación.
Referencias
Bengtsson, P. N. (2004). The Journal of Systems and Software. En Architecture-Level
Modifiability Analysis (Alma). (págs. 129-147).
Eelke Folmer, J. v. (2003). Investigating the Relationship Between Usability and Software
Architecture, Software process improvement and practice. Wiley.

18
Folmer, E. J. (s.f.). Scenario-Based Assessment of Software Architecture Usability. Portland .
Mead, N. R. (2000). Survivable Network Analysis Method. CMU/SEI.
Williams, L. G. (2002). PASASM: A Method for the Performance Assessment of Software
Architecture. Roma.
Yoan Arlet Carrascoso Puebla, E. C. (07 de 05 de 2009). GestioPolis. Recuperado el 20 de 05
de 2014, de http://www.gestiopolis.com/administracion-estrategia/procedimiento-
para-la-evolucion-de-las-arquitecturas-de-software.htm

Métodos de evaluación de arquitectura a un atributo específico

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Métodos de evaluación de arquitectura a un atributo específico

Similar to Métodos de evaluación de arquitectura a un atributo específico (20)

Métodos de evaluación de arquitectura a un atributo específico