La medición de la calidad del software es una tarea esencial en cualquier proyecto relacionado con el software. A lo largo de los años se han propuesto muchos modelos de calidad del software que definen un conjunto de elementos que deben medirse para evaluar la calidad del software. Impartido el 16 de marzo de 2021 de 19:00 a 20:00 horas CDMX. Otorga:1 PDU Técnico

1. Evaluating the software quality non-functional
requirement through a fuzzy logic-based model
based on the ISO/IEC 25000 (SQuaRE) standard
Dr. Francisco Valdés-Souto
Associate Professor
Department of Mathematics,
Science Faculty,
National Autonomous University of Mexico (UNAM)
fvaldes@Ciencias.unam.mx
francisco.valdes@spingere.com.mx
COSMIC President
Mexican Software Metrics Association (AMMS), Founder
16 de Marzo 2021
AMMS

2. AGENDA
FUR vs NFR
Quality Evaluation or Measurement?
Case Study
01
02
03

3. 3
FUR & NFR
Software project scope elements from user
requirements (UR) - Adapted from Buglione
In software analysis and
design, the Functional
Requirements (FR) have
been prioritized over the
Non-Functional
Requirements (NFR).
One of the most common
NFRs is the software
QUALITY, that can be defined
as “the degree to which a
software product satisfies
stated and implied needs
when used under specified
conditions” [10]

4. 4
Quality models and quality evaluation
The quality models aim to provide a common base of attributes from which
the software quality can be measured, but very often, the measurement
process for each attribute is achieved by quantifying and analyzing those
attributes in particular ways, not necessarily following measurement
principles, thus limiting the comparison between measures.
Nowadays, there is not a standardized measurement unit for software
quality, or for any of the NFRs. In consequence, NFRs measurement is not
possible, most of the time when authors talk about NFRs measurement, they
are talking about NFRs evaluation.
NFRs evaluation is not an easy task, given all the software characteristics that
can be evaluated. Furthermore, it has to be considered that most of the NFRs
are qualitative instead of quantitative, and the level of experience and
knowledge that each stakeholder have about certain software project is
different.

5. 5
NFR Evolution

6. 6
Maturity in software measurement
William Thomson,
Lecture on “Electrical
Units of
Measurement” (3 May
1883)

7. 7
Maturity in software measurement

8. 8
Maturity in software measurement

9. 9
ISO/IEC 25010 standard
According to the ISO/IEC
25000 standard, two quality
models are defined: the
quality in use model and
the product quality model.
These quality models can
be combined to ensure the
inclusion of all the quality
characteristics and sub-
characteristics.

10. 1
0
ISO/IEC 25000 Hypothesis
Product quality model Quality in use model

11. 1
1
ISO/IEC 25010 standard
The product quality model defines internal and external characteristics and
sub-characteristics of the system itself.
Fig 1. Characteristics and sub-characteristics for the software product quality model

12. 1
2
ISO/IEC 25010 standard
The quality in use model defines characteristics and sub-characteristics
related to system interaction with the end user.
Fig. 2. Characteristics and sub-characteristics for the quality in use model

13. EPCU Model -> EPCU Context
13
The fuzzy logic-based Estimation of Projects in Contexts of Uncertainty
(EPCU) model [16] has been designed to deal with software estimation in
which a considerable level of uncertainty must be considered.
This model allows the use of linguistic variables, provided by experts, as
input values descriptions, using a mathematical framework that formally
deal with the incompleteness and vagueness of the qualitative information.
The EPCU model consists of six steps, the first three steps are needed for
the model configuration, while the three remaining steps execute the model.

14. EPCU model -> EPCU Context
14
The model configuration is related to the EPCU context definition that is "a set of
variables (inputs and output) and the relations that affect a specific project or a set of
similar projects"

15. Case Study: First approach
15
Indicador
De Calidad
Product quality model Quality in use model

16. Case Study: First approach
16
Proyectos considerados para
evaluación calidad
interna/externa
Proyectos considerados para
evaluación calidad de uso

17. Case Study: First approach
17
Proyecto 1: evaluación calidad interna/externa

18. Case Study: First approach
18

19. Case Study: First approach
19
Proyecto 1: Evaluación calidad de uso

20. Case Study: First approach
20

21. 2
1
ISO/IEC 25010 standard

22. Proposed Fuzzy Logic-Based
Quality Evaluation Model
22

23. Proposed Fuzzy Logic-Based
Quality Evaluation Model
23

24. Case Study Execution and Results
24
Fig. 5. Strategy defined to evaluate and validate software quality
Project ID Practitioners
evaluating SPQI
Practitioners
evaluating IUQI
P1 5 5
P2 3 3
P3 3 3
P4 3 3
P5 5 5
P6 5 5
P7 3 3
P8 3 3
P9 5 5
TABLE II. NUMBER OF PRACTITIONERS PER PROJECT

25. SPQI and IUQI Evaluation P1
25
Software Product Quality Index (SPQI)
Characteristic PR P1
Functional Suitability 3.73 4.60
Reliability 3.20 4.34
Performance Efficiency 3.20 4.34
Operability 3.00 4.33
Security 3.69 4.62
Compatibility 3.67 3.78
Maintainability 3.64 4.36
Transferability 2.53 4.38
In use Quality index (IUQI)
Characteristic PR P1
Usability in use 4.07 3.38
Flexibility in use 3.74 3.88
Safety 3.77 4.06

26. SPQI and IUQI Evaluation
26
Software Product Quality Index (SPQI)
Characteristic PR P1 P2 P3 P4 P5 P6 P7 P8 P9
Functional Suitability 3.73 4.60 4.75 4.41 5.00 4.70 4.50 4.67 4.67 4.61
Reliability 3.20 4.34 4.43 4.45 4.53 4.70 4.66 4.50 4.60 4.65
Performance Efficiency 3.20 4.34 4.43 4.45 4.53 4.70 4.66 4.50 4.60 4.65
Operability 3.00 4.33 4.51 4.66 4.83 4.64 4.74 4.48 4.49 4.56
Security 3.69 4.62 4.91 4.74 4.97 4.70 4.72 4.79 4.81 4.58
Compatibility 3.67 3.78 4.62 4.42 5.00 4.71 4.77 4.57 4.57 4.54
Maintainability 3.64 4.36 4.75 4.90 4.98 4.72 4.76 4.57 4.57 4.48
Transferability 2.53 4.38 4.70 4.78 5.00 4.68 4.70 4.68 4.68 4.62
In use Quality index (IUQI)
Characteristic PR P1 P2 P3 P4 P5 P6 P7 P8 P9
Usability in use 4.07 3.38 4.96 4.81 4.91 4.52 4.65 4.44 4.57 4.51
Flexibility in use 3.74 3.88 4.57 4.62 4.73 4.59 4.61 4.46 4.51 4.53
Safety
3.77 4.06 5.00 4.90 4.60 4.47 4.67 4.46 4.48 4.51

27. Detailed Values
27
Clasificación Valor Asignado Clasificación Valor Asignado Clasificación Valor Asignado Clasificación Valor Asignado Clasificación Valor Asignado Clasificación Valor Promedio
3.38
Efectividad de uso Medio 3.4 Medio 3.4 Medio 3.2 Medio 3 Medio 3 Medio 3.2
Eficiencia de uso Medio 3.4 Medio 3.4 Medio 3.2 Medio 3 Medio 3 Medio 3.2
Satisfacción de uso Bajo 2.2 Bajo 2.4 Bajo 2.2 Bajo 2 Alto 4 Medio 2.6
Adherencia a normas Alto 4 Alto 4 Alto 4 Alto 4 Alto 4 Alto 4
3.88
Conformidad de
contexto de uso
Alto 4.1 Alto 4 Alto 3.8 Alto 3.6 Alto 4 Alto 3.9
Extensión de contexto
de uso
Bajo 2.5 Bajo 2.5 Bajo 2.4 Bajo 2.3 Alto 4 Medio 2.7
Accesibilidad de uso Alto 4 Alto 4 Alto 4 Alto 4 Alto 4 Alto 4
Adherencia a normas Alto 4 Alto 4 Alto 4 Alto 4 Alto 4 Alto 4
4.06
Seguridad y salud del
operador
Alto 4 Alto 4 Alto 4 Alto 4 Medio 3 Alto 3.8
Salud y Seguridad
Pública
Alto 4 Alto 4 Alto 4 Alto 4 Medio 3 Alto 3.8
Daño al entorno de uso Alto 4 Alto 4 Alto 4 Alto 4 Medio 3 Alto 3.8
Daños comerciales de
uso
Medio 3 Medio 3 Medio 3 Medio 3 Alto 4 Medio 3.2
Adherencia a normas Alto 4 Alto 4 Alto 4 Alto 4 Alto 4 Alto 4
Evaluador 4 Evaluador 5 Media
Nombre de la Categoría/Subcategoría
Calidad de Uso Evaluador 1
Usabilidad de uso
Flexibilidad de uso
Seguridad de uso (riesgo humano)
Evaluador 2 Evaluador 3

28. Detailed Values
28
Clasificación Valor Asignado Clasificación Valor Asignado Clasificación Valor Asignado Clasificación Valor Asignado Clasificación Valor Asignado Clasificación Valor Promedio
4.60
Adecuación Muy Alto 4.8 Muy Alto 4.5 Muy Alto 4.5 Muy Alto 4.5 Muy Alto 4.9 Muy Alto 4.6
Precisión Muy Alto 4.7 Muy Alto 4.4 Alto 4.2 Muy Alto 4.8 Muy Alto 4.9 Muy Alto 4.6
Adherencia a Normas Muy Alto 4.5 Muy Alto 4.4 Muy Alto 4.4 Alto 4 Alto 4 Muy Alto 4.3
4.34
Disponibilidad Alto 4.2 Muy Alto 4.4 Alto 4.2 Alto 4 Alto 4 Alto 4.2
Tolerancia a fallos Alto 4 Alto 3.7 Alto 4 Alto 4 Alto 4 Alto 3.9
Recuperación Alto 4 Muy Alto 4.5 Alto 4 Alto 4.2 Alto 4 Alto 4.1
Adherencia a Normas Muy Alto 4.5 Muy Alto 4.4 Muy Alto 4.4 Alto 4 Alto 4 Muy Alto 4.3
4.34
Tiempo de Respuesta Alto 4.2 Alto 3.7 Alto 4.1 Alto 4 Alto 4.2 Alto 4
Utilización de
Recursos
Alto 3.7 Muy Alto 4.7 Alto 4.1 Alto 3.5 Alto 3.8 Alto 4
Adherencia a Normas Muy Alto 4.5 Muy Alto 4.4 Muy Alto 4.4 Alto 4 Alto 4 Muy Alto 4.3
4.33
Reconocimiento de
Adecuación
Alto 4.2 Alto 4 Alto 4 Muy Alto 4.4 Muy Alto 4.7 Muy Alto 4.3
Capacidad de
Aprendizaje
Muy Alto 4.6 Muy Alto 4.9 Muy Alto 4.5 Muy Alto 4.5 Muy Alto 4.8 Muy Alto 4.7
Facilidad de Uso Alto 4.2 Muy Alto 4.8 Alto 4.1 Alto 4.1 Muy Alto 4.6 Muy Alto 4.4
Útil Muy Alto 4.6 Muy Alto 4.3 Muy Alto 4.3 Muy Alto 4.8 Muy Alto 4.6 Muy Alto 4.5
Atractivo Muy Alto 4.6 Muy Alto 4.5 Alto 4.2 Muy Alto 4.7 Muy Alto 4.7 Muy Alto 4.5
Accesible
técnicamente
Medio 3.4 Bajo 1.8 Bajo 2 Alto 3.6 Medio 3.3 Medio 2.8
Adherencia a normas Muy Alto 4.5 Muy Alto 4.4 Muy Alto 4.4 Alto 4 Alto 4 Muy Alto 4.3
4.62
Confidencialidad Muy Alto 4.8 Muy Alto 4.9 Muy Alto 4.3 Muy Alto 4.7 Muy Alto 4.9 Muy Alto 4.7
Integridad Muy Alto 4.9 Muy Alto 4.9 Muy Alto 4.3 Muy Alto 4.9 Muy Alto 4.6 Muy Alto 4.7
No rechazo Muy Alto 4.8 Muy Alto 4.9 Muy Alto 4.3 Muy Alto 4.6 Muy Alto 4.9 Muy Alto 4.7
Responsabilidad Alto 4.2 Muy Alto 4.9 Alto 4 Muy Alto 4.8 Muy Alto 4.8 Muy Alto 4.5
Autenticidad Alto 3.5 Muy Alto 4.9 Alto 3.5 Alto 4 Muy Alto 4.4 Alto 4.1
Adherencia a normas Muy Alto 4.5 Muy Alto 4.4 Muy Alto 4.4 Alto 4 Alto 4 Muy Alto 4.3
3.78
Capacidad de
Reemplazo
Medio 3 Bajo 1.8 Bajo 2 Medio 2.6 Medio 3.1 Bajo 2.5
Capacidad de
Coexistencia
Alto 4 Medio 3.4 Alto 4 Alto 4.1 Alto 4.2 Alto 3.9
Interoperabilidad Alto 4 Muy Alto 4.7 Alto 4 Alto 3.8 Alto 4.2 Alto 4.1
Adherencia a Normas Muy Alto 4.5 Muy Alto 4.4 Muy Alto 4.4 Alto 4 Alto 4 Muy Alto 4.3
4.36
Modularidad Muy Alto 4.3 Muy Alto 4.3 Muy Alto 4.5 Alto 3.5 Alto 4.1 Alto 4.1
Reusabilidad Alto 4.2 Muy Alto 4.5 Alto 4.2 Alto 4 Alto 4.2 Alto 4.2
Capacidad de Análisis Alto 4.2 Alto 4 Alto 4.2 Alto 4.1 Alto 4 Alto 4.1
Capacidad de
Cambios
Muy Alto 4.4 Muy Alto 4.4 Muy Alto 4.4 Alto 4 Alto 4.2 Muy Alto 4.3
Estable modificación Alto 4.2 Alto 4 Alto 4 Alto 4 Alto 4 Alto 4
Capacidad a Testing Alto 4.2 Alto 4 Alto 4 Muy Alto 4.5 Muy Alto 4.4 Alto 4.2
Adherencia a normas Muy Alto 4.5 Muy Alto 4.4 Muy Alto 4.4 Alto 4 Alto 4 Muy Alto 4.3
4.38
Portabilidad Alto 4.2 Muy Alto 4.5 Alto 4 Alto 4.1 Alto 4.2 Alto 4.2
Adaptabilidad Alto 4.2 Alto 4 Alto 4 Alto 4 Alto 4.1 Alto 4.1
Capacidad de
Instalación
Alto 4.2 Muy Alto 4.7 Alto 4 Alto 4.2 Alto 4.2 Muy Alto 4.3
Adherencia a Normas Muy Alto 4.5 Muy Alto 4.4 Muy Alto 4.4 Alto 4 Alto 4 Muy Alto 4.3
Operabilidad
Calidad Interna/Externa Evaluador 1 Evaluador 2 Evaluador 3 Media
Nombre de la Categoría/Subcategoría
Adecuación Funcional
Fiabilidad
Eficiencia de Rendimiento
Evaluador 4 Evaluador 5
Seguridad
Compatibilidad
Mantenibilidad
Transmisibilidad

29. 2
9
Conclusions
01
NFR EVALUATION
Incompleteness of
information and
uncertainty are also
important variables to
consider in NFRs
evaluation. This situation
makes it difficult to
compare values, which is
the main issue in software
measurement.
02
PROPOSED QUALITY
MODEL
The quality evaluation is
based on the software
quality characteristics and
sub-characteristics from a
standard generally
accepted ISO/IEC 25000
03
QUALITY
CHARACTERIZATION
It is possible to
characterize the degree
of satisfaction for a
specific index in the
evaluated software, the
characterization also
could be made at level of
each characteristics or
sub-characteristics
04
ALLOW QUANTITATIVE
AND CUALITATIVE
VALUES
This quality evaluation
model is derived by their
fuzzy logic foundations,
which allows working with
both qualitative and
quantitative variables

30. QUESTIONS?
Dr. Francisco Valdés-Souto
Associate Professor
Department of Mathematics,
Science Faculty,
National Autonomous University of Mexico (UNAM)
fvaldes@Ciencias.unam.mx
francisco.valdes@spingere.com.mx
COSMIC President
Mexican Software Metrics Association (AMMS), Founder