Testeo y Pruebas de Software
Testeo y pruebas de software 1
Preparado por Lic. Marcelo Menal -
[email protected] Testeo y Pruebas de Software
Temario
Calidad del producto software y su método de evaluación
a. Modelos de calidad del producto software: Mc Call, Boehm,
FURPs, ISO/IEC 9126 ISO/IEC 25000 (SQUARE); QSAT
b. Vistas de la calidad: calidad interna, externa, y en el uso.
c. Proceso de evaluación de productos de software definido en la
norma ISO/IEC 25040; MyFEPS
d. Ejemplos de métricas externas definidas en la ISO/IEC 25010 o
en QSAT para evaluar la calidad externa del producto de software.
Su aplicación en un caso práctico.
Testeo y pruebas de software 2
Preparado por Lic. Marcelo Menal -
[email protected] Calidad de
Producto software
Normas
ISO/IEC 9126; ISO/IEC 14598;
y nueva ISO/IEC 25000
Testeo y pruebas de software 3
Preparado por Lic. Marcelo Menal -
[email protected] Antecedentes
• “Hay poca evidencia en que cumplir un modelo de procesos
asegure la calidad del producto. La estandarización de los
procesos garantiza la uniformidad en la salida de los mismos,
lo que puede incluso institucionalizar la creación de malos
productos”(Kitchenham y Pfleeger, 1996).
• Situación general del Mercado para la Industria Software
• ¿Qué efecto tiene esta situación en los productos?
• Cambia el enfoque tradicional de las organizaciones.
Profundo cambio cultural, de valores y percepciones sobre el
trabajo y su resultado. Ejemplos de SW que no
cumpliera con los requisitos
implícitos y/o explícitos?
Testeo y pruebas de software 4
Preparado por Lic. Marcelo Menal -
[email protected] Aproximaciones a la calidad del SW:
…La calidad en el ciclo de vida
Proceso Producto Efecto producto
influencian influencian influencian
Atributos
Atributos Atributos
Calidad del externos
internos de de calidad
proceso de
calidad en uso
calidad
depende de depende de depende de Contextos
de uso
Mediciones Medidas Medidas Medidas de
del proceso internas externas calidad en uso
Ref. figura B.2 IRAM-ISO/IEC 25000
Testeo y pruebas de software 5
Preparado por Lic. Marcelo Menal -
[email protected] Tipos de medidas de calidad de SW según ciclo
de vida de la calidad del producto de SW
Necesidades
Requerimientos Producto
Requerimientos de Calidad
calidad en uso
En USO
Especificaciones
Validación
Evaluación
Requerimientos de Calidad
calidad externa
Externa
Verificación y
Validación
Requerimientos de Calidad
calidad interna Interna
Verificación Ref. Figura 3 -
IRAM-ISO/IEC
25000
Testeo y pruebas de software 6
Preparado por Lic. Marcelo Menal - [email protected]
El proceso de certificación de
producto y la cadena de valor:
Cliente Especificación Desarrollo del producto
Instalación y Cliente
y datos de uso por parte
Necesidad Interpretación de la
entrada para del cliente/
de un especificación (DE, DS, Con su
desarrollo del usuario
producto de atributos) necesidad
producto
software satisfecha
Atributos
-Internos, Producción
-Externos y
-de Uso Verificación y validación Producto
del producto terminado
Organización desarrolladora
Certificación de
Input para el diseño de la prueba calidad de
producto
Testeo y pruebas de software 7
Preparado por Lic. Marcelo Menal -
[email protected] Vista del proceso de evaluación desde la perspectiva del
comprador (entradas a la evaluación )
Ref. ISO/IEC 14598-4 Vista del producto
Requerimientos de
-Documentación técnica y calidad del software
Evaluación de costos
del usuario
Vista del proceso Vista del producto en uso
Proceso de evaluación
Sistema de la Calidad Establecer los requisitos Historial de
de la evaluación operaciones
Proceso de ingeniería Información de fallas
Especificar la evaluación
Proceso de Diseñar la evaluación Prototipo / Pruebas
mantenimiento
Realizar la evaluación
Nivel necesario de confianza Actividades de verificación
de que se han alcanzado los adicional requeridas
requerimientos de calidad
Restricciones de uso del
producto
Testeo yde
Vista de los resultados pruebas de software
la evaluación 8
Preparado por Lic. Marcelo Menal - [email protected]
Evaluación del producto de SW
DEFINICIONES
Calidad: La totalidad de características de una entidad que influyen
en su capacidad de satisfacer necesidades explícitas o implícitas.
NOTA 1: En un ambiente contractual, o en un ambiente regulado, tal como el campo de
seguridad nuclear, las necesidades se especifican, mientras que en otros ambientes, las
necesidades implícitas deben ser identificadas y definidas (ISO 8402:1994, nota 1).
Calidad interna: Totalidad de atributos de un producto que determinan su
capacidad de satisfacer necesidades explícitas e implícitas cuando se usa bajo
condiciones especificadas.
Calidad externa: Grado en que un producto satisface las necesidades explícitas e
[ISO/IEC 25000]
implícitas cuando se lo usa bajo condiciones especificadas.
Calidad en uso: Grado en que un producto, utilizado por usuarios especificados,
satisface sus necesidades de alcanzar metas definidas con efectividad, productividad
y satisfacción, en contextos determinados de uso.
Testeo y pruebas
9 de software 9
Preparado por Lic. Marcelo Menal - [email protected]
Evaluación del producto de SW
DEFINICIONES
Atributo: una característica física o abstracta medible de una entidad.
Nota: los Atributos pueden ser internos o externos
Evaluación de producto de software: operación técnica que
consiste en producir una evaluación valoración de una o más
características de un producto de software de acuerdo a un
procedimiento especificado.
NOTA: El término evaluación es preferida con el fin de evitar confusión con la
noción de prueba ampliamente aceptada en el campo de ingeniería de
software.
Evaluación de producto de software no es necesariamente una prueba de
conformidad (como es definido en ISO/IEC Guía 2, 13.3.2) en el contexto de un
esquema de certificación. PERO, las pruebas de conformidad pueden ser parte
de una evaluación.
Testeo y pruebas de software 10
Preparado por Lic. Marcelo Menal -
[email protected] Evaluación del producto de SW
DEFINICIONES
Métrica: El método definido de medición y la escala de medición.
NOTA 1: Las métricas pueden ser internas o externas, y directas o indirectas.
NOTA 2: Las métricas incluyen métodos para categorizar datos cualitativos.
Método de evaluación: procedimiento que describe la acción a ser
ejecutada por el evaluador con el fin de obtener el resultado para la
medición especificada o verificación aplicada en los componentes de
producto especificados o en la totalidad del producto.
Herramienta de evaluación: Es el instrumento que puede ser usado
durante una evaluación para recopilar datos, para efectuar la interpretación
de datos o para automatizar parte de la evaluación. (Ejemplos : analizadores de
código fuente para calcular métricas de código; Herramientas CASE para producir modelos
formales, Ambientes de prueba para hacer funcionar programas ejecutables, Listas de control
para recopilar datos de inspección; Hojas de cálculo para producir síntesis de medidas).
Testeo y pruebas
11 de software 11
Preparado por Lic. Marcelo Menal - [email protected]
Evaluación del producto de SW
DEFINICIONES
Desarrollador de producto de software: Es la persona u
organización que fabrica un producto de software.
Evaluación de producto de software: operación técnica que
consiste en producir una evaluación valoración de una o más
características de un producto de software de acuerdo a un
procedimiento especificado.
NOTA: El término evaluación es preferida con el fin de evitar confusión con la noción de
prueba ampliamente aceptada en el campo de ingeniería de software.
Evaluación de producto de software no es necesariamente una prueba de conformidad
(como es definido en ISO/IEC Guía 2, 13.3.2) en el contexto de un esquema de certificación.
Sin embargo, las pruebas de conformidad pueden ser parte de una evaluación.
Testeo y pruebas
12 de software 12
Preparado por Lic. Marcelo Menal - [email protected]
Evaluación del producto de SW
DEFINICIONES
Evaluador: Es la organización que efectúa una evaluación. (Un evaluador
puede ser un laboratorio de prueba, el departamento de calidad de una
organización de desarrollo de software, una organización gubernamental
o un usuario.)
Registros de evaluación: evidencia objetiva documentada de todas las
actividades ejecutadas y de todos los resultados alcanzados dentro del
proceso de evaluación.
Reporte de evaluación: documento que presenta resultados de
evaluación y otra información relevante a una evaluación.
Solicitante de evaluación: persona u organización que solicita una
evaluación.
Testeo y pruebas
13 de software 13
Preparado por Lic. Marcelo Menal -
[email protected] Calidad de Producto de software
Modelo de Referencia de evaluación
a) Necesidades específicas del usuario;
b) Recursos;
c) Plazos; Restricciones para la
d) Costo;
e) Ambiente;
evaluación
f) Herramientas y metodología;
g) Informes.
Entrada para la Proceso de Resultados de la
evaluación evaluación evaluación
a) herramientas de medición y metodología;
b) documentos aplicables;
Referencia ISO/IEC 25040 Figura 2 — Visión
general de la evaluación de la calidad del
Recursos para la c) RRHH para la evaluación;
producto software evaluación d) recurso económico para la evaluación;
e) Sistema de información;
f) base de datos de conocimientos
Testeo y pruebas de software 14
Preparado por Lic. Marcelo Menal -
[email protected] Proceso de evaluación de calidad de producto SW
Ref. ISO/IEC 25040
Establecer
los requeri-
mientos de
la
evaluación
Especificar
Concluir la
la
evaluación
evaluación
Ejecutar la Diseñar la
evaluación evaluación
Testeo y pruebas de software 15
Preparado por Lic. Marcelo Menal -
[email protected] Proceso de evaluación de calidad de producto SW
Ref. ISO/IEC 25040
1-Establecer el propósito de la evaluación
Establecer los requerimientos 2. Obtener los requerimientos de calidad del producto a evaluar
de la evaluación 3. Identificar las partes de producto a evaluar
4. Definir la Rigurosidad de la evaluación
1. Seleccionar las medidas de calidad
Especificar la evaluación 2. Definir los criterios de decisión para las medidas de calidad
3. Establecer los criterios de decisión para la evaluación
Diseñar la evaluación 1. Plan de actividades de evaluación
1. Hacer las mediciones
Ejecutar la evaluación 2. Aplicar criterios de decisión para la medida de calidad
3. Aplicar criterios de decisión para la evaluación
1. Revisar los resultados de la evaluación
Concluir la evaluación 2. Generar el informe de evaluación
3. Examinar la calidad de evaluación y retroalimentar a la organización
4. Realizar la disposición de los datos de evaluación
Testeo y pruebas de software 16
Preparado por Lic. Marcelo Menal -
[email protected] Proceso de evaluación de calidad de producto SW
Ref. ISO/IEC 25040
escala de medición niveles de puntuación
Excede los requisitos
nivel previsto
satisfactorio
Valor medido
Rango objetivo
nivel actual
Mínimamente aceptable
insatisfactorio
Nivel del peor caso
Inaceptable
REFERENCIA: Proceso de evaluación de Testeo
calidady pruebas de software
de producto SW Norma IRAM-ISO/IEC 14598 17
Preparado por Lic. Marcelo Menal -
[email protected] Modelo de Calidad de
productos de Software
Norma ISO/IEC 25010
Testeo y pruebas de software 18
Preparado por Lic. Marcelo Menal -
[email protected] Modelo de Calidad de productos de Software
Norma ISO/IEC 25010
Modelo de Calidad en USO
Testeoenyuso
Referencia: ISO/IEC 25010 Figura 3 – Modelo de calidad pruebas de software 19
Preparado por Lic. Marcelo Menal - [email protected]
Modelo de Calidad de productos de Software
Norma ISO/IEC 25010
Modelo de Calidad de producto
Adecua- Eficiencia Compati- Usabili- Confiabi- Seguridad Posibilidad Portabi-
ción en el bilidad dad lidad de lidad
funcional desem- realizarle
peño manteni-
miento
-Completitud -Comporta- -Coexis- -Reconoci- -Madurez -Confiden- -Modularidad -Adaptabi-
funcional miento tencia miento de la cialidad lidad
respecto al aptitud -Disponibili- -Reusabilidad
-Corrección tiempo -Interope- -Capacidad dad -Integridad -Capaci-
funcional rabilidad de ser -Capacidad dad de
-Utilización aprendido -Tolerancia -No repudio de ser ser insta-
-Operabilidad
-Aptitud fun- de a los analizado lado
-Protección
cional recursos defectos -Trazabi- -Capacidad
contra erro-
res del lidad de ser modi- -Capaci-
-Capacidad usuario -Recupe- ficado dad de
-Estética de la rabilidad -Autenti- -Capacidad ser
interfaz con cidad de ser tes- reempla-
el usuario testado zado
Referencia ISO 25010 Figure 4 – -Accesibilidad
Testeo y pruebas de software 20
Modelo de Calidad de producto Preparado por Lic. Marcelo Menal - [email protected]
Ejemplo: Métricas de confiabilidad
La métrica debería ser capaz de medir atributos
relacionados al comportamiento del sistema del cual el
software es parte durante una prueba de ejecución
para indicar el grado de la confiabilidad del software en
dicho sistema durante la operación.
Sistemas y software no se distinguen uno de otro en la
mayoría de los casos.
Testeo y pruebas de software 21
Preparado por Lic. Marcelo Menal -
[email protected] Ejemplo: Métricas de confiabilidad
Métricas de capacidad de recuperación
Una métrica externa de capacidad de recuperación debería ser capaz de
medir atributos como la capacidad del software junto con el sistema de
restablecer su adecuado nivel de rendimiento y recuperar los datos
directamente afectados en el caso de una falla.
¿Cuán disponible está el sistema para su uso durante un período de tiempo especifico?
Probar el sistema en un entorno como producción para un período de tiempo específico ejecutando todas
las operaciones del usuario.- Medir el período de tiempo de reparación para cada momento en que el
sistema no estuvo disponible durante la prueba.- Calcular el tiempo promedio para reparación
X = {To / ( To + Tr )} To = Tiempo de operación Tr = Tiempo de reparación
A1 = Total disponible de casos de uso satisfactorios del software
Y = A1 / A2 cuando el usuario lo intenta usar.
A2 = Número total de casos de uso que intentaron usar el software
durante el tiempo de observación.
Testeo y pruebas de software 22
Preparado por Lic. Marcelo Menal - [email protected]
Norma ISO/IEC 9126
Como antecedente del Modelo
de Calidad de productos de
Software para ISO/IEC 25010
Testeo y pruebas de software 23
Preparado por Lic. Marcelo Menal -
[email protected] ISO/IEC 9126: Aplicabilidad
Ejemplos de uso:
• Validar una definición de requisitos
• Identificar requisitos del software
• Identificar objetivos para el diseño software
• Identificar requisitos para las pruebas del software
• Identificar requisitos para el aseguramiento de la calidad
• Identificar criterios de aceptación para un producto de
software terminado
Se pueden usar las características de calidad del producto de software para especificar
requerimientos funcionales y/o no Testeo y pruebastanto
funcionales de software
de cliente como de usuario. 24
Preparado por Lic. Marcelo Menal - [email protected]
Modelo de Calidad - Alcance
• El modelo de calidad se divide en :
– Calidad interna y externa
• Seis características que se subdividen en sub-características que se
manifiestan externamente cuando es usado el software como parte de un
sistema de computación y es el resultado de atributos internos del software.
– Calidad de uso
• Cuatro características de calidad de uso.
• El modelo permite que el SW sea evaluado desde diferentes
perspectivas:
– Completitud de la definición de requerimientos
– Identificar requerimientos de software
– Identificar objetivos de diseño
– Identificar objetivos de testeo
– Identificar criterios de seguridad
– Identificar criterios de aceptación del producto completo
Testeo y pruebas de software 25
Preparado por Lic. Marcelo Menal -
[email protected] Antecedentes
La familia ISO/IEC 25000 es el resultado de la evolución de otras normas:
• ISO/IEC 9126 (modelo de calidad del producto software)
• ISO/IEC 14598 (proceso de evaluación de productos software)
ISO/IEC 25010
Systems and SW
engineering --
ISO/IEC 25000 Systems and SW
ISO 9126 fue publicada por primera vez en
SW Engineering Quality
el año 1991, y fue posteriormente – SW product Requirements and
reemplazada durante el 2001 por una Nueva edición de Quality Evaluation
familia de normas, (partes 1; 2; 3 y 4): la ISO/IEC 9126-2 Requirements (SQuaRE) -- System
Parte 2: Métricas and Evaluation and SW quality
Externas (SQuaRE) -- models
y de la Guide to
Se desdobla Nueva ISO/IEC 9126-3 SQuaRE
ISO/IEC 9126 versión del Parte 3: Métricas
ISO/IEC como modelo modelo de Internas
9126:1991 de calidad e calidad (Segunda ed.)
Evaluación ISO/IEC 14598 ISO/IEC
del producto como proceso 9126
de software - de evaluación
Carácterística de
s de calidad y conformidad ISO/IEC 9126-4
directrices Parte 4: Métricas de
para su uso Calidad en Uso
Nuevas partes ISO/IEC 14598-2
Part 2: Planificación y Gestión
Testeo
ISO/IEC 14598/3 Parte 3: de
y pruebas Proceso
software 26
para desarrolladores
Preparado por Lic. Marcelo Menal -
[email protected] Antecedentes
Se emite
ISO/IEC 25000:2014
Systems and software engineering --
Systems and software Quality
Requirements and Evaluation (SQuaRE) -
Se reemplazan - Guide to SQuaRE
Se reemplazan ISO/IEC 9126-3
las ISO/IEC
las ISO/IEC Software engineering -Product quality
14598-1
25000 1ra Ed.
14598-2 Part 3: Internal Metrics (Segunda
14598-3 ed.)
14598-4
2011 2012 2014
Se reemplaza la
ISO/IEC 9126-1
Testeo y pruebas de software 27
Preparado por Lic. Marcelo Menal -
[email protected] Métricas externas de Adecuación Funcional
•Nombre de la métrica Adecuación funcional
•Propósito de la métrica ¿Cuán adecuadas son las funciones evaluadas?
•Método de aplicación Número de funciones que son adecuadas para realizar las tareas
específicas, comparadas con el número de funciones evaluadas
•Medición, fórmula y X =1–A/B
cálculo de elementos de A = Nro de funciones en que se detectaron problemas en la evaluación
datos B = Nro de funciones evaluadas
•Interpretación del valor 0 < = X < = 1
medido Lo más cerca de 1,0 es lo mejor
•Tipo escala de métrica Absoluta
•Tipo {unidad} de X = Cantidad / Cantidad
medida A = Cantidad; B = Cantidad
•Entrada para la Especificación de requerimientos.
medición Reporte de evaluación
•Referencia ISO/IEC 6.5 Validación
12207 6.3 Aseguramiento de calidad
5.3 Pruebas de calificación
•Audiencia objetivo Desarrolladorers; Responsables de ACS
Testeo y pruebas de software 28
Preparado por Lic. Marcelo Menal -
[email protected] Métricas externas de Adecuación Funcional
•Nombre de la métrica Integridad de implementación funcional
•Propósito de la métrica ¿Cuán completa es la implementación de acuerdo a la especificación de
requerimientos?
•Método de aplicación Realizar pruebas funcionales (caja negra) del sistema según especificación de
requerimientos. Contar el Nº de funciones faltantes detectadas en la
evaluación y compararlas con el Nº de funciones descritas en la
especificación de requerimientos
•Medición, fórmula y cálculo X =1–A/B
de elementos de datos A = Número de funciones faltantes detectadas en la evaluación
B = Número de funciones descritas en la especificación de requerimientos
•Interpretación del valor 0< =X< =1
medido Lo más cerca de 1,0 es lo mejor
•Tipo de escala de métrica Absoluta
•Tipo {unidad} de medida X = Cantidad / Cantidad (A = Cantidad; B = Cantidad)
•Entrada para la medición Especificación de requerimientos.
Reporte de evaluación
•Referencia ISO/IEC 12207 6.5 Validación; 6.3 Aseguramiento de calidad; 5.3 Pruebas de calificación
•Audiencia objetivo Desarrollador
Responsable de ACS
Testeo y pruebas de software 29
Preparado por Lic. Marcelo Menal -
[email protected] Métricas externas de Precisión
•Nombre de la métrica Precisión
•Propósito de la métrica ¿Cuán frecuente los usuarios finales encuentran resultados con exactitud inadecuada?
•Método de aplicación Registrar el número de resultados con exactitud inadecuada
•Medición, fórmula y cálculo X =A/T
de elementos de datos A = Nro de resultados encontrados por usuarios c/nivel de exactitud dif. al requerido
T = Tiempo de operación
•Interpretación del valor 0 <=X
medido Lo más cerca de 0,0 es lo mejor
•Tipo de escala de métrica Ratiio
•Tipo {unidad} de medida X = Cantidad / Tiempo
A = Cantidad
B = Tiempo
•Entrada para la medición Especificación de requerimientos.
Reporte de pruebas
•Referencia ISO/IEC 12207 6.5 Validación
6.3 Aseguramiento de calidad
•Audiencia objetivo Desarrollador // Usuarios
Testeo y pruebas de software 30
Preparado por Lic. Marcelo Menal -
[email protected]
