Evaluación de la usabilidad: métodos
con usuarios
[4.1] ¿Cómo estudiar este tema?
[4.2] Tipos de métodos de evaluación con usuarios
[4.3] Test de usuarios: definición y objetivos
[4.4] Test de usuarios: metodología de evaluación
[4.5] Test de usuarios: clasificación
[4.6] Referencias bibliográficas
4
TEMA
Evaluación de la usabilidad: métodos con usuarios
Test con usuarios
Esquema
Evaluación con
Conceptos básicos
usuarios
TEMA 4 – Esquema
Test controlado entre
• Evaluación Usuarios y expertos en usuarios y expertos
• Evaluación con usuarios usabilidad
• Test con usuarios Participantes
• Laboratorios
Métodos • Usuarios
• Estándares
1
• Facilitadores
• Usuarios Test con usuarios
• Observadores
Card sorting
Entrevistas
Evaluación Proceso de evaluación
Grupos de discusión
Proceso iterativo entre Análisis contextual
diseño y prototipado. Se • Planificación
Encuesta
puede hacer en todo el • Tareas hechas por el
proceso de DCU usuario, con control de
facilitador y observador
• Informe final
© Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
Usabilidad, Accesibilidad y Métricas para Sitios Web
Ideas clave
4.1. ¿Cómo estudiar este tema?
Para estudiar este tema lee las Ideas clave que encontrarás a continuación.
Además, tendrás que leer las páginas 116-129 del capítulo 4 «Métodos de evaluación
de usabilidad» del siguiente libro:
Mordecki, D. (2012). Miro y entiendo.
Disponible en [Link]
En un proceso de diseño centrado en el usuario, como ya hemos visto, es importante
involucrar al usuario en todas las fases. Si bien en el capítulo anterior comprobamos que
durante la fase de evaluación de la usabilidad de la interfaz de un producto o sistema
interactivo podemos llevarlo a cabo solo con evaluadores, esta fase se puede completar
introduciendo a los usuarios como «expertos» en usabilidad, o dicho de otro
modo, como las personas que finalmente van a usar esos productos o sistemas
interactivos.
Los usuarios se convierten por lo tanto en una fuente de información esencial. Por
supuesto, hay que reconocer que no son expertos, pero sí que tienen gran fiabilidad y un
punto de vista del que podrían ofrecer solo los evaluadores expertos.
En este tema trabajaremos para conocer en profundidad el proceso de evaluación con
usuarios, de modo que podamos saber cómo podemos incluir a los usuarios para realizar
una evaluación de la usabilidad que complemente a la realizada previamente por los
expertos.
TEMA 4 – Ideas clave 2 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
4.2. Tipos de métodos de evaluación con usuarios
En términos de usabilidad, es verdaderamente relevante la manera en que el usuario
interacciona con la interfaz o con el sistema, sobre todo en términos de procesamiento
de la información. Los métodos de evaluación con usuarios incluyen a estos en el proceso
de examen y de búsqueda de errores de usabilidad en los productos o sistemas
interactivos. Se busca información de la interacción directa de los usuarios.
Los usuarios, por lo tanto, son fuente de información sobre el producto que finalmente
van a adquirir, por lo que, en ocasiones, es conveniente incluirlos en el proceso de
evaluación, observando qué hacen y cómo se comportan bajo el ojo del diseñador.
La evaluación con usuarios se puede hacer durante todo el proceso de diseño del
producto, pero no solo eso, sino que se puede extender a todo su ciclo de vida, incluyendo
evaluaciones posteriores al lanzamiento del producto. En todo caso, como en cualquier
tipo de evaluación, la información que podamos conseguir en las fases tempranas del
proceso de diseño lo hará mucho más eficiente y eficaz, de modo que podremos crear
mejores productos y con menores potenciales problemas de usabilidad.
Se puede realizar mediante diversas técnicas como la encuesta, el análisis etnográfico
o contextual, la entrevista, el card sorting o los grupos de discusión. No obstante, hay
una técnica muy extendida y popular para la evaluación con usuarios: el test de
usuario. En este tema nos centraremos exclusivamente en esta técnica.
4.3. Test con usuarios: objetivos y métodos
Dentro del proceso de diseño centrado en el usuario, el test con usuarios es un método
de evaluación de la usabilidad en el que una serie de usuarios evalúan la usabilidad de
un sitio o página web.
En este proceso de evaluación, el usuario examina el sitio web y expresa cuáles son
los problemas de usabilidad que encuentra a la hora de realizar unas tareas concretas
que le indica una persona experta.
TEMA 4 – Ideas clave 3 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
El método de test con usuarios involucra a estos en el proceso de diseño y evaluación de
la usabilidad del sistema. Se trabaja con perfiles de usuarios reales que realizan tareas
reales que se observan y analizan para encontrar los posibles problemas reales a los que
los usuarios se podrían enfrentar una vez saliera el producto.
Esta técnica da mucha información sobre los modelos mentales que los usuarios siguen
para interactuar con el sistema, pero es costosa en tiempo y dinero. Por ello, el test con
usuarios es preferible usarlo cuando el diseño del producto ya esté avanzado, de modo
que los usuarios evalúen un prototipo de baja o alta fidelidad. En general, una evaluación
heurística previa se torna recomendable, de modo que minimicemos errores y
maximicemos el esfuerzo del test.
En este sentido, es muy importante plantearse la necesidad de llevar a cabo el test con
usuarios, ya que es una técnica costosa temporal y económicamente. Además,
debemos estar seguros, por un lado, de la pertinencia de la técnica, sobre todo si hemos
realizado previamente una evaluación sin usuarios; y, por otro, de que el sistema o
producto que estamos evaluando cumple los requisitos mínimos de accesibilidad
(igualmente conocido con las técnicas de evaluación sin usuarios).
Una vez que se ha comprobado que se cumple satisfactoriamente con ambas condiciones,
debemos plantearnos en qué etapa del proceso de diseño es más conveniente aplicar
el test con usuarios. En este caso la norma sigue siendo la misma que en anteriores
ocasiones: cuanto antes, mejor. Así, evitamos la posibilidad de que encontremos fallos
que en ese momento ya serían imposibles de tratar o cuyo coste o arreglo no fuera
asumible. Además, podemos realizar el test de usuarios con el diseño o con un prototipo
de cualquier nivel de fidelidad con el producto final.
TEMA 4 – Ideas clave 4 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
Una tarea importante en este test es la selección de evaluadores. Los perfiles que se
tomen deben cubrir el máximo rango posible de potenciales usuarios: con y sin
experiencia, que usen o no el sistema, con mucho y poco conocimiento de informática,
así como a partir de perfiles sociodemográficos variados (aunque este tiene menor
importancia). La clave y la dificultad están en combinar una gran variedad de perfiles en
pocos usuarios.
Es suficiente contar con una muestra pequeña, con un óptimo de cinco (Nielsen, 2000).
Dice Steve Krug (2001) que probar con un usuario es cien por cien mejor que no probar
con ninguno; además, comenta que es mucho menos costoso probar con solo uno al
principio que con 50 al final, cuando ya es más complicado cambiar el diseño.
En el test con usuarios son necesarias tres personas: el usuario, que lleva a cabo la
prueba; el moderador o facilitador, que modera el test; y los observadores, que
recogen otros aspectos que el facilitador no llega a percibir.
El usuario sería el consumidor final del producto o sistema que estamos
evaluando. Su selección es fundamental, ya que necesitamos a aquellas personas que
vayan a usar frecuentemente ese producto o, dicho con otras palabras, que vayan a
adquirir el producto una vez esté a la venta. En este sentido, hay que reconocer que la
diversidad de usuarios es grande, por lo que tenemos que reclutar una muestra
representativa que comprenda el mayor rango posible de perfiles de usuario.
El moderador o facilitador es la persona experta que se encarga de dirigir el test
y estar con el usuario durante el proceso de evaluación. El facilitador debe cumplir
básicamente tres tareas:
o Hacer que el usuario se sienta cómodo y sea tolerante al error. Para ello
debe aliviar signos de estrés, agobio, cansancio o frustración que pueda ver en los
usuarios. Esto es muy importante sobre todo en términos psicológicos. En ese
sentido, debe ser capaz de sacar el máximo partido de los usuarios sin que ello les
provoque problemas.
o El moderador actúa como intermediario entre el usuario y los
observadores, por lo que debe intentar que a estos les llegue la máxima
información posible. Para ello debe mantener una relación empática con los
TEMA 4 – Ideas clave 5 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
usuarios, dirigiendo bien sus tareas y evitando que sus comentarios se desvíen de
la tarea o tema que se esté tratando.
o El facilitador debe ser coherente y estricto con la información que le den los
usuarios, de modo que debe valorar si el usuario es apto para realizar las tareas, si
el usuario debe abandonarla o si la información que ha dado va a ser útil.
Los observadores forman un equipo que se encarga de recopilar y registrar los
datos de los test con usuarios para que sean analizados posteriormente por el equipo
de desarrolladores. Este equipo debe estar bien coordinado y definir sus tareas de
forma óptima, de modo que todas las tareas queden cubiertas: control del tiempo,
cumplimiento de tareas, comunicación verbal, comunicación no verbal y tareas
especializadas. En principio, el equipo de observación no es imprescindible, aunque
sí muy recomendable.
Una última pregunta que cabe plantearse es dónde llevar a cabo el test de usabilidad
con usuarios. La literatura sobre este tema es muy amplia, por lo que solo nos
circunscribiremos al espacio. En este caso, es importante contar con un laboratorio de
usabilidad (permanente o portátil) que permita crear un entorno controlado y, al
mismo tiempo, cómodo para los usuarios. El laboratorio debe contar con óptimas
condiciones de sonido, luz, ventilación y mobiliario. Además, para la recogida de datos
es fundamental tener un sistema de micrófonos y cámaras que permita recolectar la
información desde diferentes puntos de vista. A continuación, puedes ver un laboratorio
real de test de usabilidad con usuarios. Se profundizará posteriormente en la
clasificación de test con usuarios.
Laboratorio de usabilidad de InterUX (Tallin, Estonia).
Fuente: [Link]
TEMA 4 – Ideas clave 6 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
4.4. Test con usuarios: metodología de evaluación
En la prueba de un test con usuarios, el usuario debe realizar una serie de tareas
previamente seleccionadas mediante la evaluación heurística, indicando la duración
máxima de cada una, proporcionando una información clara sobre qué tiene que hacer
el usuario y estableciendo un escenario de uso. Además, el evaluador debe ofrecer toda
la información de la prueba y el producto al usuario, garantizando la confidencialidad de
los datos obtenidos.
El usuario hará las tareas correspondientes y los evaluadores y observadores
comprobarán cómo lo hace y qué errores aparecen. Es importante que el usuario
vaya explicando qué está haciendo y por qué, ya que maximiza la información y permite
su grabación. El evaluador no puede ayudar y debe circunscribirse únicamente a la
explicación inicial y a la observación y toma de notas.
Finalmente, facilitadores y observadores elaboran un informe final en el que se recogen
todos los errores que han surgido durante el test, toda la información de cada usuario y
cada prueba, así como una relación de soluciones o recomendaciones a cada uno de ellos.
Este informe debe cotejarse con el que hayamos conseguido en la fase de evaluación de
la usabilidad sin usuarios, de modo que tengamos toda la información necesaria
para mejorar la usabilidad del producto o sistema interactivo correspondiente.
4.5. Test con usuarios: clasificación
Los test con usuarios pueden clasificarse de acuerdo a una serie de dimensiones básicas:
lugar en el que se lleva a cabo, presencia del usuario y tipo de diseño o prototipo que
estamos evaluando.
En primer lugar, los test con usuarios se pueden llevar a cabo en un laboratorio o en
un entorno menos formal.
o A los que se llevan a cabo en laboratorios de usabilidad se les suelen llamar test
formales: el entorno es controlado y se ha construido específicamente para llevar
a cabo este tipo de pruebas.
TEMA 4 – Ideas clave 7 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
o A los que se llevan a cabo en otro tipo de entornos se suelen llamar test
informales: las condiciones del entorno cambian y solo se tienen los elementos
necesarios para llevar a cabo el test, como es un ordenador, el software
correspondiente, una cámara y el usuario. Los test informales son más económicos
y rápidos, por lo que se recomiendan cuando el test se hace con condiciones
económicas más precarias.
En segundo lugar, los test con usuarios también se pueden dividir entre aquellos en
los que el usuario está presente y en los que se realizan remota o virtualmente.
o A aquellos en los que el usuario está presente físicamente se les llama test
presenciales. De acuerdo a la clasificación anterior, pueden hacerse en entornos
formales o informales, aunque generalmente se realizan más en los primeros.
o A los que se realizan sin la presencia física de los usuarios se les llama test
virtuales o remotos. Son muy útiles cuando tenemos a los usuarios repartidos
por un amplio marco geográfico y para reducir costes. Además, tiene la ventaja de
eliminar el factor laboratorio, que en ocasiones puede incomodar a los usuarios.
Frente a ello, en este tipo de test el facilitador encuentra más dificultades para la
moderación, por lo que es posible que se pierda parte del control de la información.
En tercer lugar, los test con usuarios se dividen dependiendo del tipo de diseño o
prototipo que estemos evaluando, sobre todo en cuanto a su fidelidad con el producto
final.
o Por lo tanto, en primer lugar tenemos test con prototipos de baja fidelidad,
es decir, aquellos que se encuentran en una etapa incipiente del diseño y aún no
tienen algunas de las funcionalidades de las que tendrá el producto final. La ventaja
de estos test es que permiten encontrar errores de diseño en las primeras fases, de
modo que se minimiza el coste de arreglo. Además, son fáciles de realizar, ya que
generalmente se hacen en papel o con un software de prototipado que permite
hacer cambios rápidos.
o En segundo lugar, podemos hacer test con prototipos de alta fidelidad, es
decir, aquellos que se encuentran en una fase final del diseño, tienen un gran
parecido con el producto final e incorpora la mayor parte de funcionalidades. En
este caso se suelen usar en las etapas finales del proceso de diseño. Tienen un
TEMA 4 – Ideas clave 8 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
mayor coste económico, pero suelen dar mucha información, ya que prácticamente
va a ser el producto que se encuentre el usuario en el mercado.
El uso de uno u otro tipo de test de usuarios dependerá de las necesidades del equipo de
usabilidad y de los desarrolladores, de la fase de proyecto en la que nos encontremos, así
como de los recursos económicos y temporales de los que dispongamos.
4.6. Referencias bibliográficas
Krug, S. (2001). No me hagas pensar. Madrid: Prentice Hall.
Nielsen, J. (19 de marzo de 2000). Why You Only Need to Test with 5 Users. Nielsen
Norman Group. Recuperado de [Link]
to-test-with-5-users/
TEMA 4 – Ideas clave 9 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
Lo + recomendado
Lecciones magistrales
Evaluación de la usabilidad: métodos con usuarios
En esta lección magistral hablaremos sobre el proceso de evaluación de la usabilidad con
usuario. Veremos también qué tipos de evaluaciones hay y, en concreto, nos centraremos
en el test de usuario.
La lección magistral está disponible en el aula virtual
No dejes de leer…
Métodos de test con usuarios: qué, por qué, cuándo y cómo
Hassan, Y. y Martín, F. (9 de diciembre de 2003). Método de test con usuarios. No solo
usabilidad, 2.
La revista online No solo usabilidad publica este artículo de Hassan Montero y Martín
Fernández (2003) que explica de un modo muy didáctico qué son los test con usuarios y,
algo mucho más relevante, nos da una serie de indicaciones sobre por qué, cuándo y
cómo hacerlos.
Accede al artículo desde el aula virtual o a través de la siguiente dirección web:
[Link]
TEMA 4 – Lo + recomendado 10 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
No dejes de ver…
Test de usuario en laboratorios
Este vídeo animado (en inglés, subtitulado) nos muestra un proceso de evaluación en un
laboratorio de usabilidad. Es muy pedagógico, ya que podemos ver todo el proceso de
una manera amena, didáctica y con una alta variedad de recursos.
Accede al vídeo desde el aula virtual o a través de la siguiente dirección web:
[Link]
Test de usuario con un prototipo en papel
En este simpático vídeo (en inglés) podemos ver un proceso de evaluación mediante la
técnica del test de usuario de un prototipo hecho en papel. La usuaria es una niña de 4
años que lleva a cabo un test sobre una página web infantil. Un método rápido y
económico que tiene unos rendimientos muy buenos. Además, se va explicando poco a
poco para qué nos sirven los retornos que nos da el usuario.
Accede al vídeo desde el aula virtual o a través de la siguiente dirección web:
[Link]
TEMA 4 – Lo + recomendado 11 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
+ Información
A fondo
Métodos remotos de test con usuarios
Schade, A. (12 de octubre de 2013). Remote Usability Tests: Moderated and
Unmoderated. Nielsen Norman Group.
La página del grupo de trabajo de Jakob Nielsen nos ofrece un artículo de Amy Schade
(2013) (en inglés) sobre los métodos remotos de test con usuarios. Nos da información
sobre los dos tipos principales: moderados y no moderados. Una información muy
práctica para llevarlos a cabo con éxito.
Accede al artículo desde el aula virtual o a través de la siguiente dirección web:
[Link]
TEMA 4 – + Información 12 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
Cómo no malgastar dinero en un test de usuario
Nielsen, J. (12 de septiembre de 2005). Time Budgets for Usability Sessions. Nielsen
Norman Group.
No hay duda de que los recursos económicos son limitados en todos los trabajos. Es algo
que debemos controlar de una manera estricta en los test con usuarios. Nielsen (2005)
nos da una serie de pistas para optimizar los recursos y para evitar gastar, dicen los datos,
hasta un 40% de los recursos en tareas no esenciales (en inglés).
Accede al artículo desde el aula virtual o a través de la siguiente dirección web:
[Link]
Un must para conocer la usabilidad
Gould, J. D. y Lewis, C. (marzo, 1985). Designing for usability: key principles and what
designers think. Comunications of the ACM, 28(3).
Uno de los artículos más relevantes sobre la necesidad de incluir a los usuarios en la
evaluación de la usabilidad apareció en 1985 de la mano de Gould y Lewis. Dan los
principios básicos desde el punto de vista del desarrollador, proporcionando un
conocimiento fundamental para iniciarse (en inglés).
Accede al artículo desde el aula virtual o a través de la siguiente dirección web:
[Link]
TEMA 4 – + Información 13 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
Enlaces relacionados
Usabilidad: qué, por qué y cómo analizarla
En este sitio puedes encontrar definiciones, conceptos, métodos, ejemplos y proyectos
relacionados con la usabilidad y la experiencia de usuario. Especialmente interesante es
el apartado de descargas, donde tienes documentos relacionados con los test de
usabilidad, artículos y cursos de evaluación.
Accede a la página desde el aula virtual o a través de la siguiente dirección web:
[Link]
Bibliografía
Dumas, J. S. y Redish, J. (1999). A Practical Guide to Usability Testing. Portland, OR:
Intellect.
Nielsen,J. (1999). Usability engineering at a discount. En G. Salvendy y M. J. Smith
(Eds.), Designing and using human-computer interfaces and knowledge based systems
(pp. 394-401). Amsterdam: Elsevier Science Publishers.
Nielsen, J. y Tahir, M. (Eds.). (2002). Usabilidad de páginas de inicio: análisis de 50
sitios web. Madrid: Prentice Hall.
TEMA 4 – + Información 14 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
Test
1. ¿Cuándo debemos contar con los usuarios en la fase de evaluación?
A. Solo en las primeras fases.
B. Solo cuando tenemos un prototipo de alta fidelidad.
C. Solo cuando se diseñan las funcionalidades más simples.
D. Siempre, aunque no sea necesario.
2. ¿Cuál de las siguientes no es una técnica de evaluación de la usabilidad con usuarios?
A. Card sorting.
B. Entrevista.
C. Evaluación heurística.
D. Grupos de discusión.
3. ¿Es necesaria una evaluación heurística antes de realizar un test con usuarios?
A. No, aunque sí es muy recomendable.
B. Sí, ya que nos da mucha información.
C. Sí, ya que la opinión del experto pesa más que la de los usuarios.
D. B y C son correctas.
4. En un test con usuarios, ¿qué tipo de evaluadores debemos reclutar?
A. Usuarios con y sin experiencia.
B. Usuarios con variados niveles de conocimientos tecnológicos.
C. Usuarios con distintos perfiles sociodemográficos.
D. Todas las anteriores son correctas.
5. ¿Cuál es el número óptimo de evaluadores que se necesitan en un test con usuarios?
A. Uno, para que no haya incongruencias ni sesgo.
B. Un máximo de tres, cada uno con un perfil diferente de edad.
C. Cinco, ya que así conseguimos conocer más del 90 % de los problemas.
D. El máximo que permita nuestros recursos.
TEMA 4 – Test 15 © Universidad Internacional de La Rioja (UNIR)
Usabilidad, Accesibilidad y Métricas para Sitios Web
6. ¿Qué tres personas son necesarias en una evaluación mediante test de usuarios?
A. El usuario, el moderador y el observador.
B. El usuario, el diseñador y el desarrollador.
C. El usuario, el desarrollador y una persona neutral que no conozca el producto.
D. Todas las anteriores son correctas.
7. ¿Cuál de las siguientes tareas no se corresponde con la de un facilitador en un test con
usuarios?
A. Hacer que el usuario se sienta cómodo.
B. Evitar la fatiga física del usuario.
C. Mantener una relación empática con el usuario.
D. Ayudar al usuario a hacer las tareas propuestas.
8. Según el espacio donde desarrollemos las pruebas, ¿qué tipo de test con usuarios
podemos encontrar?
A. Formales e informales.
B. Informales y de guerrilla.
C. Formales y de laboratorio.
D. Ninguna de las anteriores es correcta.
9. Según dónde se encuentre el usuario físicamente durante las pruebas, ¿qué tipo de
test con usuarios podemos encontrar?
A. Remotas y virtuales.
B. Remotas y presenciales.
C. Moderadas e informales.
D. Ninguno de las anteriores es correcta.
10. En un test con usuarios, debemos tratar a estos como expertos en usabilidad.
A. Sí, siempre.
B. Solo cuando sean realmente expertos en usabilidad.
C. Solo cuando tengan un alto nivel de conocimiento tecnológico.
D. No, hay que tratarlos como usuarios, a todos por igual.
TEMA 4 – Test 16 © Universidad Internacional de La Rioja (UNIR)
