Sensorimetría

¿Cómo evaluar a los evaluadores?

La formación de un panel de catadores es, sin duda, un proceso largo y tedioso que incluye
toda una serie de etapas secuenciales diseñadas con el fin de garantizar la fiabilidad y la
validez de las medidas obtenidas. En todas y cada una de estas etapas, la sensometría juega
un papel fundamental puesto que es la herramienta que nos permitirá decidir y evaluar, de
forma objetiva, la efectividad de las tareas realizadas.

Las principales etapas de la creación de un panel de catadores son el reclutamiento de los

candidatos, la selección y entrenamiento genéricos y específicos de los mismos y finalmente
su validación y seguimiento, incluyendo tanto las posibles medidas correctoras que sean
necesarias como su posterior evaluación. En este trabajo se describe y discute el papel de la
sensometría en cada una de estas etapas, así como sus diferentes opciones y posibles
aplicaciones sin entrar en detalles matemáticos. La figura 1 muestra de forma esquemática las
distintas fases involucradas en la formación de un panel de catadores y su analogía con
cualquier otra medida instrumental.

Figura 1: Etapas de la formación de un panel de catadores y su analogía con el análisis

instrumental [Ampliar vista]
En el caso particular del vino, sólo la evaluación sensorial permite medir y valorar la calidad del
producto y el grado de placer obtenido en el momento de su consumo. Tanto el viticultor como
el enólogo no tienen otros métodos más efectivos para controlar la calidad de su trabajo.
Dentro de la evaluación sensorial existen multitud de pruebas diferentes en función del objetivo
buscado, como podremos observar en los ejemplos mostrados en este trabajo.

Reclutamiento de los catadores

Si bien se trata de una etapa fundamental, es en la que la aplicación de la sensometría resulta

menos útil. El objetivo de esta primera etapa es conseguir una muestra de candidatos lo
suficientemente grande como para poder llevar a cabo todas las etapas siguientes sin tener
que verse obligado a mantener individuos poco apropiados en el grupo para alcanzar un
tamaño de panel adecuado. El tamaño final del panel debería ser como mínimo de 8 personas,
por lo que es muy aconsejable reclutar, por lo menos, el doble de los candidatos que serán
necesarios para formarlo.

Si bien es cierto que existen paneles de catadores con un menor número de individuos, desde
un punto de vista de funcionamiento práctico, especialmente cuando existan desacuerdos
importantes entre individuos en determinadas muestras, es fundamental contar con un número
de catadores lo suficientemente elevado como para poder tomar
decisiones con ciertas garantías estadísticas. Asimismo, en el caso de que el panel realice
pruebas discriminantes o valore atributos de forma cualitativa (presencia/ausencia), el número
de catadores resultará esencial a la hora de estimar la significación estadística, y por tanto la
credibilidad de la información obtenida.

Así, por ejemplo, la tabla 1 muestra el número de aciertos que serían necesarios en una prueba
triangular para poder concluir la existencia de diferencias estadísticas entre dos vinos en
función del tamaño del panel de catadores (ISO 4120:2004).
Tabla 1: Número de aciertos necesarios en una prueba triangular para concluir la existencia de
diferencias entre dos muestras
Como puede observarse en la tabla, con un panel de 6 catadores prácticamente se requiere el
consenso de todos ellos para poder concluir la existencia de diferencias, mientras que con un
panel de 8 catadores puede existir una mayor discrepancia sin que eso afecte al resultado
final. Es por ello que las normativas existentes para paneles de cata de otros productos, como
por ejemplo la del aceite de oliva virgen, exigen paneles con un mínimo de 8 catadores
(Reglamento (CE) Nº 640/2008).

Selección de los catadores

Tanto si se trata de la selección genérica como de la selección específica, existen una infinidad
de pruebas estadísticas que pueden realizarse con los resultados obtenidos de los candidatos.
En esta etapa, lo más habitual es recurrir a pruebas discriminantes simples, por lo que la
estadística aplicable suele ser bastante sencilla y está ampliamente descrita en las distintas
normas ISO e UNE existentes (AENOR, 2010). De todas formas y en función de la complejidad
del programa de selección de catadores que se realice, podrán utilizarse técnicas más
avanzadas que incluso incorporen procedimientos multidimensionales.

Tal como indica Guerrero (1995), la selección de los miembros que formarán el panel de
análisis sensorial es, probablemente, la parte más importante y también la más descuidada de
todo el proceso de formación de esta herramienta analítica. Según este autor, de poco sirve un
complejo y extenso programa de entrenamiento si las características de las personas
seleccionadas no superan unos mínimos necesarios. Por lo que diseñar pruebas de selección
más complejas que impliquen también la aplicación de técnicas estadísticas más potentes,
debería constituir una obligación más que una recomendación. En cualquier caso, e
independientemente de las pruebas que se realicen en esta etapa, al final el jefe del panel
dispondrá de abundante información sobre todos y cada uno de los candidatos con la que
tendrá que decidir quiénes pasarán a la fase de entrenamiento y quiénes quedan descartados.

«La sensometría debe evitar que la selección objetiva dependa de relaciones personales del
jefe de panel con los candidatos catadores.»
En este proceso la sensometría debería tener un papel fundamental a la hora de efectuar una
selección objetiva que no dependa de la relación personal que el jefe de panel haya podido
tener con cada uno de los candidatos. Así, y dependiendo de las pruebas realizadas, se
podrán aplicar técnicas multidimensionales que integren todos los datos disponibles y
permitan una visualización global de los mismos y que incluso ponderen la diferente
importancia de las distintas pruebas realizadas.

En cualquier caso, lo que resulta fundamental es no efectuar la selección de los individuos

basándose únicamente en unas pocas pruebas sensoriales, especialmente si estas hacen
referencia a la sensibilidad individual. Está ampliamente demostrado que el entrenamiento
modifica notablemente los distintos umbrales, además de verse estos también afectados por la
condición física en el momento de realizar la prueba e incluso por el estado de ánimo puntual
del individuo (Hoehl et al., 2013). No es de extrañar que catadores aparentemente poco
sensibles puedan mejorar espectacularmente durante el entrenamiento, mientras que otros
inicialmente más sensibles no experimenten ninguna o poca mejora tras este proceso.

Entrenamiento de los catadores

Durante el entrenamiento, los catadores deberán familiarizarse con los atributos a evaluar, así
como con su intensidad en el caso de que se utilicen perfiles descriptivos cuantitativos. En
esta etapa la sensometría nuevamente podrá jugar un papel fundamental y constituirá una
herramienta poderosa para seleccionar los atributos más adecuados, determinar que
productos de referencia son los más indicados para cada descriptor (Gomis-Bellmunt et al.,
2017), guiar a los catadores mostrándoles sus propios resultados, etc.

La figura 2 muestra un ejemplo de la aplicación de un análisis de correspondencias simple

efectuado sobre los datos de un Napping® con el fin de valorar la calidad de distintas
referencias aromáticas para su uso durante el entrenamiento del panel. Mediante este método
puede examinarse en dos dimensiones la proximidad entre el tipo de aroma (en color azul) y la
descripción otorgada por los catadores (color rojo), observándose en este caso un buen
acuerdo global entre ambos para la mayoría de aromas.
Figura 2: Análisis de correspondencias simple realizado para evaluar la calidad de diferentes
referencias aromáticas [Ampliar vista]

Es importante remarcar que la selección y aplicación de las diferentes técnicas estadísticas

dependerá del tipo de datos con los que se esté trabajando. Así podremos tener perfiles
cuantitativos, perfiles ordinales, perfiles cualitativos (frecuencias) y perfiles mixtos como
resultado de la combinación de dos o más de los anteriores. Desde un punto de vista
puramente estadístico lo más adecuado es utilizar escalas cuantitativas, ya que permitirán un
análisis más profundo de la información y fijar unos criterios más claros y objetivos a la hora de
valorar la calidad de nuestros catadores. Sin embargo, en ocasiones esto no resulta fácil dado
el elevado número de atributos diferentes con los que nos podemos encontrar, como suele
ocurrir en el caso del vino, ya que sería necesario desarrollar referencias de intensidad (mínimo
dos e idealmente tres) para cada uno de ellos.

Las referencias son una herramienta imprescindible durante el entrenamiento de un panel ya

que no solo nos ayudarán a mostrar al grupo el estímulo a valorar, sino que además nos
permitirán definir su escala de intensidad. Está demostrado que el uso de referencias reduce el
tiempo de entrenamiento necesario y los problemas relacionados con el lenguaje. Por otro
lado, las referencias son la mejor forma de convertir en objetivas y comparables las
puntuaciones dadas por un panel (Rainey, 1986).
Durante el entrenamiento deberemos verificar el funcionamiento del panel para poder decidir
en qué momento podemos dar por finalizada esta etapa. El proceso a seguir sería el mismo
que se describe a continuación para verificar la fiabilidad de un panel de cata.

En cualquier caso, es importante remarcar que el entrenamiento de un panel no finaliza nunca,

incluso después de acabar el entrenamiento inicial es necesario continuar realizando sesiones
adicionales para refrescar conceptos, evaluar y discutir muestras conflictivas e introducir las
modificaciones metodológicas que sean convenientes.

Verificación de la fiabilidad de un panel

Se trata sin duda de la etapa más interesante desde el punto de vista estadístico. Es en esta
etapa del proceso de formación de un panel donde la sensometría desarrolla su máxima
potencialidad. Asimismo constituye un requisito indispensable dentro de cualquier sistema de
calidad, ya que toda medida que se realice debe ir acompañada de su correspondiente
incertidumbre. Este punto es de especial relevancia en el caso de que se busque la
acreditación del panel, en la que normalmente se exigirá demostrar que se cumple con los
requisitos de funcionamiento y de calidad establecidos en la normativa ISO17025:2005.
Concretamente, en el caso del análisis sensorial, existe una normativa ISO (ISO 11132:2012)
que detalla de forma precisa el procedimiento más adecuado para la verificación del
funcionamiento de un panel de catadores basado en perfiles cuantitativos.

Durante el estudio de fiabilidad de un panel existen cuatro parámetros fundamentales que

deberían evaluarse independientemente del tipo de escalas y perfiles que se estén utilizando.
Los parámetros son la repetibilidad, la reproducibilidad, la capacidad discriminante y la
exactitud, tanto individuales (catador a catador) como del panel en su conjunto.

«Repetibilidad, reproducibilidad, capacidad discriminante y exactitud son los cuatro

parámetros a evaluar.»

Para la obtención de estos indicadores de calidad individuales y del panel es necesario realizar
una prueba específica en unas condiciones experimentales perfectamente controladas que
garanticen que reducimos al máximo la incidencia de factores externos (homogeneidad de las
muestras, orden de presentación, temperatura y cantidad de muestra, contenedor, lugar de
realización de la prueba, etc.).
En general, y con el fin de poder garantizar que dispondremos del suficiente número de datos
como para poder estimar adecuadamente todos estos parámetros, es recomendable la
realización de tres sesiones de cata como mínimo, en las que habrá muestras repetidas dentro
de la sesión (para estimar la repetibilidad), muestras repetidas entre sesiones (para estimar la
reproducibilidad) y si es posible muestras de referencia para estimar la exactitud. Las técnicas
estadísticas a utilizar, los parámetros a determinar y los niveles de tolerancia para cada uno de
ellos dependerán de cada panel, del tipo de datos que se generen (cualitativos o cuantitativos)
y de los objetivos que se persigan con él.

En todos los casos es muy recomendable utilizar procedimientos gráficos para mostrar los
resultados obtenidos a los catadores, ya que eso permitirá que puedan visualizar de una forma
sencilla en qué atributos se desvían, con qué intensidad y en qué dirección. Este es el primer
paso para poder corregir esas desviaciones y conseguir mejorar la calidad global del panel. En
el caso de utilizar variables continuas puede recurrirse a programas gratuitos como el
PanelCheck, que permite verificar el funcionamiento de un panel de una manera rápida, fácil y
visual.

La figura 3 muestra un ejemplo del tipo de información que proporciona este programa.
También pueden aplicarse técnicas gráficas más complejas como el análisis de componentes
principales, el análisis Procrustes generalizado o incluso el análisis factorial múltiple, que
permiten visualizar tanto los resultados individuales como los de todo el panel en su conjunto.
Algunos de estos procedimientos también pueden aplicarse sobre datos ordinales e incluso
sobre tablas de frecuencias.

Quizás uno de los aspectos más importantes a la hora de verificar un panel de catadores y que
no siempre es posible estimar adecuadamente es el de la exactitud. Resulta muy complicado
poder determinar cuáles son los atributos sensoriales reales que posee una muestra y su
intensidad. Por ello la realización de estudios intercomparativos constituye la mejor manera de
comprobar el correcto funcionamiento de cualquier panel de catadores y de definir las
correspondientes medidas correctivas, tanto para el panel en su conjunto como para cada uno
de los catadores que lo integran.

Figura 3: Ejemplo de resultados proporcionados por el programa PanelCheck para verificar el

funcionamiento de un panel de catadores [Ampliar vista]

La sensometría proporciona poderosas herramientas en todas y cada una de las etapas de

formación de un panel, eliminando la subjetividad de este proceso y permitiendo estimar la
incertidumbre de las valoraciones que de él se derivan. Si bien existen numerosas técnicas con
distinto grado de complejidad, en la mayor parte de los casos basta con simples cálculos para
determinar tanto la calidad de nuestra herramienta de medida sensorial como la fiabilidad de la
información que de ella se deriva.
Bibliografía utilizada y sugerida

AENOR: Análisis sensorial. Madrid: AENOR (Asociación Española de Normalización y

Certificación). Segunda edición, 2010.

ISO: ISO 4120:2004. Sensory analysis – Methodology – Triangle test, 2004. ISO: ISO
17025:2005. Conformity assessment. General requirements for the competence of testing and
calibration laboratories, 2005.

ISO: ISO 11132:2012. Sensory analysis-Methodology- Guidelines for monitoring the

performance of a quantitative sensory panel, 2012.

Gomis-Bellmunt A., Claret A., Ledesma R., Lazo O., Pérez-Elortondo F.J. y Guerrero L.: II
Congreso Nacional AEPAS, Valencia, 17-20 octubre 2017.

Guerrero L.: Selección de catadores: por qué y cómo. I Simposio del Olivo Arbequino en
Catalunya. Borges Blanques (Lleida), 9-10 noviembre 1995.

Hoeh, K., Schoenberger G.U., Schwarz K., Busch-Stockfisch M.: Is perception of sucrose and
caffeine affected by training or experience? Monitoring training effects in female subjects over a
half-year period. Journal of Sensory Studies 2013; 28 (1): 1- 13.

Rainey B.A.: 1986. Importance of reference standards in training panellists. Journal of Sensory
Studies 1986; 1: 149-54.