SISTEMA AUTOMATIZADO DEL MÉTODO DE CONSULTAS A EXPERTOS
Autores:
MSc. Sandra Hurtado de Mendoza Fernández,
Programador. Tomás Daniel Méndez Romeo
Resumen
Para demostrar la veracidad de una investigación teórica se usan métodos cualitativos de
pronósticos y comprobación o Métodos de Consultas a Expertos , basados en la
deducción a partir de datos empíricos para su comprobación científica, fundamentados
en la experiencia y conocimientos de un grupo de expertos.
Estos son especialistas con un elevado nivel de calificación, capaces de ofrecer
valoraciones conclusivas de un problema con un máximo de competencia. En la
Selección de Expertos se utiliza la metodología elaborada por el Comité Estatal para la
Ciencia y la Técnica de Rusia, para la determinación de la competencia de los expertos.
Se procesan los criterios y opiniones del grupo de expertos para validar sus propuestas
sustentadas en conocimientos, investigaciones, experiencia, estudios bibliográficos. Se
aplica la valoración de aspectos, Método Delphi de pronóstico cualitativo desarrollado
en Estados Unidos, con la utilización sistemática de estas valoraciones intuitivas para
obtener un consenso de opiniones.
Para analizar que grado de coincidencia existe entre valoraciones de los expertos y
demostrar la veracidad y confianza de la indagación científica probando la confiabilidad
del criterio, se utiliza la prueba estadística Coeficiente de Concordancia de Kendall.
Realizar este trabajo con un Sistema Automatizado reduce los costos al poder
almacenar mayores volúmenes de información y aumentar la productividad en las
encuestas, mejorar nuestra capacidad en la toma de decisiones, al contar de manera casi
inmediata con la información precisa. Además de garantizar la optimización del flujo de
información por la rapidez, fiabilidad, confidencialidad y seguridad de los datos y su
procesamiento.
Método de Consultas a Expertos
• Selección de expertos,
• Análisis de valoración de aspectos (Método Delphi),
• Análisis de la concordancia en la valoración de aspectos (Coeficiente de Kendall).
Introducción.
Ante cada indagación científica nos enfrentamos al reto de demostrar la veracidad de
nuestras investigaciones. Muchas veces la práctica se convierte en un método seguro,
pero cuando la búsqueda es completamente teórica ¿cómo demostrar la fidelidad de
nuestra propuesta?
Desde la década de 1950 el uso de los métodos cualitativos de pronósticos y
comprobación se han popularizado. Estos métodos se utilizan más cuando no existe un
conjunto de datos históricos útiles en los cuales pueda basarse un análisis. Los análisis
cualitativos son cada vez más importantes y comienzan a formar parte de las
investigaciones en múltiples esferas.
Para considerar como pronóstico este tipo de análisis, debe ser una previsión expuesta
como resultado y conclusión, basada en la deducción a partir de datos empíricos o
supuestos suficientemente demostrados, para posibilitar su propia comprobación
científica. Pero cuando sólo poseemos bases subjetivas se hace necesario la aplicación
de métodos que estén estructurados a partir de la aceptación de la intuición como una
comprensión sinóptica de la realidad, basadas en la experiencia y conocimientos de un
grupo de personas consideradas autoridades en la materia a tratar, estos métodos son
conocidos como métodos subjetivos o métodos de consultas a expertos.
Un método de pronóstico cualitativo es el método Delphi, su nombre proviene del
oráculo Delfos de la antigua Grecia. Fue desarrollado por Olaf Helmer y otros en la
Rand Corporation a mediados de la década de 1960, con el objetivo de elaborar
pronósticos a largo plazo, teniendo en cuenta la utilización sistemática de las
valoraciones intuitivas de un grupo de expertos para obtener un consenso de opiniones
informadas.
Un perfecto acuerdo entre las partes daría mayor validez a nuestro estudio, p ara
demostrar la veracidad y confianza de la indagación científica necesitamos probar la
confiabilidad del acuerdo entre expertos. Para eso podemos utilizar el modelo de la
prueba estadística Coeficiente de Concordancia de Kendall que nos ayuda a comprobar
el grado de coincidencia de las valoraciones realizadas por lo expertos.
Realizar este trabajo con un sistema automatizado nos permite reducir los costos al
poder almacenar mayores volúmenes de información y así aumentar la productividad en
las encuestas a realizar, mejorar nuestra capacidad en la toma de decisiones, al contar de
manera casi inmediata con la información precisa. Además de garantizar la
optimización del flujo de información por la rapidez, fiabilidad, confidencialidad y
seguridad de los datos y su procesamiento.
Selección de expertos.
Uno de los problemas principales es decidir quienes son los expertos o conocedores del
tema a analizar. Los expertos pueden ser especialistas internos o externos. Se entiende
por experto tanto al individuo u organización, con un elevado nivel de calificación en
una esfera, capaz de ofrecer valoraciones conclusivas de un problema en cuestión con
un máximo de competencia.
Para este análisis se utiliza la metodología elaborada por el Comité Estatal para la
Ciencia y la Técnica de Rusia, elaborado en 1971, para la determinación de la
competencia de los expertos.
Veamos los pasos a seguir:
• Confeccionar un listado inicial de personas posibles de cumplir los requisitos para ser
expertos en la materia a trabajar, previamente consultada su disposición para participar.
• Realizar una valoración sobre el nivel de experiencia que poseen, evaluando de esta
forma los niveles de conocimientos que poseen sobre la materia. Se les realiza una
primera pregunta para una autoevaluación de los niveles de información y
argumentación que tienen sobre el tema en cuestión.
En esta pregunta se les pide que marquen con una X, en una escala creciente del 1 al 10, el
valor que se corresponde con el grado de conocimiento o información que tienen sobre el
tema a estudiar.
Expertos 1 2 3 4 5 6 7 8 9 10
1
2
3
• A partir de aquí se calcula fácilmente el Coeficiente de Conocimiento o
Información (Kc), a través de la siguiente fórmula:
Donde:
Kc: Coeficiente de Conocimiento o Información
n: Rango seleccionado por el experto
• Se realiza una segunda pregunta que permite valorar un grupo de aspectos que influyen
sobre el nivel de argumentación o fundamentación del tema a estudiar.
Fuentes de argumentación o fundamentación Alto Medio Bajo
1 Su experiencia teórica
2 Su experiencia práctica
3 Bibliografía nacional consultada
4 Bibliografía internacional consultada
5 Su conocimiento del estado del problema
6 Su intuición
• Aquí se determinan los aspectos de mayor influencia. A partir de estos valores re
flejados por cada experto en la tabla se contrastan con los valores de una tabla patrón:
Fuentes de argumentación o fundamentación Alto Medio Bajo
1 Su experiencia teórica 0.30 0.20 0.10
2 Su experiencia práctica 0.50 0.40 0.20
3 Bibliografía nacional consultada 0.05 0.05 0.05
4 Bibliografía internacional consultada 0.05 0.05 0.05
5 Su conocimiento del estado del problema 0.05 0.05 0.05
6 Su intuición 0.05 0.05 0.05
• Los aspectos que influyen sobre el nivel de argumentación o fundamentación del tema
a estudiar permiten calcular el Coeficiente de Argumentación (Ka) de cada experto:
Ka = Sumatoria n i = (n 1 + n 2 + n 3 + n 4 + n 5 + n 6 )
Donde:
Ka: Coeficiente de Argumentación
n i : Valor correspondiente a la fuente de argumentación i (1 hasta 6)
• Una vez obtenido los valores del Coeficiente de Conocimiento (Kc) y el Coeficiente
de Argumentación (Ka) se procede a obtener el valor del Coeficiente de Competencia
(K) que finalmente es el coeficiente que determina en realidad que experto se toma en
consideración para trabajar en esta investigación. Este coeficiente (K) se calcula de la
siguiente forma:
Donde:
K: Coeficiente de Competencia
Kc: Coeficiente de Conocimiento
Ka: Coeficiente de Argumentación
• Posteriormente obtenido los resultados se analizan de la manera siguiente:
0,8 = K = 1,0 Coeficiente de Competencia Alto
0,5 = K < 0,8 Coeficiente de Competencia Medio
K < 0,5 Coeficiente de Competencia Bajo
• El investigador debe utilizar para su consulta a expertos de competencia alta, no
obstante puede valorar si utiliza expertos de competencia media en caso de que el
coeficiente de competencia promedio de todos los posibles expertos sea alto, pero nunca
se utilizará expertos de competencia baja.
Para la confección del listado de expertos, se tendrá en cuenta el coeficiente de
competencia, pero también es importante analizar la calidad de cada uno de ellos: su
conducta activa, su juicio autocrítico, su ética en la discusión, su creatividad y
disposición en la solución del problema, su capacidad de análisis y pensamiento para
resolver de forma eficiente una problemática que exija un criterio que enfrente marcos
tradicionales o actuales, además su posibilidad real de participación.
Después de confeccionado este listado se les envía a todos una carta invitándolos a
participar en el peritaje. En ella se le explicará el objetivo de la realización de la
encuesta, el plazo y orden de ejecución, así como el volumen total del trabajo. Además
se le informará su inclusión en el peritaje y las instrucciones necesarias para contestar
las preguntas. Con esto termina el trabajo de selección.
Análisis de valoración de aspectos (Método Delphi).
Después de seleccionado el grupo de expertos podemos aplicar el método Delphi para el
procesamiento de sus criterios y opiniones.
Este proceso nos permite consultar un conjunto de expertos para validar nuestra
propuesta sustentada en sus conocimientos, investigaciones, experiencia, estudios
bibliográficos, etc. Da la posibilidad a los expertos de analizar el tema con tiempo sobre
todo si no hay posibilidades de que lo hagan de manera conjunta. Casi siempre sus
ocupaciones lo impiden por los niveles de responsabilidad de cada uno y la dispersión
de los lugares de ubicación de los mismos.
Para este análisis se mantienen aislados los expertos con objeto de minimizar el efecto
de presión social y otros aspectos del comportamiento de pequeños grupos. No existe
una estructura rígida para aplicar el método Delphi, pero es usual que se siga una
determinada secuencia. Su uso en general requiere una considerable flexibilidad para
satisfacer las necesidades de la situación, un análisis comparativo de la introducción y la
expansión del nuevo producto, basando la comprobación en patrones de similitud.
Este método no requiere que se llegue a un consenso. El objetivo es obtener un número
de opiniones que se haya reducido por la aplicación del método, esta información sirve
después para validar el producto. Como investigación es un proceso sistemático, formal
y profundo para obtener y probar las hipótesis sobre el tema en cuestión.
La técnica se caracteriza por permitir el análisis de un problema complejo dando
independencia y tranquilidad a los participantes, es decir, a los expertos. Siempre se
comenzaría este proceso enviando un modelo a los expertos con una explicación breve
sobre los objetivos del trabajo y los resultados que se desean obtener.
La secuencia establecida es la siguiente:
• Se manda un cuestionario a los expertos y se les pide que den su opinión en los temas
de interés.
• Se analizan las respuestas y se identifican las áreas en que están de acuerdo y en las
que difieren.
• Se manda un análisis resumido de todas las respuestas a los expertos, se les pide que
llenen de nuevo el cuestionario y den sus razones respecto a las opiniones en que
difieren.
• Se repite el proceso hasta que se estabilizan las respuestas.
Se les presentan a los expertos los temas, aspectos o cuestiones a valorar previamente
determinados por el investigador, a través de una tabla de Aspectos / Rangos de
Valoración.
Generalmente los rangos de valoración son 5, es decir, Inadecuado, Poco Adecuado,
Adecuado, Bastante Adecuado y Muy Adecuado a los que asignamos valor numérico
del 1 al 5 en el mismo orden.
Pero en caso de que estos aspectos no estén determinados previamente podemos utilizar
la experiencia y conocimientos de los expertos para conformar los aspectos a valorar.
Este proceso se realiza en dos momentos:
Primeramente se les solicita que hagan sus propuestas acerca de los aspectos de
investigación a evaluar, de forma detallada y por escrito. Se da un plazo prudencial a los
expertos para que desarrollen sus ideas.
El procesamiento de las ideas que llegan como colofón de la primera vuelta hace que se
estructure una propuesta más compleja, que puede entrar en contradicción con alguna de
ellas, pero que recoge los elementos enriquecedores de las más adecuadas.
Se realiza, entonces, la segunda vuelta, es decir, una nueva consulta. Se puede
confeccionar un instrumento que permita la valoración de los principales aspectos
relacionadas con el tema de investigación, los cuales se modelan a partir del análisis de
los resultados del estudio de la bibliografía y los criterios de la primera vuelta. El
instrumento se debe elaborar de forma tal que ante cada aspecto a valorar, las respuestas
sean lo más cerradas posibles y al mismo tiempo, dando la posibilidad de argumentar
con amplitud.
El número de vueltas depende de la complejidad del problema y de las capacidades de
los participantes, hasta llegar a una solución exenta de contradicciones.
Con esto logramos que aunque los expertos consultados no estén juntos, en ocasiones,
se produzca algo similar a una “tormenta de ideas” y se hace posible el procesamiento
de variaciones de solución compleja y moderna, diferente a lo acostumbrado, junto con
la ventaja de llegar a propuestas refinadas, basadas en la realización de trabajo
independiente y sosegado. Entonces se procede a independizar al máximo los criterios
subjetivos, o sea, normalizar o tipificar las respuestas de los expertos para llegar a un
criterio lo más objetivo posible.
Posteriormente se someten estos criterios vertidos por los expertos a una prueba
estadística no paramétrica, ya que son indagaciones propias de las ciencias sociales, con
el propósito de darle validez a la investigación.
Esta prueba permite concluir que valoración final que tiene cada uno de los aspectos a
evaluar.
Previamente se construye una tabla de Aspectos a Evaluar / Rangos de Valoración (de 1 a 5)
donde se registran los criterios de los expertos en cada rango de valoración para los diferentes
aspectos a evaluar. Es evidente que esta tabla debe ser única por cada experto.
Aspectos a Inadecuado Poco Adecuado Bastante Muy
Evaluar 1 Adecuado 3 Adecuado Adecuado
2 4 5
1
2
3
Los pasos son:
• Obtención de la tabla de frecuencia observada, suma de las valoraciones por aspectos
de cada experto.
• Obtención de la tabla de frecuencia acumulativa.
• Obtención de la tabla de frecuencia acumulativa relativa.
• Asignación a partir de la tabla de Z de la distribución normal, del valor de la imagen
que corresponde a cada frecuencia acumulativa relativa obtenida.
• Obtención de los puntos a través del cálculo de N-P, donde:
N = Sumatoria de la Suma por Aspectos / (No. de Rangos de Valoración x No. de
Aspectos)
P = Promedio por Aspectos
• Se divide la recta por categorías a partir de los Puntos de Corte y se ubican los puntos
N-P para determinar la categoría de cada aspecto.
Puntos de Corte = Sumatoria Rangos de Valoración
No. de Aspectos a Evaluar
• Análisis de la información obtenida.
Con estos resultados podemos otorgar los respectivos rangos de valoración a cada
aspecto analizado, es decir, Muy Adecuado, Bastante Adecuado, Adecuado, Poco
Adecuado e Inadecuado o sencillamente otorgarle un grado de jerarquía del 1 al 5
respectivamente.
Estos valores tipificados se envían a los expertos junto con la tabla inicial donde se
encuentran los criterios emitidos y se les solicita su opinión.
Si hay variación respecto a lo que plantearon inicialmente, se vuelven a procesar los
nuevos rangos de valoración con el mismo procedimiento y se consultan las veces que
sea necesario hasta que no haya más modificaciones en los criterios.
Se realizan cuantas vueltas sean necesarias hasta que los expertos decidan no variar más
su opinión.
Análisis de la concordancia en la valoración de aspectos (coeficiente de Kendall).
Después de obtener una proposición final en la consulta a los expertos necesitamos
demostrar su confiabilidad, debemos probar el nivel de acuerdo entre los expertos para
otorgar mayor autenticidad a nuestro estudio, es preciso comprobar el grado de
coincidencia de las valoraciones realizadas por lo expertos.
Podemos utilizar entonces el Coeficiente de Concordancia de Kendall, que constituye
un estadígrafo muy útil en estudios de confiabilidad entre expertos de una materia, al
determinar la asociación entre distintas variables. Es una medida de coincidencia entre
ordenaciones que pueden ser objetos o individuos. En este caso el coeficiente
concordancia (W) será un índice de la divergencia del acuerdo efectivo entre los
expertos mostrado en los datos del máximo acuerdo posible (perfecto).
Para la aplicación del Coeficiente de Concordancia de Kendall (W), se construye una tabla
Aspectos a evaluar / Expertos donde se asientan en una tabla los rangos de valoración (en
términos numéricos, 1 a 5) asignados a cada aspecto evaluado contra cada uno de los
expertos, siempre tomando los datos a partir de la tabla que se uso en el método Delphi, o
sea, la tabla de Aspectos / Rangos de Valoración donde se encuentran los criterios de los
expertos y los rangos de valoración.
Aspectos a Experto 1 Experto 2 Experto 3 … Ultimo
Evaluar Experto
1
2
3
A partir de aquí se sigue la metodología establecida:
• Determinación de la suma de los valores numéricos asignados a cada aspecto a
evaluar, según la apreciación del experto (Rj)
• Determinación del valor medio de las Rj, dada por la sumatoria de los Rj entre N,
total de aspectos a evaluar.
• Determinación de la desviación media, dada por la diferencia entre cada Rj y el valor
de la media.
• Determinación de la suma de los cuadrados de las desviaciones medias, S.
• Determinación del cuadrado del número total de expertos, K.
• Determinación del cubo del número total de aspectos a evaluar, N.
• Determinación de la diferencia entre el cubo de N y N y su multiplicación por el
cuadrado de K.
• Determinación del estadígrafo que responde a la siguiente expresión:
En la prueba estadística Coeficiente de Concordancia de Kendall (W), el coeficiente W
ofrece el valor que posibilita decidir el nivel de concordancia entre los expertos. El
valor de W oscila entre 0 y 1. El valor de 1 significa una concordancia de acuerdos total
y el valor de 0 un desacuerdo total. Obviamente la tendencia a 1 es lo deseado
pudiéndose realizar nuevas rondas si en la primera no es alcanzada significación en la
concordancia.
Conclusiones.
Podemos concluir que el método de expertos, su procesamiento a través del método
Delphi y la verificación de concordancia a través del estadígrafo de correlación de
Kendall, tiene una serie de ventajas y desventajas dentro de los métodos básicos de
análisis cualitativos.
Ventajas:
• Se basa en la suposición de que varios expertos pueden llegar a un mejor pronóstico
que una sola persona.
• No existe secreto y se fomenta la comunicación porque a veces los pronósticos y
validaciones tienen influencia de factores sociales y pueden no reflejar un consenso.
• Como pronóstico visionario es una profecía que usa ideas y juicio personales,
intuitivos, vinculados entre sí.
Desventajas:
• Se ha criticado por su poca seguridad, demasiada sensibilidad de los resultados a la
ambigüedad de las preguntas.
• Dificultad para establecer el grado de experiencia de los miembros del panel, la
imposibilidad de que tome en cuenta lo inesperado y por los grandes retrasos entre las
repeticiones del proceso.
• Los métodos cualitativos confían principalmente en el juicio de los expertos y tienden
a ser menos precisos que los métodos cuantitativos.
A pesar de estas limitaciones y teniendo en cuenta sus cualidades positivas, su uso
actual en las organizaciones e investigaciones sugiere que con frecuencia su potencial
excede a sus limitaciones.
El procesamiento a través de un sistema automatizado, siempre garantiza la calidad de
nuestra investigación.
Bibliografía.
• Siegel S. Non-parametric statistics for the behavioral sciences. MC Graw-Hill Series
in Psychology. Book Company. 1956.
• Ostle, Bernard. Estadística Aplicada. Edit. Científica Técnica. La Habana. 1980.
• Herzberg A. Principios de Estadísticas, New York University . 1983.
• Friedman. 1940
• Kendall . 1958
• Willerman. 1955
