0% encontró este documento útil (0 votos)
121 vistas13 páginas

Application of The Analytical Hierarchy Process (AHP) For Decision-Making With Expert Judgment

Este documento describe la aplicación del Proceso de Jerarquía Analítica (AHP) para mejorar la toma de decisiones complejas que involucran juicios de expertos. Primero, se verifica que el AHP garantice las preferencias necesarias en un juicio de expertos. Luego, se aplica un procedimiento de priorización usando la media geométrica para verificar, alcanzar y mejorar el consenso del grupo. Finalmente, se ilustra el enfoque en un caso de logística industrial, obteniendo resultados positivos que demuestran su efectividad. El

Cargado por

Evelin Merino
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd
0% encontró este documento útil (0 votos)
121 vistas13 páginas

Application of The Analytical Hierarchy Process (AHP) For Decision-Making With Expert Judgment

Este documento describe la aplicación del Proceso de Jerarquía Analítica (AHP) para mejorar la toma de decisiones complejas que involucran juicios de expertos. Primero, se verifica que el AHP garantice las preferencias necesarias en un juicio de expertos. Luego, se aplica un procedimiento de priorización usando la media geométrica para verificar, alcanzar y mejorar el consenso del grupo. Finalmente, se ilustra el enfoque en un caso de logística industrial, obteniendo resultados positivos que demuestran su efectividad. El

Cargado por

Evelin Merino
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd

Ingeniare. Revista chilena de ingeniería, vol.

 27 Nº 3, 2019, pp. 348-360

Aplicación del proceso de jerarquía analítica (AHP)


para la toma de decisión con juicios de expertos

Application of the Analytical Hierarchy Process (AHP)


for decision-making with expert judgment

Adel Mendoza1  Cristian Solano¹  Daniel Palencia¹  David Garcia¹*

Recibido 17 de septiembre de 2017, aceptado 18 de julio de 2018


Received: September 17, 2017  Accepted: July 18, 2018

RESUMEN

Cuando se busca una mayor precisión en el análisis de decisiones complejas, se hace necesario recurrir
a diferentes técnicas de la Investigación de Operaciones, particularmente en la Teoría de decisiones. Sin
embargo, la mayoría de estas pueden ser inadecuadas para manejar desempates de elecciones o disparidad
en decisiones grupales por determinadas razones. En este artículo ampliamos los casos de aplicación del
esquema metodológico del Proceso de jerarquía analítica (AHP) para abordar problemas en consensos
de expertos. Primero, se verifica que esta sea una técnica que garantice el conjunto de preferencias
necesarias en un juicio de expertos, luego, aplicamos un procedimiento de priorización usando la media
geométrica, para verificar, alcanzar y mejorar el nivel de consenso de grupo por medio de esta técnica de
decisión. Finalmente, se ilustra el esquema desarrollado mediante un caso de aplicación en el sector de
la logística industrial, llegando a resultados positivos que señalan su efectividad y aplicabilidad dentro
del campo de la Teoría de decisiones.

Palabras clave: Proceso de jerarquía analítica, teoría de decisiones, investigación de operaciones.

ABSTRACT

When finely analyzing complex decisions, it is necessary to use several methods of operational research,
decision theory in particular. However, these normally cannot handle election tie-breakers or disagreement
in group decisions for certain reasons. In this article, we extend the range of the methodological scheme of
the analytical hierarchy process (AHP) to address problems in reaching consensus among experts. First,
we verify that it is a technique that guarantees the necessary set of preferences in an expert judgment;
then we apply a prioritization procedure with the geometric mean to verify, reach and improve the level of
consensus of the group via this technique. Finally, through a case of application in the industrial logistics
sector, the scheme developed is illustrated, reaching positive results that indicate its effectiveness and
applicability within the field of the Decision Theory.

Keywords: Analytic hierarchy process, decision theory, operations research.

1 Facultad de Ingenierías. Programa de Ingeniería Industrial. Universidad del Atlántico. Km 7 Antigua vía Puerto Colombia.
Atlántico, Colombia. E-mail: [email protected]; [email protected];
[email protected]; [email protected]
* Autor de correspondencia: [email protected]
Mendoza, Solano, Palencia y Garcia: Aplicación del proceso de jerarquía analítica (AHP) para la toma de decisión…s

INTRODUCCIÓN Los antecedentes a estudios de este tipo giran en


torno a propuestas de aplicación de técnicas de
Con el fin de tener estimaciones razonablemente análisis de decisiones a casos muy particulares.
correctas en determinado curso de acción y para Podemos mencionar casos de ejemplo en el sector
reducir la incertidumbre de elecciones erróneas y productivo o dentro de la gestión de la cadena de
poco fundamentadas llevadas a cabo dentro de un suministro, en la selección de diversas estrategias
proceso de toma de decisiones, se hace necesario [2-6], o hasta implementaciones en la solución a
recurrir a expertos. Un juicio de expertos es, en problemáticas sociales relacionadas con la salud,
esencia, un sondeo de opinión entre personas medio ambiente o políticas de responsabilidad
reconocidas como fuentes confiables de un tema, social [7-11]. Otros autores han propuesto esquemas
técnica o habilidad, con autoridad en una materia de consenso para juicios de expertos, que en su
específica [1]. El estudio desarrollado en este mayoría trabajan en sinergia con el Proceso de
manuscrito es una contribución conceptual y análisis jerárquico (AHP), así como la lógica
metodológica para mejorar y entender procesos difusa o el método TOPSIS [12-18], o bien con
complejos de toma de decisiones y su aplicación otras metodologías más particulares [19-23]. Del
en juicios de expertos. mismo modo, estudios anteriores de este tipo se
enfocan en trabajos de investigación de revisión
Así, esta iniciativa resulta relevante debido a la de literatura que giran en torno a estos modelos
cantidad de alternativas, opiniones y criterios que [24-27].
se pueden hacer frente a algún objeto de estudio,
por lo que se hace necesario seleccionar aquella En consecuencia, se reconoce que muchas de estas
decisión que mejor se adapte a los objetivos que se técnicas pueden pasar desapercibidas por carecer
pretenden alcanzar, logrando una sinergia entre lo que de practicidad o sencillez en su replicación, al
se quiere hacer y cómo se va a hacer. Sin embargo, tratarse de enfoques analíticos muy complicados,
ya que lo que se busca es llevar a cabo un proceso bien sea en su formulación matemática o ejecución
de toma de decisiones, estas de manera general, informática. Por su parte, otras presentan cierto tipo
se expresan de manera subjetiva o intersubjetiva, de restricciones geográficas o metodológicas, que
lo cual convierte a un proceso de este tipo en una al ser planteadas, limitan el desarrollo o aplicación
cuestión de juicio. de la técnica. También, en algunas la limitante
constituye una necesidad de adaptarse a juicios
Por lo anterior, el objetivo de esta investigación dominantes pese a que ciertos expertos presenten
es aplicar un esquema que permita desarrollar un ideas contrarias. Todo ello motiva y sustenta
juicio de expertos teniendo en cuenta aquellos la ejecución de nuevos casos de aplicación que
elementos que son indispensables en el mismo; fortalezcan métodos apropiados que se adapten a
haciendo énfasis en el consenso y el desempate exigencias específicas.
de opiniones, y que al mismo tiempo sea sencillo,
valido y aplicable para llevar a cabo procesos de El presente artículo se divide como sigue: la
decisiones complejos, permitiendo tomar ciertas siguiente sección presenta los conceptos más
acciones, bien sea para evitar veredictos sesgados, relevantes relacionados con el juicio de expertos
considerar personal experimentado en ciertos y la selección del Proceso de jerarquía analítica
campos, o simplemente reconocer que muchas (AHP) como técnica base del esquema propuesto.
veces puede que no se cuente con la autoridad o Consecutivamente, se describen los fundamentos
conocimiento necesario para realizar un dictamen. básicos del Proceso de jerarquía analítica, que se
Esto se ve ejemplificado en el caso de estudio complementa con el algoritmo de consistencia y
presentado posteriormente, en donde al realizar un una metodología para sintetizar el juicio de los
diseño de un modelo de inventario administrado por expertos. De manera posterior, se presenta un caso
el proveedor (Vendor Management Inventory o VMI) de aplicación a manera de ejemplo del análisis
para una empresa retail colombiana, fue necesario desarrollado y sus resultados. Finalmente se
consultar a un grupo de expertos académicos para indican las conclusiones del estudio discutiendo las
la selección de la técnica de modelamiento ideal limitaciones y recomendaciones para investigaciones
que sería aplicada para llevar a cabo el proyecto. futuras.

349
Ingeniare. Revista chilena de ingeniería, vol. 27 Nº 3, 2019

FUNDAMENTOS DEL JUICIO Selección del Método


DE EXPERTOS Aunque los métodos antes mencionados tienen
como fin lograr una valoración consensuada,
Si bien no hay un acuerdo unánime en relación cada uno tienen los diferentes requerimientos
con la selección de individuos o el mejor método que se exponen en la Tabla 1, entre los cuales los
a implementar en alguna situación en particular, más evidentes son la necesidad de mantener una
primeramente, conviene reconocer que existen comunicación constante con los expertos y la
diferentes métodos para llevar un juicio de expertos. necesidad de reunirlos.
Entre los más utilizados, según la literatura consultada,
está el método de agregados individuales [28-31],
en el cual, se le pide a cada experto una estimación Tabla 1. Requerimientos por método.
directa de su criterio, tratando estadísticamente los
Comunicación
datos recogidos. Dicho método no exige una reunión Reunión de
de expertos en un lugar determinado, por lo que Método constante con
expertos
no permite su interacción; sin embargo, aporta un los expertos
gran valor a la hora de evitar sesgos ocasionados Agregados individuales NO NO
por la misma. Delphi SI NO
Grupo Nominal SI SI
Otro de los métodos más populares es el método Consenso Grupal SI SI
Delphi [32-35], donde en primera instancia, cada
experto responde de manera anónima e individual
a cierto cuestionario. Después, se analizan en Al considerar necesario una valoración de
conjunto sus respuestas, remitiendo la mediana expertos de diferentes lugares, descartamos los
obtenida, así como el intervalo intercuartil y se les métodos de Grupo Nominal y Consenso Grupal.
pide que reconsideren su juicio anterior teniendo Similarmente, se descartó el método Delphi, ya
en cuenta estos datos. En cada ronda se repiten que se espera tener una participación amplia de
tales pasos, y todo juicio individual fuera del expertos, por lo que una comunicación constante
intervalo intercuartil tiene que estar justificado. con los expertos en varias rondas resultaría una
Una débil dispersión de los juicios indica que se tarea complicada. Por lo tanto, el único método
ha alcanzado un consenso. No obstante, se observa que cumple con las restricciones para un juicio
que la principal desventaja es que puede hacer de expertos apropiado corresponde al método de
que los miembros del grupo estén de acuerdo con agregados individuales.
las personas dominantes, a pesar de tener ideas
contrarias cuando reciben una retroalimentación Por otra parte, todo instrumento de medición para
en las distintas iteraciones. un juicio de expertos debe tener tres elementos:
un conjunto de alternativas, las cuales serán
También, se encuentran métodos como el grupo comparadas por los ellos, también, debe poseer
nominal y el consenso grupal [36-38], donde en el unos criterios cualitativos o cuantitativos, ya que
primero, se debe reunir a los expertos, los cuales estos serán los puntos de referencias para que
presentarán individualmente sus consideraciones cada uno emita sus juicios acerca del análisis en
y puntuaciones. Lo siguiente es realizar un debate cuestión y, por último, el objetivo del resultado, es
de los temas tratados, donde cada uno de forma decir, el propósito. Además, los roles representan
individual y por escrito, puntúa y argumenta su diferentes fuentes de información relevantes
valoración. Finalmente, se procede como con el para el funcionamiento del debate y selección,
método Delphi, con la diferencia que permite algún el cual es el fin último del método. En adición,
debate entre los expertos. En cuanto al método los roles poseen cualidades y funciones únicas
del consenso grupal, se necesita reunir a un grupo entre sí, y muy parecidas entre los mismos roles
pequeño de expertos en determinado lugar, el objetivo de diferentes juicios, por lo tanto, una adaptación
es lograr una puntuación estadística consensuada, acertada a este esquema de roles en el juicio de
permitiendo así, en gran medida, el intercambio de expertos corresponde a la propuesta por Rosqvist
información y opiniones dentro del grupo. [39] resumida en la Tabla 2.

350
Mendoza, Solano, Palencia y Garcia: Aplicación del proceso de jerarquía analítica (AHP) para la toma de decisión…s

Tabla 2. Roles en el juicio de expertos.


Rol Funciones básicas
• Presentar el estado del proceso de toma de decisiones y el resultado del objetivo de la decisión grupal.
Tomador de • Identificar y seleccionar las partes interesadas.
decisiones • Definir los recursos necesarios en el proceso.
• Proporcionar los criterios de decisión.
• Seleccionar al grupo de expertos.
• Describir el caso.
Juez
• Participa en las discusiones.
• Realizar el informe de decisión.
• Estar familiarizado con el tema.
Experto
• Analizar el tema y emitir juicios (de tipo cuantitativo y cualitativo) sobre el mismo.

PROCESO ANALÍTICO de los juicios de valor para la comparación entre


JERÁRQUICO (AHP) dos alternativas respecto a un criterio dado [40], es
decir, para establecer la importancia o preferencia
Debido a la gran cantidad de juicios emitidos por de alternativas en la matriz de comparaciones a
los expertos, se vuelve imperativo resolver un pares. Entonces, estas comparaciones pareadas
problema de criterios múltiples, con múltiples pueden estar basadas en la intuición, datos, análisis
valoraciones. Por lo anterior, el Proceso analítico previos, o experiencias. De este modo, se puede
jerárquico (Analytic Hierarchy Process o AHP por entregar homogeneidad y cierto grado de certeza
sus siglas en inglés), es una técnica que se ajusta en a cada una de las comparaciones.
gran medida a los requerimientos del problema que
se plantea, y que se puede implementar en cinco
pasos sistemáticos:

1. Desarrollo de la estructura jerárquica.


2. Representación de los juicios de valor.
3. Construcción de las matrices de juicio de valor
y matrices normalizadas.
4. Cálculo de los vectores de prioridad y consistencia.
5. Análisis de resultados.
Figura 1. Estructura Jerárquica.
La estructura jerárquica es una representación gráfica
del problema a modo de jerarquía, con el objetivo en La importancia del AHP está en la determinación
la cúspide, las alternativas en el escalón inferior, y de pesos relativos para calificar las alternativas.
los criterios en el nivel (o niveles) intermedios. Lo Al suponer que tenemos n criterios en cierta
anterior se presenta en la Figura 1. Por otro lado, jerarquía específica, el AHP establece una matriz
debido a la ambigüedad misma de los criterios de comparación por pares A de n×n, que mide el
seleccionados para el juicio de expertos, es imposible juicio del tomador de decisiones de la importancia
priorizar las alternativas de acuerdo con dichos concerniente a cada criterio. La comparación por
criterios. Dicho esto, se hace necesario utilizar una pares se ejecuta de tal modo que el criterio en la
herramienta que permita los juicios subjetivos, pero fila i (i=1, 2, 3, …, n) se califica con respecto a
al mismo tiempo reduzca la incertidumbre por la cada criterio alterno. Si 𝑎𝑖𝑗 define el elemento (𝑖,
naturaleza de los juicios personales. 𝑗) de A, el AHP utiliza la escala de Saaty del 1 al
9, donde 𝑎𝑖𝑗 = 1 representa que 𝑖 y 𝑗 tienen igual
Por tal motivo, se optó por la escala de Saaty, importancia para el experto. Luego, 𝑎𝑖𝑗 = 5 indica
presentada en la Tabla 3, para definir los valores que que 𝑖 tiene una mayor importancia que 𝑗 y 𝑎𝑖𝑗 = 9
pueden tomar los juicios emitidos por los expertos. indica que 𝑖 es extremadamente más importante que
Esta escala puede considerarse una representación 𝑗. Otros valores intermedios entre estos números

351
Ingeniare. Revista chilena de ingeniería, vol. 27 Nº 3, 2019

Tabla 3. Escala de juicio.


Escala numérica Escala verbal Descripción
Los dos elementos contribuyen igualmente
1 Igual importancia.
a la propiedad o criterio.
El elemento es moderadamente más impor- El juicio y la experiencia previa favorecen
3
tante respecto al otro. a un elemento frente al otro.
El elemento es fuertemente más importante El juicio y la experiencia previa favorecen
5
respecto al otro. fuertemente a un elemento frente al otro.
La importancia del elemento es muy fuerte
7 Un elemento domina fuertemente.
respecto al otro.
La importancia del elemento es extrema Un elemento domina al otro con el mayor
9
respecto al otro. orden de magnitud posible.
2, 4, 6, 8 Valores intermedios entre dos juicios adyacentes.
Valores intermedios entre incrementos (utilice esta escala si cree que su valoración
Incrementos 0,1
necesita un alto grado de precisión).
Inversos
1 1 1 1 1 1 1 1 Se utiliza cuando el segundo elemento es mayor en el criterio a comparar.
, , , , , , ,
2 3 4 5 6 7 8 9

tienen la notación con la relatividad correspondiente c) Determinar la media 𝜆𝑚𝑎𝑥 del resultado del
[41]. Además, se debe presentar cierta consistencia paso anterior.
en el proceso, si 𝑎𝑖𝑗 = 𝑘 entonces 𝑎𝑗𝑖 = 1/𝑘, luego d) Calcular el índice de consistencia (𝐶𝐼) para cada
todos los elementos diagonales 𝑎𝑖𝑖 son iguales a 1, criterio, donde 𝑛 es igual al número de criterios.
porque estos califican cada criterio contra sí mismo. La ecuación (1) presenta la fórmula matemática.

Una vez recopilados los juicios individuales de los λmax − n


expertos, se calculan los pesos relativos de cada CI = (1)
n −1
criterio, normalizando la matriz para crear una
nueva. Este proceso requiere básicamente dividir los e) Determinar el índice aleatorio (IA), este puede
elementos individuales de cada columna entre la suma ser calculado de manera empírica como el
de la columna. Por otro lado, para el cálculo de los promedio CI de una muestra grande de matrices
vectores de prioridad de cada criterio, es necesario de comparación generadas al azar. En la
promediar cada fila de la matriz normalizada. ecuación (2) se denota la expresión.

Medida de consistencia 1,98 ( n − 2 )


IA = (2)
En adición, es conveniente evaluar la consistencia de n
la matriz, lo que es un indicador del juicio racional por f) Establecer la razón de consistencia (CR) como
parte del tomador de decisiones. Para decidir qué nivel se presenta en la ecuación (3).
de inconsistencia es tolerable o aceptable, debemos
considerar una medida de consistencia cuantificable, CI
luego el cálculo del cociente de consistencia para cada CR = (3)
IA
matriz se obtiene siguiendo el siguiente algoritmo:
Si el resultado de la ecuación (3) es menor o igual a
a) Para cada fila de la matriz de comparación, 0,1, el nivel de inconsistencia es aceptable, con un
calcular una suma ponderada, con base a la resultado contrario se recomienda que el experto
suma del producto de cada elemento por la debe revisar sus estimaciones. De manera posterior,
prioridad calculada de cada criterio. se deben eliminar aquellas valoraciones de los
b) Para cada elemento del vector resultante del expertos que presentaron una o más matrices no
paso anterior, dividir su suma ponderada por consistentes, para luego formular las matrices de
la prioridad de su criterio correspondiente. valoraciones consensuadas, donde el valor de la

352
Mendoza, Solano, Palencia y Garcia: Aplicación del proceso de jerarquía analítica (AHP) para la toma de decisión…s

comparación corresponderá a la media geométrica CASO DE APLICACIÓN


de la comparación de pares de los expertos que no
presentaban inconsistencias (como se explica en breve). Para validar lo desarrollado con anterioridad,
se presenta un caso de estudio que consistió en
Juicio sintetizado y Media geométrica seleccionar una técnica de modelamiento para el
Dado que la técnica AHP no permite múltiples diseño de un modelo de inventario administrado
valoraciones, se hace necesario una matriz de por el proveedor (VMI) para una compañía retail
valoraciones consensuadas. Con varios expertos colombiana. Esta elección estaba a cargo del equipo
involucrados, por lo general, no se puede llegar a investigador, sin embargo, se propuso la consulta
un consenso y hay que sintetizar o desempatar el de un conjunto de expertos en el tema.
juicio. Como ya se ha mencionado, el proceso implica
realizar comparaciones entre parejas de alternativas de De manera inicial se contó con 19 expertos, su
acuerdo con un criterio dado. Los juicios individuales correcta selección fue crucial para reducir el error
se hacen comparando una alternativa A, con otra, y la incertidumbre en la elección de la técnica. Por
por ejemplo B, de acuerdo con el criterio dado de tanto, los expertos consultados contaban con campos
cada experto, y el conjunto de todos estos juicios de investigación relacionados con los objetivos del
individuales deben ser sintetizados en un solo juicio. proyecto, la información se resume en la Tabla 4.

Partiendo de que un experto calcula una relación


cuando compara dos componentes, los juicios son Tabla 4. Caracterización de expertos.
ratios. Si los individuos hubieran comparado el % de
segundo objeto, B, con el primero, A, esta proporción Campo de Investigación
Expertos
debe ser reemplazada por sus recíprocos. Es natural
Sistemas productivos y logísticos. 15,79%
asumir que en el juicio sintetizado también debe
cambiar al recíproco. Por tanto, se requiere un método Sistemas productivos y logísticos e Inves-
57,89%
que permita desarrollar una regla para el juicio de tigación de operaciones.
grupo satisfaciendo esta propiedad recíproca. Investigación de operaciones. 21,05%
Simulación. 5,26%
Por ello, nos basamos en el trabajo de Saaty y Aczél [42]
quienes demostraron que la media geométrica cumple
con satisfacción la propiedad recíproca. En contraste, Del mismo modo, contar con expertos con un
si se utiliza la media aritmética, esta propiedad no se alto nivel profesional, como se ve en la Figura 2,
mantiene. A manera de ejemplo, supongamos que y experiencia, fue otra perspectiva a considerar.
con la media aritmética la media de dos juicios con Por ello, se le pidió a cada uno valorar el grado
valores de 7 y 9 resultaría en 8, cuyo valor reciproco de influencia para diferentes fuentes, como el
es 1/8, pero en el otro lado de la matriz obtendríamos conocimiento teórico, la experiencia práctica, su
un valor de (1/7 + 1/9)/2 = 8/63 lo que difiere del valor intuición sobre el tema o investigaciones llevadas
esperado de 1/8 para mantener la matriz recíproca. a cabo, cuestionando el grado (alto, medio, bajo)
Por otra parte, utilizando la media geométrica, la en que han aportado a su conocimiento y juicio
síntesis de estos dos juicios seria 7 ⋅ 9 = 3 7, y subjetivo sobre el tema.
en al otro lado de la matriz el inverso estaría dado
por 1 / 7 ⋅1 / 9 = 7 / 21, que es el mismo valor del
reciproco esperado 1 / 7 ⋅ 9 = 7 / 21.

Finalmente, calculamos un nuevo vector de prioridad


consensuado obtenido para cada criterio, y se conforma
una matriz de prioridad, la cual se multiplica con el
vector de prioridad obtenido. El resultado final, será
un vector denotado como vector de prioridad de las
alternativas, el cual constituye la solución del problema. Figura 2. Estructura Jerárquica.

353
Ingeniare. Revista chilena de ingeniería, vol. 27 Nº 3, 2019

En la selección de alternativas, se consideraron Al aplicarse el algoritmo de consistencia, se evidenció


aquellas técnicas de modelamiento de la literatura que algunos expertos presentaban valores en la
científica consultada. Los modelos matemáticos razón de consistencia mayores a 0,1, el cual es el
analíticos (MMT) por optimización clásica, la valor considerado no aceptable, como se mencionó
Programación No Lineal (PNL), y la Teoría de anteriormente. Este hecho indicó que algunos de
Juegos (TJUE), fueron las técnicas más utilizadas estos reflejaban contradicciones. Los resultados se
por los autores para diseñar un modelo VMI y por resumen en la Tabla 5.
lo tanto, fueron las elegidas para el juicio. Esto
se sustenta en el hecho de contar con un enfoque Para el cálculo de los valores de las matrices de
recomendado, y en el que al mismo tiempo, sea valoraciones consensuadas, se procedió con la
posible contribuir en aspectos que aún no se hayan eliminación de aquellos resultados del conjunto
analizado o que convengan ser explorados. de expertos que presentaron una o más matrices
no consistentes. De manera posterior, se ejecutó la
Similarmente, para la selección de criterios se partió construcción de dichas matrices consensuadas, donde
de aquellos implicados con frecuencia en la literatura el valor de la comparación fue la media geométrica
consultada, con los cuales se construyó un listado inicial. de la comparación de pares de los expertos que no
El listado final fue obtenido mediante un consenso entre presentaron inconsistencias, tal como se explicó
los participantes del proyecto, el cual se logró definiendo con anterioridad. Los resultados para el conjunto
las necesidades o requerimientos del modelo. Los de valoraciones se presentan de la Tabla 6.
criterios seleccionados fueron los siguientes:
También, es importante aclarar que se le pidió a
• Capacidad de modelar sistemas complejos cada experto que marcara dentro de una encuesta
(CMSC). de caracterización, el grado de conocimientos que
• Posibilidad de brindar una variedad de soluciones este poseía acerca de los modelos de inventario
(VSOL). administrado por el vendedor (Vendor Managed
• Fácil aplicabilidad (FAPL). Inventory - VMI), valorándolo en una escala de 1
• Flexibilidad (FLEX). a 10 (considerando el número 1 como no poseer
conocimiento, y el número 10 como el pleno
Una estructura jerárquica ajustada al problema es conocimiento del tema tratado). Por otro lado,
la que se presenta en la Figura 3. el sesgo por pertenecer a una misma filiación
institucional supuso un problema en la emisión de
juicios personales determinados por la orientación
del perfil profesional, lineamientos investigativos,
enfoque de los programas curriculares, entre otros
factores. Por lo cual, se optó por la selección de
expertos de diferentes instituciones de educación
superior a lo largo del territorio nacional.

Luego de presentar las matrices de valoraciones


consensuadas, de acuerdo con los fundamentos
teóricos del proceso de jerarquía analítica (AHP),
fue necesario normalizar las matrices, lo cual
significa, dividir cada elemento de la matriz entre
el valor total de su columna. Por otro lado, para el
cálculo de los vectores de prioridad fue necesario
promediar cada fila de la matriz normalizada. Los
resultados de cada una de las matrices se presentan
de la Tabla 7.

Ahora bien, se conforma una matriz de prioridad


Figura 3. Estructura Jerárquica del caso. con cada vector de prioridad obtenido para los

354
Mendoza, Solano, Palencia y Garcia: Aplicación del proceso de jerarquía analítica (AHP) para la toma de decisión…s

Tabla 5. Razón de consistencia de las valoraciones de los expertos.


Comparación entre alternativas
Comparación
Experto (CMSC) (FAPL) (FLEX) (VSOL)
entre criterios
CR Estado CR Estado CR Estado CR Estado CR Estado
 1 0,056 C 0,000 C 0,010 C 0,063 C 0,039 C
 2 0,156 NC 0,000 C 0,098 C 0,993 NC 0,018 C
 3 0,016 C 0,017 C 0,008 C 0,016 C 0,042 C
 4 0,051 C 0,084 C 0,076 C 0,076 C 0,042 C
 5 0,046 C 0,084 C 0,042 C 0,032 C 0,073 C
 6 0,005 C 0,000 C 0,000 C 0,000 C 0,000 C
 7 0,459 NC 0,511 NC 0,365 NC 0,591 NC 0,012 C
 8 0,095 C 0,076 C 0,076 C 0,076 C 0,076 C
 9 0,037 C 0,007 C 0,017 C 0,016 C 0,000 C
10 0,034 C 0,017 C 0,011 C 0,039 C 0,000 C
11 0,099 C 0,033 C 0,005 C 0,048 C 0,087 C
12 0,039 C 0,093 C 0,000 C 0,000 C 0,000 C
13 0,073 C 0,077 C 0,077 C 0,077 C 0,077 C
14 0,056 C 0,033 C 0,033 C 0,033 C 0,033 C
15 0,299 NC 0,000 C 0,000 C 0,000 C 0,042 C
16 0,000 C 0,432 NC 0,432 NC 0,432 NC 0,432 NC
17 0,079 C 0,042 C 0,034 C 0,095 C 0,000 C
18 0,000 C 0,000 C 0,000 C 0,000 C 0,000 C
19 0,357 NC 0,462 NC 0,166 NC 0,055 C 0,468 NC
Convenciones: CC= Razón de consistencia. Estados: C, matriz consistente, NC, matriz no consistente.

Tabla 6. Matrices de valoraciones consensuadas.


Matriz de valoraciones consensuadas:
Convenciones Comparación de criterios.
CMSC Cap. de modelar sistemas complejos.
FAPL Fácil aplicabilidad. CMSC FAPL FLEX VSOL
FLEX Flexibilidad. CMSC 1 1,7573 2,2089 2,6031
VSOL Variedad de soluciones. FAPL 0,5690 1 1,8337 1,979
MMAT Modelo matemático analítico. FLEX 0,4527 0,5453 1 1,357
TJUE Teoría de juegos. VSOL 0,3841 0,5051 0,7367 1
PNL Programación no lineal.
Matriz de valoraciones consensuadas para cada uno de los criterios
Capacidad para modelar sistemas complejos. Fácil aplicabilidad.
MMAT TJUE PNL MMAT TJUE PNL
MMAT 1 2,3137274 1,23251 MMAT 1 1,7542252 1,652672
TJUE 0,432203 1 0,709744 TJUE 0,570052 1 1,280887
PNL 0,811352 1,4089588 1 PNL 0,605081 0,7807092 1
Flexibilidad. Variedad de soluciones.
MMAT TJUE PNL MMAT TJUE PNL
MMAT 1 2,7234164 3,135827 MMAT 1 2,5903451 2,169068
TJUE 0,367186 1 1,190065 TJUE 0,386049 1 0,995084
PNL 0,318895 0,8402899 1 PNL 0,461027 1,0049402 1

355
Ingeniare. Revista chilena de ingeniería, vol. 27 Nº 3, 2019

Tabla 7. Matrices normalizadas y vector de prioridad.


Matriz normalizada y vector de prioridad para la comparación de criterios

CMSC FAPL FLEX VSOL Vector de prioridad


CMSC 0,42 0,46 0,38 0,38 0,409
FAPL 0,24 0,26 0,32 0,29 0,275
FLEX 0,19 0,14 0,17 0,20 0,175
VSOL 0,16 0,13 0,13 0,14 0,141
Total 1 1 1 1 1
Matriz normalizada y vector de prioridad para cada criterio
Capacidad para modelar sistemas complejos. Fácil aplicabilidad.
Vector de Vector de
MMAT TJUE PNL MMAT TJUE PNL
prioridad prioridad
MMAT 0,45 0,49 0,42 0,45 MMAT 0,46 0,50 0,42 0,46
TJUE 0,19 0,21 0,24 0,22 TJUE 0,26 0,28 0,33 0,29
PNL 0,36 0,30 0,34 0,33 PNL 0,28 0,22 0,25 0,25
Total 1 1 1 1 Total 1 1 1 1
Flexibilidad. Variedad de soluciones.
Vector de Vector de
MMAT TJUE PNL MMAT TJUE PNL
prioridad prioridad
MMAT 0,59 0,60 0,59 0,59 MMAT 0,54 0,56 0,52 0,54
TJUE 0,22 0,22 0,22 0,22 TJUE 0,21 0,22 0,24 0,22
PNL 0,19 0,18 0,19 0,19 PNL 0,25 0,22 0,24 0,24
Total 1 1 1 1 Total 1 1 1 1

criterios, la cual se multiplica con el vector de Tabla 8. Vector de prioridad de las alternativas.
prioridad obtenido al realizar la comparación entre
Ranking
los criterios. El resultado, denominado vector de
prioridad de las alternativas, constituirá la solución Modelo matemático analítico 0,491
del juicio de expertos, al presentar cada una de las Teoría de juegos 0,238
alternativas y un porcentaje de preferencia para cada Programación no lineal 0,271
una de ellas. La Tabla 8 contiene los resultados. Total 1

Por otro lado, el análisis de las valoraciones


consensuadas no reflejó inconsistencias en la Tabla 9. CR en valoraciones consensuadas.
comparación de pares, es decir, las evaluaciones
fueron consistentes y no existió contradicción en Matriz CR Estado
alguna en ellas. Esto se ilustra en la Tabla 9. Comparación de criterios 0,0072 C
Capacidad para modelar sistemas
0,0075 C
De acuerdo a las Tablas 8 y 9, la técnica que mejor se complejos
ajusta a los requerimientos proyectados, incluyendo Fácil aplicabilidad 0,0085 C
los juicios de todos los expertos y presentando Flexibilidad 0,0001 C
consistencia en sus valoraciones, fue el Modelo Variedad de soluciones 0,0030 C
Matemático Analítico (MMAT) con un porcentaje
de preferencia del 49,1%, superior a la Teoría de
Juegos (TJUE) y la Programación No lineal (PNL) expertos fue correctamente llevado a cabo para la
con 23,8% y 27,1% respectivamente. Entonces, se selección de una técnica apropiada que cumpliera con
puede inferir que el proceso ejecutado de juicio de un conjunto de criterios y alternativas distinguidas.

356
Mendoza, Solano, Palencia y Garcia: Aplicación del proceso de jerarquía analítica (AHP) para la toma de decisión…s

CONCLUSIONES presentado para sintetizar los juicios a través de la


media geométrica no cuenta con muchos casos de
Con respecto al caso de aplicación, podemos implementación en la literatura, por tanto, sería
destacar que la aplicación de un juicio de expertos importante estudiar cómo se desarrollan en diversas
enfocado en un Proceso analítico jerárquico (AHP) situaciones problemas los distintos elementos
constituyó un elemento de gran utilidad y de soporte identificados en el Proceso de jerarquía analítica
en la elección del modelo matemático analítico (AHP). De forma complementaria, las diversas
como la técnica ideal para el diseño de un modelo extensiones al AHP implementadas y propuestas en
de inventario administrado por el proveedor (VMI) los últimos años (AHP-TOPSIS, fuzzy AHP, etc.),
que cumpliera con todos los criterios y elementos pueden ser aplicadas a estos problemas o al caso
establecidos. A su vez, se logró un estudio analítico de aplicación desarrollado, para posteriormente
que reconoció todo un conjunto de juicios individuales comparar sus resultados y obtener inferencias
de forma integral, sin caer en sesgos atribuidos a relevantes.
sofismas, juicios propios, u opiniones informales
de los autores del proyecto. AGRADECIMIENTOS

Ahora bien, existe una serie de limitaciones en Los autores agradecen al conjunto de expertos
estudios de este tipo, ya que no se debe olvidar que quienes colaboraron para el desarrollo del caso de
la metodología desarrollada e implementada debe aplicación presentado.
trabajarse como un complemento de la selección,
dado que es conveniente tener muy claro las distintas REFERENCIAS
alternativas y criterios para la toma de decisiones. Por
tanto, se recomienda tener fuentes de información [1] M.A. Meyer and J.B. Brooker. “Eliciting
propicias en las fases de diagnóstico de criterios and Analyzing Expert Judgment: A Practical
y alternativas, permitiendo tener una perspectiva Guide”. ASA-SIAM Series. 1st ed. pp. 3-4.
correcta de los elementos ideales para cualquier Estados Unidos. ISBN: 0898714745. 2001.
estudio. A su vez, al reconocer que algunas técnicas [2] S. Parthasarathy and S. Sharma. “Determining
de selección pueden tener una validez limitada y ERP customization choices using nominal
excluyente, el recurrir a una técnica como el Proceso group technique and analytical hierarchy
analítico jerárquico (AHP) es quizás la estrategia process”. Computers in Industry. Vol. 65 Nº 6,
más adecuada para obtener opiniones agregadas de pp. 1009-1017. Agosto 2014. ISSN: 0166-
la mejor calidad. 3615. DOI:10.1016/j.compind.2014.03.003.
[3] O.U. Akaa, A. Abu, M. Spearpoint and S.
La relevancia del estudio gira en torno al aporte de Giovinazzi. “A group-AHP decision analysis
un caso de aplicación y metodología que ayude a for the selection of applied fire protection to
consolidar procesos de toma de decisiones estratégicas, steel structures”. Fire Safety Journal. Vol. 86,
que impacten y repercutan positivamente en cualquier pp. 95-105. Noviembre 2016. ISSN: 0379-
caso de estudio o problema. Las organizaciones en 7112. DOI: 10.1016/j.firesaf.2016.10.005.
general son sistemas abiertos que están en la constante [4] B. R. Meesariganda and A. Ishizaka. “Mapping
necesidad de la toma de decisiones. Por tanto, con una verbal AHP scale to numerical scale for
estructura metodológica que soporte estos procesos, cloud computing strategy selection”. Applied
es posible obtener recomendaciones y resultados Soft Computing. Vol. 53, pp. 111-118. Abril
más satisfactorios, atribuidos a reducir el tiempo y 2017. ISSN: 1568-4946. DOI: 10.1016/j.
esfuerzo, facilitar la descripción de cualquier problema asoc.2016.12.040.
de selección al dividirlo en criterios de decisión [5] Ö.F. Gürcan, İ. Yazıcı, Ö.F. Beyca, Ç.Y.
manejables, y sobre todo, la habilidad para que los Arslan and F. Eldemir. “Third Party
tomadores de decisiones lleguen a un consenso con Logistics (3PL) Provider Selection with
la documentación y justificación adecuada. AHP Application, Procedia”. Social and
Behavioral Sciences. Vol. 235, pp. 226-234.
Finalmente, es posible identificar líneas de investigación Noviembre 2016. ISSN: 1877-0428. DOI:
para futuros estudios. El enfoque teórico y conceptual 10.1016/j.sbspro.2016.11.018.

357
Ingeniare. Revista chilena de ingeniería, vol. 27 Nº 3, 2019

[6] J.G. Vidal, M. Ramos, J.E. Azevedo and [14] S. Kubler, J. Robert, W. Derigent, A. Voisin
P.C. Cabral. “An AHP-based framework for and Y.L. Traon. “A state-of the-art survey &
logistics operations in distribution centres”. testbed of fuzzy AHP (FAHP) applications”.
International Journal of Production Economics. Expert Systems with Applications. Vol. 65,
Vol. 187, pp. 246-259. Mayo 2017. ISSN: pp 398-422. Diciembre 2016. ISSN: 0957-
0925-5273. DOI: 10.1016/j.ijpe.2017.03.001. 4174.DOI:10.1016/j.eswa.2016.08.064.
[7] K.K. Kim, C.A. O’Bryan, P.G. Crandall, S.C. [15] C. Sekhar, M. Patwardhan and V. Vyas. “A
Ricke and J.A. Neal. “Identifying baseline Delphi-AHP-TOPSIS Based Framework
food safety training practices for retail delis for the Prioritization of Intellectual Capital
using the Delphi expert consensus method”. Indicators: A SMEs Perspective”. Procedia
Food Control. Vol. 32 Nº 1, pp. 55-62. Julio - Social and Behavioral Sciences. Vol. 189,
2013. ISSN: 0956-7135. DOI: 10.1016/j. pp. 275-284. Mayo 2015. ISSN: 1877-0428.
foodcont.2012.10.009. DOI: 10.1016/j.sbspro.2015.03.223.
[8] M. Kim, Y.C. Jang and S. Lee. “Application [16] E.R. Jalao, T. Wu and D. Shunk. “A stochastic
of Delphi-AHP methods to select the AHP decision making methodology for
priorities of WEEE for recycling in a waste imprecise preferences”. Information Sciences.
management decision-making tool”. Journal Vol. 270, pp. 192-203. Junio 2014. ISSN:
of Environmental Management. Vol.  128, 0020-0255. DOI: 10.1016/j.ins.2014.02.077.
pp.  941-948. Octubre 2013. ISSN: 0301- [17] P. Ren, Z. Xu and H. Liao. “Intuitionistic
4797. DOI: 10.1016/j.jenvman.2013.06.049. multiplicative analytic hierarchy process
[9] S. Di, J.D. Castillo and L. Lamelza. “Real Time in group decision making”. Computers &
Spatial Delphi: Fast convergence of experts’ Industrial Engineering. Vol. 101, pp. 513-
opinions on the territory”. Technological 524. Noviembre 2016. ISSN: 0360-8352.
Forecasting and Social Change. Vol. 115, DOI: 10.1016/j.cie.2016.09.025.
pp.  143-154. Febrero 2017. ISSN: 0040- [18] E.C. Özcan, S. Ünlüsoy and T. Eren. “A
1625. DOI: 10.1016/j.techfore.2016.09.029. combined goal programming - AHP approach
[10] V. Mani, R. Agrawal and V. Sharma. “Supplier supported with TOPSIS for maintenance
selection using social sustainability: AHP strategy selection in hydroelectric power
based approach in India”. International plants”. Renewable and Sustainable Energy
Strategic Management Review. Vol. 2 Nº 2, Reviews. Vol. 78, pp. 1410-1423. Octubre
pp. 98-112. Diciembre 2014. ISSN: 2306- 2017. ISSN: 1364-0321. DOI: 10.1016/j.
7748. DOI: 10.1016/j.ism.2014.10.003. rser.2017.04.039.
[11] I. Aşchilean, G. Badea, I. Giurca, G.S. [19] Y. Bouzarour-Amokrane, A. Tchangani and
Naghiu and F.G Iloaie. “Choosing the F. Peres. “A bipolar consensus approach for
Optimal Technology to Rehabilitate the Pipes group decision making problems”. Expert
in Water Distribution Systems Using the Systems with Applications. Vol.  42 Nº  3,
AHP Method”. Energy Procedia. Vol. 112, pp. 1759-1772. Febrero 2015. ISSN: 0957-
pp. 19-26. Marzo 2017. ISSN: 1876-6102. 4174. DOI: 10.1016/j.eswa.2014.09.061.
DOI: 10.1016/j.egypro.2017.03.1109. [20] J.V. Meijering, J.K. Kampen and H.
[12] B. Zhu and Z. Xu. “Analytic hierarchy process- Tobi. “Quantifying the development of
hesitant group decision making”. European agreement among experts in Delphi studies”.
Journal of Operational Research. Vol. 239 Technological Forecasting and Social
Nº 3, pp. 794-801. Diciembre 2014. ISSN: Change. Vol. 80 Nº 8, pp. 1607-1614. Octubre
0377-2217. DOI: 10.1016/j.ejor.2014.06.019. 2013. ISSN: 0040-1625. DOI: 10.1016/j.
[13] R.P. Kusumawardani and M. Agintiara. techfore.2013.01.003.
“Application of Fuzzy AHP-TOPSIS Method [21] N. Zhang, Z. Gong and F. Chiclana.
for Decision Making in Human Resource “Minimum cost consensus models based
Manager Selection Process”. Procedia on random opinions”. Expert Systems with
Computer Science. Vol.  72, pp.  638-646. Applications. Vol. 89, pp. 149-159. Diciembre
Diciembre 2015. ISSN: 1877-0509. DOI: 2017. ISSN: 0957-4174. DOI: 10.1016/j.
10.1016/j.procs.2015.12.173. eswa.2017.07.035.

358
Mendoza, Solano, Palencia y Garcia: Aplicación del proceso de jerarquía analítica (AHP) para la toma de decisión…s

[22] Z. Zhang and C. Wu. “A decision support A systematic literature review and future
model for group decision making with research directions”. European Journal
hesitant multiplicative preference relations”. of Operational Research. Vol.  258 Nº  3,
Information Sciences. Vol. 282, pp. 136-166. pp. 801-819. Mayo 2017. ISSN: 0377-2217.
Octubre 2014. ISSN: 0020-0255. DOI: DOI: 10.1016/j.ejor.2016.10.018.
10.1016/j.ins.2014.05.057. [31] Y. Corral. “Validity and reliability of the
[23] Y. Jiang, Z. Xu and X. Yu. “Compatibility instruments to collect data”. Revista Ciencias
measures and consensus models for de la Educación. Vol. 19 Nº 33, pp. 229-247.
group decision making with intuitionistic Enero 2009. ISSN: 1316-5917.
multiplicative preference relations”. Applied [32] H.A. Linstone and M. Turoff. “The Delphi
Soft Computing. Vol.  13 Nº  4, pp.  2075- method: Techniques and Applications”.
2086. Abril 2013. ISSN: 1568-4946. DOI: Advanced book program: Addison-Wesley.
10.1016/j.asoc.2012.11.007. pp.  3-12. Estados Unidos. ISBN: 0-201-
[24] W. Ho. “Integrated analytic hierarchy 04294-0. 1975.
process and its applications - A literature [33] D. Barriga, A. L. Miranda y A. Bertha.
review”. European Journal of Operational “Metodología de la investigación educativa:
Research. Vol. 186, Issue 1, pp. 211-228. Abril Aproximaciones para comprender sus
2008. ISSN: 0377-2217. DOI: 10.1016/j. estrategias”. Validez de expertos: algunos
ejor.2007.01.004. aportes teóricos y un caso concreto. Ediciones
[25] A. Ishizaka and A. Labib. “Review of the Díaz de Santos. pp.  168-171. Tlaxcala,
main developments in the analytic hierarchy México. ISBN: 978-84-9969-698-0. 2015
process”. Expert Systems with Applications. [34] M.A. Meyer and J.M. Booker. “Eliciting
Vol. 38 Nº 11, pp. 14336-14345. Octubre and Analyzing Expert Judgment: A Practical
2011. ISSN: 0957-4174. DOI: 10.1016/j. Guide”. ASA-SIAM Series on Statistics and
eswa.2011.04.143. Applied Probability. pp.  99-122. London,
Inglaterra. ISBN: 0-89871-474-5. 2001
[26] R. Russo and R. Camanho. “Criteria in AHP:
[35] F. Bolger and G. Wright. “Expertise and
A Systematic Review of Literature”. Procedia
Decision Support”. Springer Science &
Computer Science. Vol. 55, pp. 1123-1132.
Business Media. pp.  168-176. New York,
Julio 2015. ISSN: 1877-0509. DOI: 10.1016/j.
Estados Unidos. ISBN: 0-306-43862-3. 2007.
procs.2015.07.081.
[36] A. Oliva, M. Ríos, L. Antolín, Á. Parra,
[27] M. Marttunen, J. Lienert and V. Belton.
Á. Hernando y M.Á. Pertegal. “Más allá
“Structuring problems for Multi-Criteria
del déficit: Construyendo un modelo de
Decision Analysis in practice: A literature
desarrollo positivo adolescente”. Infancia
review of method combinations”. European
y aprendizaje. Vol. 33 Nº 2, pp. 223-234.
Journal of Operational Research. Vol. 263 Enero 2014. ISSN: 0210-3702. DOI:
Nº  1, pp.  1-17. Noviembre 2017. ISSN: 10.1174/021037010791114562.
0377-2217. DOI: 10.1016/j.ejor.2017.04.041. [37] N. Harvey and C.A. Holmes. “Nominal
[28] M.I. De Arquer. “Fiabilidad humana: métodos group technique: An effective method for
de cuantificación, juicio de expertos”. Notas obtaining group consensus”. International
Técnicas de Prevención. NTP. Centro Nacional Journal of Nursing Practice. Vol. 18 Nº 2,
de Condiciones de Trabajo. pp. 1-5. Madrid, pp. 188-194. Marzo 2012. ISSN: 1322-7114.
Spain. 1996. DOI: 10.1111/j.1440-172X.2012.02017.
[29] F. Petropoulos, N. Kourentzes, K. Nikolopoulos [38] D. Carter, J. Moizer and S. Liu. “Using
and E. Siemsen. “Judgmental selection of groups to support judgmental parameter
forecasting models”. Journal of Operations estimation VISCONS: Eyeballing to capture a
Management. Vol. 60, pp. 223-234. Junio quantified group consensus”. Expert Systems
2018. ISSN: 0272-6963. DOI: 10.1016/j. with Applications. Vol.  40 Nº  2, pp.  715-
jom.2018.05.005 721. Febrero 2013. ISSN: 0957-4174. DOI:
[30] C. Werner, T. Bedford, R.M. Cooke, A.M. 10.1016/j.eswa.2012.08.015.
Hanea and O. Morales. “Expert judgement [39] T. Rosqvist. “On the use of expert judgement
for dependence in probabilistic modelling: in the qualification of risk assessment”.

359
Ingeniare. Revista chilena de ingeniería, vol. 27 Nº 3, 2019

VTT Publications. 1st ed. pp. 14-18. Espoo, [41] H.A. Taha. “Operations Research: An
Finlandia. ISBN: 951-38-6243-7. 2003. Introduction”. Pearson Education. 8th ed.
[40] T.L. Saaty and L.G. Vargas. “Models, pp. 490-492. New Jersey, Estados Unidos.
Methods, Concepts & Applications of the ISBN: 0-13-188923-0. 2007.
Analytic Hierarchy Process”. Springer: [42] J. Aczél and T.L. Saaty. “Procedures for
International Series in Operations Research synthesizing ratio judgements”. Journal
& Management Science. 2nd ed. pp. 5-11. of Mathematical Psychology. Vol. 27 Nº 1,
New York, Estados Unidos. ISBN: 978-1- pp. 93-102. Marzo 1983. ISSN: 0022-2496.
4614-3596-9. 2012. DOI:10.1016/0022-2496(83)90028-7.

360

También podría gustarte