REVISTA INVESTIGACION OPERACIONAL VOL. 41 , NO.

1, 108-119, 2020

EXPERIENCIAS EN EL USO DE TÉCNICAS DE

SOFTCOMPUTING EN LA EVALUACIÓN DE
PROYECTOS DE SOFTWARE
Iliana Pérez Pupo1*, Roberto García Vacacela**, Pedro Piñero Pérez*, Gaafar Sadeq S. Mahdi*, Marieta Peña*
*Grupo de Investigaciones en Gestión de Proyectos, Universidad de las Ciencias Informáticas, La Habana, Cuba.
**Facultad de especialidades empresariales, Universidad Católica De Santiago de Guayaquil, Ecuador.

ABSTRACT
This paper presents application results of soft computing techniques in project´s evaluation. The authors analyze different project
management´s guides regarding decision making techniques inside its. In this paper the authors combine traditional techniques for
project´s evaluation with soft computing techniques. The authors propose an algorithm that combine the following techniques: traditional
indicators from project management guides, fuzzy inference systems, machine learning algorithms and linguistic data summarization
methods. In section number 3, the paper presents the comparisons of algorithms Anfis, Hyfis, FS.HGD, based on neural networks with
algorithms GFS LS RS, GFS THRIFT based on evolutionary algorithms. In experiments, we applied cross validation techniques
combined with Friendman test and Wilcoxon test Afterwards, the authors present an algorithm that build linguistic summaries to detect
causes of project management failures. Finally, we present a comparison of the results and the conclusions.
KEYWORDS: Soft Computing, Decision Making, Project Management.

MSC: 68N99

RESUMEN
En este artículo se presentan los resultados de aplicación de técnicas de soft computing en la evaluación de proyectos. En el
artículo se analizan los principales estándares de gestión de proyectos y las insuficiencias que tienen asociadas a la introducción
de novedosas técnicas de toma de decisiones para la evaluación de proyectos. Se presenta una herramienta para la gestión de
proyectos que combina técnicas tradicionales para la evaluación de proyectos con diferentes técnicas de soft computing. En
particular, los autores proponen un algoritmo que combina indicadores propuestos en las principales guías de gestión de
proyectos, los sistemas de inferencia borrosos, los algoritmos de aprendizaje automáticos y las técnicas de sumarización
lingüística de datos. En la validación se presentan los resultados en la evaluación de proyectos que logran los algoritmos Anfis,
Hyfis, FS.HGD basados en redes neuronales con los resultados obtenidos por los algoritmos GFS LS RS, GFS THRIFT basados
en algoritmos evolutivos. Además, se propone un algoritmo para la construcción de resúmenes lingüísticos y se aplica en la
identificación de factores que afectan la ejecución de proyectos. Finalmente se presentan las conclusiones del trabajo.

PALABRAS CLAVE: Soft computing, Toma de Decisiones, Gestión de Proyectos.

1. INTRODUCCIÓN
Existe una creciente demanda de herramientas que incluyan novedosas técnicas para la toma de decisiones en la
gestión de organizaciones orientadas a proyectos. Esta situación es particularmente importante en los escenarios de
desarrollo de proyectos de nuevas tecnologías de la información donde se han llevado a cabo, numerosos esfuerzos
para el desarrollo de metodologías y herramientas que ayuden a generalizar las buenas prácticas y lograr el éxito en
los proyectos. Sin embargo, los resultados aún son desalentadores si consideramos la gran cantidad de proyectos que
son cancelados o renegociados ante dificultades en su ejecución. Los estudios realizados por el Standish Group
International, muestran que como tendencia las cifras de proyectos entregados satisfactoriamente, cerrados o fallidos
y renegociados se ha movido por alrededor del 35%, 18% y 43% respectivamente [7].
Entre las causas fundamentales del fracaso de los proyectos se señalan:
• Insuficiencias en los procesos de planificación y gestión logística [15].
• Dificultades en la gestión de alcance de los proyectos y la gestión de los riesgos asociados [26].

[email protected], [email protected], [email protected]

[email protected], [email protected]

108
• Dificultades en la objetividad y la agilidad de los procesos de control y seguimiento, específicamente en la
gestión de indicadores y las herramientas informáticas para lograrlo [19][20].
• Insuficiencias en el tratamiento de factores como la imprecisión de la información, la ambigüedad en los
criterios de medida y la incertidumbre; elementos frecuentes en escenarios reales [24].
Con el objetivo de mejorar el porciento de proyectos exitosos diferentes escuelas tales como Project Management
Institute [21], el Software Engineering Institute [22] y la Organización de Estándares Internacionales [9], proponen
guías o normas para la introducción de buenas prácticas. El Project Management Institute desarrolla el PMBOK que
constituye una guía con un alto nivel de generalización a esfera global y que sugiere el uso de indicadores basados en
la técnica del valor ganado con centro en la gestión de costos y gestión de tiempo [21]. Sin embargo, hay un grupo de
elementos que constituyen oportunidades de mejora para esta guía:
• No presenta un sistema de indicadores que cubra todas las áreas del conocimiento, ni estrategias para la
evaluación de los proyectos considerando el nivel de madurez de la organización que lo desarrolla [16].
• A pesar de que incluye indicadores de costos, no propone mecanismos concretos para la gestión de la
incertidumbre en el cálculo de los mismos [3][17] .
Otra escuela que propone buenas prácticas para la gestión de proyectos es el SEI que produce el estándar CMMI para
la certificación de organizaciones desarrolladoras de proyectos de software [22]. Este estándar propone dos enfoques
para la mejora: el primero basado en 5 niveles de madurez de la organización y el segundo centrado basado en la
mejora continua de cada proceso organizacional por separado. No obstante, sus bondades el modelo de CMMI tiene
oportunidades de mejora entre las que se señala:
• Aborda los sistemas de información como herramienta para acelerar y compartir el aprendizaje, deja a las
organizaciones la responsabilidad de implementarlas, no haciendo alusión al tratamiento de la imprecisión,
vaguedad e incertidumbre contenida en la información que se gestiona.
• Al igual que PMBOK, CMMI plantea la importancia de la mejora continua y el uso de indicadores asociados
con tiempo y costo. Pero es insuficiente en la propuesta de indicadores que cubran todas las áreas de procesos.
La ISO por su parte [4][9] establece la norma 21500 que, de forma similar a las anteriores guías o estándares
analizados, no propone mecanismos concretos que aseguren la adaptación en el control de la ejecución. Tampoco
aborda el tratamiento a la imprecisión, vaguedad o incertidumbre contenidas en la información, todo lo cual incide
negativamente en la ayuda para la toma de decisiones en las organizaciones [5].
Si analizamos además de las escuelas, las herramientas debemos señalar que en la bibliografía se reportan alrededor
de 125 soluciones [3] asociada a la gestión de proyectos y solamente el 44% de ellas incluyen indicadores para el
análisis de proyectos siendo los más comunes: el valor ganado (EV), el índice de rendimiento de los costos (CPI-
Cost Performance Index), el índice de rendimiento de la planificación (SPI-Schedule Performance Index), la
variación del costo (CV-Cost Variance), el costo planificado (PV) y el costo real (AC) [21].
A partir de los análisis anteriores y considerando que todas las escuelas plantean como necesario el empleo de
herramientas informáticas para la gestión de proyectos. En el contexto de esta investigación, en la sección 2 del
artículo se propone un ecosistema que combina métodos tradicionales con técnicas de soft computing para la
evaluación de proyectos. En la sección 3 se presentan un conjunto de experimentos que comparan diferentes técnicas
de soft computing e identificando las que reportan mejores resultados en el escenario de aplicación planteado.
Finalmente, se discuten las conclusiones del trabajo.

2. PROPUESTA DE ECOSISTEMA PARA LA EVALUACIÓN DE PROYECTOS BASADO EN TÉCNICAS

DE SOFT-COMPUTING

En el escenario de aplicación y prueba de la presente investigación se trabaja con organizaciones de mediano tamaño
que en general gestionan anualmente entre 100 y 200 proyectos cada uno de los cuales requieren que se desarrollen
entre 150 y 250 tareas. Además, la evaluación de proyectos se realiza de forma semanal y se requiere agilidad en los
procesos de evaluación por el volumen de información que se maneja y la importancia de prontitud en las decisiones.
Al proceso de evaluación semanal se le conoce como corte del proyecto, y durante este proceso se analizan los datos
recogidos en los sistemas de información de las organizaciones. Los datos que se procesan son heterogéneos y entre
estos se destacan datos cuantitativos como: los porcientos de ejecución de las tareas, la cantidad de recursos
logísticos gestionados, el tiempo empleado en el desarrollo de las tareas, los costos asociados al desarrollo del
proyecto, el presupuesto del proyecto en el período y datos cualitativos como: la evaluación de la calidad de las
tareas, el desempeño de los recursos humanos entre otros elementos.
El ecosistema que se propone en el contexto de la presente investigación parte del hecho que en el proceso de
evaluación de proyectos existen un conjunto de situaciones que introducen incertidumbre, imprecisión en los datos y
109
que hay además ambigüedad y subjetividad en las evaluaciones. En particular se identifica que la imprecisión y la
incertidumbre se introducen durante la declaración del porciento real de ejecución, el tiempo estimado, o tiempo real
dedicado de las tareas entre otros, que dependen de la percepción de los involucrados en el proyecto. Mientras que la
vaguedad se manifiesta durante la asignación o empleo de términos lingüísticos para identificar características como
la prioridad, la calidad o la complejidad de las tareas.
Los autores proponen se siga el siguiente algoritmo durante el proceso de evaluación de proyectos.
Algoritmo 1:
Paso 1. Definición de indicadores para la evaluación de proyectos
Paso 2. Recopilación de datos identificando en cada caso la certidumbre de los mismos
Paso 3. Estimación de indicadores básicos de cada proyecto a partir de datos.
Paso 4. Evaluación automática de los proyectos a partir de los indicadores en las categorías Bien, Regular o
Mal.
Paso 5. Detección de las dificultades fundamentales del proyecto y las áreas del conocimiento con dificultades.
Paso 6. Si la evaluación del proyecto es satisfactoria
Entonces finalizar chequeo ir al paso 9
Sino
Identificar posibles causas de fracaso.
Paso 7. Sugerir decisiones y la evaluación de cada proyecto.
Paso 8. Documentar las lecciones aprendidas
En el paso 1 del algoritmo 1, se plantean los siguientes indicadores: plan de ejecución (Plan), ejecución real (Real),
ejecución real de producción en proceso (Real NV), costo planificado hasta el corte (PV), costo real hasta el corte
(AC), el valor ganado (EV), índice de rendimiento de la planificación (SPI), índice de rendimiento de los costos
(CPI), la gestión logística (IRL), índice de rendimiento de los recursos humanos (IRRH) y índice rendimiento de
eficacia (IREF). En el paso 2 del algoritmo 1 se recopilan datos del sistema de información como los mencionados
en el primer párrafo de esta sección. Luego en el paso 3 del algoritmo 1 se proponen algoritmos supervisados para la
evaluación de proyectos y un algoritmo basado en reglas de asociación para la construcción de resúmenes
lingüísticos de datos que ayuden a identificar las causas del éxito o fracaso de los proyectos hasta el corte de
evaluación.
Para el proceso de evaluación de los proyectos se experimentó con los siguientes algoritmos:
• Algoritmo basado en ANFIS siendo un sistema neuro-borroso híbrido de tipo Sugeno [10]. Con este algoritmo
pretendemos aprovechar las potencialidades de las redes neuronales y la interpretabilidad de los sistemas de
inferencia borrosos. El ANFIS propuesto utiliza una arquitectura de red multicapa orientada a nodos.
• Algoritmo FIR.DM propuesto por Nomura y otros autores en [14]. Este algoritmo emplea un método basado en
el gradiente descendente para construir y optimizar un sistema de inferencia borroso tipo Sugeno Grado Cero.
• Algoritmo FS.HGD propuesto por [8]. Está basado en la combinación de la búsqueda heurística y el gradiente
descendente.
• Algoritmo GFS.LT.RS propuesto en [1] para la generación de reglas borrosas en la evaluación de proyectos.
Esta técnica implementa ajuste lateral evolutivo de las funciones de pertenencia con el objetivo de obtener
modelos lingüísticos con mayores niveles de precisión. Utiliza un modelo de representación de reglas basadas en
la representación lingüística 2-tuplas que permite el desplazamiento lateral de las etiquetas (ligeros traslados a la
izquierda / derecha de la función de pertenencia original).
• Algoritmo GFS.THRIFT propuesto en [23], este algoritmo genera reglas borrosas y luego las optimiza usando
para ello un algoritmo genético (AG) básico.
• Algoritmo HyFIS propuesto por Kim y Kasabov en [13], es un modelo neuro-borroso de tipo híbrido utilizado
para construir y optimizar sistemas borrosos. También combina las capacidades de predicción de las redes
neuronales con los sistemas de inferencia borrosos generando reglas de tipo Mamdani.
• Algoritmo basado en WM: propuesto por Wang y Mendel [27] en nuestro caso en particular el mismo genera un
conjunto de reglas borrosas candidatas para la evaluación de proyectos que en una segunda fase son refinadas.
Las reglas generadas son del tipo Mamdani. En la etapa de explotación emplea un sistema de inferencia borroso
tipo Mamdani y es capaz de mostrar las reglas que influyeron en la decisión final.
Estos algoritmos permiten el aprender a partir de la experiencia y permiten el tratamiento de fenómenos como
imprecisión, ambigüedad e incertidumbre. Todos estos algoritmos generan reglas borrosas elemento importante
porque de esa forma ayudan a la interpretabilidad de los resultados una vez evaluado el proyecto.
Los resultados de evaluación de proyectos, se complementa con la aplicación de técnicas para la construcción de
resúmenes lingüísticos de datos en el paso 5 del algoritmo 1. Se propone en este paso la aplicación del algoritmo 2
110
que está inspirado en el algoritmo apriori [28]. Este algoritmo recibe como entrada un conjunto de datos (D) con el
cual se generan las reglas de asociación aplicando apriori, que luego son utilizadas para la construcción de los
resúmenes lingüísticos.
En la construcción de resúmenes lingüísticos Kacprzyk y Zadrözny [11] definieron un conjunto de seis protoformas
que describen la estructura de los resúmenes y la forma de consulta de los mismos a partir de sus componentes. En
particular respecto a la estructura los resúmenes pueden ser agrupados en dos tipos básicos:
• Los resúmenes cuya estructura es Qy’s are S, que describen relaciones donde no se les impone condiciones
adicionales a los objetos de análisis, por ejemplo: T(La mayoría de los empleados tienen bajo salario) = 0.7
• Los resúmenes cuya estructura es QRy´s are S, que describe relaciones con filtros o subcondiciones como: T(La
mayoría de los empleados jóvenes tienen bajo salario) = 0.7
El algoritmo 2 propuesto permite la generación de resúmenes con las dos estructuras explicadas anteriormente.
Algoritmo 2: LDSAsociationRules
Entradas:
D: conjunto de datos para el análisis compuesto por un conjunto de atributos A
T: conjunto de métodos predefinidos para el cálculo de los valores de calidad T.
CLV: variable lingüística de los cuantificadores de los resúmenes.
Paso 1. Construir la variable lingüística de cada uno de los Ai atributos
Paso 2. ALV = linguistic_variables(D)
Paso 3. Transformación de los datos D en borrosos DB = ∆(D, ALV)
Paso 4. Establecer valores de lift, soporte y confianza.
Paso 5. Generar reglas de asociación apriori_rules = do_apriori(DB, support, confidence, lift)
Paso 6. Calcular los cuantificadores a partir del soporte y la confianza
Paso 7. quantiffiers = calculate_quantiffiers(CLV, support, confidence)
Paso 8. Generar resumen por cada regla generate_LDS(apriori_rules, quantiffiers, T)

En el Paso 1 del algoritmo 2 se construye una variables lingüística para cada atributo que conforma el conjunto de
datos D. Este paso se aplica para trabajar con conjuntos borrosos; además, el apriori es un algoritmo aplicable para
datos nominales. La función encargada de crear las variables lingüísticas de los atributos recibe a D como parámetro
y el resultado se guarda en la variable ALV.
En el paso 2 del algoritmo 2 se transforma el conjunto de datos empleados en la evaluación, y se obtiene un conjunto
de datos donde los valores de todas las variables constituyen etiquetas lingüísticas representativas de conjuntos
borrosos en ALV.
En el paso 4 del algoritmo 2, se aplica el algoritmo apriori para la obtención de reglas de asociación. Los conjuntos
de reglas generadas, es refinado evitando que existan en la respuesta final, reglas que incluyan una única variable.
En el paso 5 del algoritmo 2 se definen los cuantificadores basados en la variable lingüística definida en la Fig. 1.

Fig. 1. Variable lingüística asociada a los cuantificadores.

En el paso 6 del algoritmo 2 se traducen las reglas al lenguaje natural para facilitar la comprensión de las mismas por
parte de los evaluadores y se evalúan los resúmenes obtenidos siguiendo el sistema de indicadores propuestos por
Zadeh [29]:
• Grado de verdad (T1): mide cuántos datos apoyan un resumen lingüístico. Está dado por las fórmulas

= ∑ (1)

111
 = (2)
donde:
∑ ∩
= ∑
(3)

• Grado de imprecisión (T2) es un criterio de validez obvio e importante. Básicamente, un resumen lingüístico
muy impreciso (por ejemplo, en casi todos los días de invierno la temperatura es bastante fría) tiene un grado
muy alto de verdad, pero no es útil [12]. Supongamos que resumen S se da como una familia de conjuntos
difusos S = {S1, S2, ... Sm}. Para un conjunto difuso Sj, j = 1, ..., m, se puede definir su grado de confusión como,
por ejemplo:
!∈# : ! %&'
= (4)
#

Donde “card” denota la cardinalidad del conjunto correspondiente (no difuso) y todos los dominios Xj se supone que
son finitos (lo que es razonable desde el punto de vista práctico). Es decir, cuanto más "plano" sea el conjunto difuso
Sj, mayor será el valor de in (Sj).
El grado de imprecisión (T2) del resumen se define como:
.
( = − *∏ ,…,. (5)

Donde m es la cantidad de sumarizadores que intervienen en el resumen.

El grado de imprecisión T2 depende de la forma del resumen solamente y no de la base de datos; es decir, su cálculo
no requiere la búsqueda en la base de datos (no involucra a todos sus registros).
• El grado de cobertura (T3) está definido por:
∑ 0
/ = ∑
(6)
1

> & 675 8 > &;

0 = 2 45 (7)
9 :0 : :
67 8 > & ;
1 = 2 45 5 (8)
9 :0 : :
El grado de cobertura indica cuántos objetos en el conjunto de datos correspondientes a la consulta wg son "cubierto"
por el resumen particular. Su interpretación es simple, por ejemplo, si es igual a 0.15, entonces este significa que el
15% de los objetos son consistentes con el resumen en cuestión. El valor de este grado depende claramente del
contenido de la base de datos.
• El grado de adecuación (T4) es probablemente la medida más relevante. Supongamos que el resumen que
contiene la descripción (conjuntos difusos) S = (S1, S2, ..., Sm) se divide en m resúmenes parciales cada uno de
que abarca los atributos particulares V1, V2, ..., Vm, de modo que cada resumen parcial corresponde a un conjunto
difuso solamente, luego si denotamos:

< = = ∏ ,…,. − / (9)

donde:
∑ 1
= j = 1,…, n (10)
>&;
1 = >
9 :0 : :
(11)

• La longitud de un resumen (T5) se puede definir de varias maneras, y la forma siguiente ha demostrado ser útil:

? = ( 9. ? (12)
• Ahora, el grado (total) de validez, T, de un resumen lingüístico particular se define como la media ponderada de
los 5 grados de validez anteriores, es decir:

A = ∑B 4 (13)
k es la cantidad de T que se calculan, en este caso son cinco, es decir, desde T1 hasta T5.

112
 w∈[0,1] son pesos asignados para la agregación de la T.

3. ANÁLISIS DE LOS RESULTADOS

En esta sección se presentan el diseño de los experimentos realizados para la validación de esta investigación y los
resultados obtenidos.
Se relacionan a continuación las técnicas empleadas para la validación de los resultados.
• Técnica experimento con observación inicial y final: comparación de diferentes algoritmos de aprendizaje
supervisado y clasificación en la evaluación de proyectos durante el corte. El objetivo de este experimento es
encontrar el algoritmo con mayor eficacia en la evaluación de proyectos en el contexto de aplicación de esta
investigación. El algoritmo de mayor eficacia es aquel que cometa menos errores en la evaluación de los
proyectos tomando como referencia la clasificación previa por un experto humano.
• Técnica pre-experimento sin observación inicial: análisis de los resultados de aplicación del algoritmo para la
construcción de resúmenes lingüísticos; en el mismo, se aplica la técnica 2-tuplas de computación con palabras,
para la evaluación cualitativa de los resúmenes obtenidos por parte de un conjunto de gestores de proyectos.

3.1. Análisis de los resultados de técnica experimento de comparación de los diferentes algoritmos propuestos

Se experimentó con el repositorio de investigaciones en gestión de proyectos [18] desarrollado por el Departamento
de Investigaciones en Gestión en Proyectos de la Universidad de las Ciencias Informáticas. En particular se trabajó
con la base de datos de evaluación de proyectos. Cada registro en la base de datos se corresponde con un corte de un
proyecto donde se recogen los indicadores de control y seguimiento. La base de conocimientos utilizada presenta la
siguiente distribución: total de variables 25, total de proyectos 7843 de ellos, el 40% evaluados de Bien, el 14%
evaluados de regular y el 46% evaluados de mal. Cada corte de proyecto fue evaluado por expertos humanos de
forma tal, que se cuenta con un patrón para comparar la calidad de los resultados de clasificación [25] empleando los
mismos indicadores que se le suministran a los algoritmos de aprendizaje automático.
El supuesto de normalidad de las muestras se comprobó a través del test Shapiro–Wilk [2]. Este arrojó que por cada
resultado de las métricas al menos una técnica posee valores de probabilidad (p-valor) inferiores a 0.05, por lo que se
rechaza la idea de distribución normal con un 95 % de confianza. Dado que no todas las muestras siguen una
distribución normal, se opta por el uso de pruebas no paramétricas para comprobar diferencias significativas.
Para la comparación de los algoritmos se definen el siguiente conjunto de métricas como criterios de medida:
• Porciento clasificaciones correctas2
• Cantidad de falsos positivos
• Cantidad de falsos negativos
C
• MSE calculado por la ecuación ∑DM C YFGHI − YJFGK L
D

C |STUVW XSYTUZ |
• SMAPE, calculado como: 100 ∗ ∑Q] C S
Q TUVW [SYTUZ /L

Donde n es la cantidad de casos de validación, ^_`ab es el valor de salida esperada y ^c_`d es la salida calculada por el
sistema. Las métricas son calculadas sobre los casos seleccionados para las pruebas una vez que el algoritmo
aprendió a partir de los casos de entrenamiento.
Para la comparación de los algoritmos propuestos en el modelo se aplica el método de validación cruzada aleatoria
con k=20 iteraciones de prueba y n=7, este último parámetro representando los 7 algoritmos propuestos. Por cada
iteración, el juego de datos se divide aleatoriamente en un conjunto de entrenamiento con el 70 % de los casos y otro
de prueba con el 30 % restante.
Por tratarse de muestras relacionadas se utilizan los tests de Wilcoxon y Friedman. En ambos casos, se consideran
diferencias significativas cuando p-valor < 0.05. En el caso del test de Wilcoxon se aplica el método de Monte Carlo
para un 99% en el intervalo de confianza. Durante la aplicación de los tests, en los casos que se encontraron
diferencias significativas entre las técnicas, se formaron diferentes grupos de técnicas.
Los grupos formados cumplen con la siguiente propiedad: las técnicas de un mismo grupo no tienen diferencias

2 Promedio alcanzado entre las 20 particiones creadas para la validación cruzada aleatoria.
113
significativas entre ellas. Los grupos también cumplen la siguiente propiedad: Grupo1 < Grupo2 <… Grupo_n. Las
técnicas en los grupos menores son las que reportan mejores resultados mientras que las ubicadas en los grupos más
altos son las de peor resultado.
Respecto a la métrica “Porciento clasificaciones correctas” se aplicó el test de Friedman comparando las muestras
obtenidas de aplicar los algoritmos. En este contexto se considera como mejor resultado aquella técnica que
estadísticamente aporte mayor valor a la métrica. Como resultado se encuentran diferencias significativas entre las
técnicas con p-valor = "7.8547750364149e-18". Se aplica el test de Wilcoxon, comparando convenientemente
técnicas dos a dos, obteniéndose finalmente los siguientes grupos:
• Grupo 1: ANFIS, FS.HGD, FIR.DM
• Grupo 2: GFS.THRIFT
• Grupo 3: GFS.LT.RS
• Grupo 4: WM
• Grupo 5: HyFIS
Respecto a la métrica “Cantidad de falsos positivos” se aplicó el test de Friedman comparando las muestras
obtenidas de aplicar los algoritmos. En este contexto se considera como mejor resultado aquella técnica que
estadísticamente aporte menor valor de esta métrica Como resultado se encuentran diferencias significativas entre las
técnicas con p-valor = "1.57230970124996e-17". Se aplica el test de Wilcoxon [2], comparando convenientemente
técnicas dos a dos, obteniéndose finalmente los siguientes grupos:
• Grupo 1: ANFIS
• Grupo 2: WM, HYFIS, FIR.DM,
• Grupo 3: FS.HGD, GFS.LT.RS, GFS.THRIFT
En este caso el ANFIS obtuvo los mejores resultados porque fue la técnica que obtuvo menos falsos positivos.
Obtener falsos positivos (clasificación de Bien cuando el proyecto en realidad está evaluado de Mal) en el área de la
gestión de proyectos es perjudicial; evaluar de Bien de un proyecto que en realidad no lo esté puede causar perjuicios
en la toma de decisiones y provocar planificaciones irreales.
Respecto a la métrica “Cantidad de falsos positivos” en este contexto se considera como mejor resultado aquella
técnica que estadísticamente aporte menor valor de esta métrica. Se aplicó el test de Friedman comparando las
muestras obtenidas. Como resultado se encuentran diferencias significativas entre las técnicas con p-valor =
"5.19919647410999e-14". Se aplica el test de Wilcoxon, comparando convenientemente técnicas dos a dos,
obteniéndose finalmente los siguientes grupos:
• Grupo 1: WM
• Grupo 2: ANFIS, GFS.LT.RS
• Grupo 3: FS.HGD, HYFIS, GFS.THRIFT
• Grupo 4: FIR.DM
Se puede afirmar que la técnica WM obtiene resultados significativamente mejores en cuanto a la cantidad de falsos
negativos sobre el conjunto de casos de prueba.
Obtener falsos negativos (clasificación de Mal cuando el proyecto en realidad está evaluado de Bien) en el área de la
gestión de proyectos no es tan perjudicial como los falsos positivos, pero evaluar de Mal un proyecto que en realidad
no lo esté puede conllevar a tomar malas decisiones.
Respecto a la métrica “MSE” en el contexto de este experimento se considera como mejor resultado aquella técnica
que estadísticamente aporte menor valor a la métrica. Se aplicó el test de Friedman comparando las muestras
obtenidas. Se demostró que existen diferencias significativas entre las técnicas con p-valor = "1.45922235866844e-
16". Se aplica el test de Wilcoxon, comparando convenientemente técnicas dos a dos, obteniéndose finalmente los
siguientes grupos:
• Grupo 1: ANFIS, FIR.DM
• Grupo 2: GFS.THRIFT, WM
• Grupo 3: GFS.LT.RS
• Grupo 4: FS.HGD
• Grupo 5: HyFIS
Se puede afirmar que la técnica ANFIS y FIR.DM obtiene resultados significativamente mejores en cuanto al error
cuadrático medio sobre el conjunto de casos de prueba.
Respecto a la métrica “SMAPE” en este contexto se considera como mejor resultado aquella técnica que
estadísticamente aporte menor valor de esta métrica. Se aplicó el test de Friedman comparando las muestras
obtenidas. Como resultado se encuentran diferencias significativas entre las técnicas con p-valor =
"1.45922235866844e-16". Se aplica el test de Wilcoxon, comparando convenientemente técnicas dos a dos,
114
obteniéndose finalmente los siguientes grupos:
• Grupo 1: ANFIS
• Grupo 2: WM, FIR.DM
• Grupo 3: GFS.LT.RS, GFS.THRIFT
• Grupo 4: FS.HGD
• Grupo 5: HYFIS
Se puede afirmar que el algoritmo ANFIS obtiene resultados significativamente mejores en cuanto al error
porcentual de la media absoluta simétrica sobre el conjunto de casos de prueba.
Finalmente se pudo constatar que la técnica ANFIS genera el mejor sistema para la evaluación de proyectos
puesto que alcanza los mejores resultados respecto a las métricas: porciento de clasificaciones correctas (97%),
cantidad de falsos positivos, MSE y SMAPE.

3.2. Análisis de los resultados de técnicas de sumarización lingüística de datos de apoyo a la toma de
decisiones.

Los datos de entrada a este proceso de validación son los mismos datos empleados en la anterior subsección,
específicamente se consideran relevantes para el análisis de datos los atributos:
• Cantidad de personas con competencias alta, media y baja.
• Cantidad de personas evaluadas por los niveles de desempeño bien, regular y mal.
• Indicadores de recursos humanos por proyecto asociados al aprovechamiento, la eficacia y la eficiencia
• Fondo de tiempo de los miembros del proyecto, tiempo planificado y tiempo real dedicado.
• Indicadores asociados a la calidad de los datos y calidad en la ejecución de las tareas de proyectos cada tarea
evaluada en las categorías bien, regular y mal.
• Indicadores asociados al plan de ejecución, al real de ejecución y a la producción real en proceso
• Indicador asociado al índice de rendimiento de la logística
• Indicador de la evaluación final del proyecto (eval_fuzzysystem_advanced_01)
Se obtuvieron inicialmente 154 resúmenes con los siguientes valores colectivos para las T

Tabla 1. Comparación de diferentes configuraciones del algoritmo 2, donde se obtuvieron 154 resúmenes.
Encabezado T1 T2 T3 T4 T5 T6
Mínimo 0,09 0,03 0,03 0,01 0,13 0,15
Máximo 1,0 0,99 0,99 0,5 1,0 0,79
Media 0,71 0,62 0,45 0,09 0,88 0,55
Stdv 0,22 0,26 0,26 0,1 0,26 0,14
Percentil (85%) 0,89 0,89 0,69 0,17 1,0 0,66

Se analizaron los resúmenes obtenidos que involucran a las variables: evaluación de proyectos:
(eval_fuzzysystem_advanced_01), evaluación de los recursos humanos (bien, regular y mal), competencia de los
recursos humanos. A partir de este filtro se obtuvieron ochenta y ocho (88) resúmenes, los cuales fueron sometidos a
un proceso de evaluación de la relevancia a partir de criterios de expertos empleando técnicas de computación con
palabras modelo escala de ordinales. Los expertos evaluaron cada resumen considerando los valores de las cinco T
calculados y la relevancia para la toma de decisiones, empleando el siguiente conjunto de términos. LBTL = {Muy
bajo, Bajo, Medio, Alto, Muy alto}. En general 38 resúmenes fueron evaluados de “Muy Baja” relevancia, 20
resúmenes fueron evaluados de “Baja” relevancia, 14 resúmenes fueron evaluados de “Media” relevancia, 9 fueron
evaluados de “Alta” y 7 fueron evaluados de “Muy Alta”.
Se presentan a continuación los resúmenes con mayor relevancia y sus valores de T. Además, se presenta un
análisis de su interpretación:

1. Muchos de los proyectos que tienen (el "tiempo real del trabajo real" es perfecto) o (la "cantidad de RH
evaluados de mal" es alta) o ("el 50% de los RH tienen competencia baja") o (la "correspondencia entre el
tiempo planificado y el tiempo realizado" está mal) tienen índice de ejecución está mal. T (0.79, 0.54, 0.69,
0.03, 1.00, 0.65)
Este resumen identifica que en los proyectos evaluados hay una elevada influencia de la cantidad de recursos con
bajas competencias en la evaluación baja en la ejecución del proyecto. Además, que muchos de los proyectos
evaluados de mal, tienen como causa un mal desempeño de los recursos humanos. A partir de este resumen se
identificó como posible medida la necesidad de elevar en los proyectos las competencias técnicas como elemento
115
necesario para mejorar el desempeño de los recursos humanos y la probabilidad de éxito de los proyectos.

2. Alrededor del 50% de los proyectos que tienen (el "índice de ejecución" mal) o (la "cantidad de RH evaluados
de bien" es baja) o ("la evaluación del proyecto" es regular) tienen la "ejecución en proceso del proyecto" mal.
T (0.50, 0.86, 0.55, 0.06, 1.00, 0.45).
Este resumen expresa que en el 50 % de los proyectos que están mal en el momento del análisis persisten dificultades
en su producción en proceso lo cual acarreará mayores conflictos con los clientes. Se recomendó que se tomaran
medidas de forma inmediata que les permitiera recuperar los atrasos presentes.

3. En pocos proyectos que tienen el "tiempo trabajado" perfecto tienen "el 50% de los RH tienen competencia
baja". T (0.51, 0.26, 0.23, 0.01, 1.00, 0.50).
Este resumen muestra la dependencia de las competencias laborales con la eficiencia en el trabajo ratificándose que
son pocos los proyectos que tienen el 50% de los recursos humanos con bajas competencias y que logran una
excelente gestión de tiempo.
4. Alrededor del 50% de los proyectos que tienen la "cantidad de RH evaluados de mal" es alta tienen perfecto el
"tiempo planificado". T (0.95, 0.47, 0.47, 0.13, 1.00, 0.69).
5. Muchos de los proyectos que tienen perfecto el "tiempo planificado" tienen la "cantidad de RH evaluados de
mal" es alta. T (0.78, 0.06, 0.79, 0.23, 1.00, 0.78).
Los resúmenes cuarto y quinto evidencian que existen proyectos donde los recursos humanos están alterando
(falseando) los datos de la gestión del tiempo porque no es posible que sus recursos humanos estén evaluados de mal
y la gestión del tiempo en el proyecto esté excelente. Como medida en este caso se propuso a los proyectos afectados
y corregir la dificultad en la generación de la información.

6. Alrededor del 50% de los proyectos que tienen (el "aprovechamiento de los RH" es regular) o (la "cantidad de
RH evaluados de bien" es baja) o (el "desempeño de los RH" está regular) o (el "fondo de tiempo" es media)
tienen la "eficacia" mal. T (0.84, 0.77, 0.44, 0.02, 1.00, 0.57).

7. Alrededor del 50% de los proyectos que tienen la "cantidad de RH evaluados de mal" es media tienen la
"eficacia" mal. T (0.78, 0.77, 0.47, 0.05, 1.00, 0.56).
Los resúmenes sexto y séptimo evidencian que existe una marcada influencia de los recursos humanos en la calidad
del proyecto cuando los recursos humanos están mal y están dedicando poco tiempo al desarrollo de las actividades
uno de los criterios que se afecta inmediatamente es la calidad. En este caso se propuso a los gestores de proyectos
que se concentraran en revisar la calidad y el tiempo que dedican los recursos humanos a las tareas asignadas.
Otros resúmenes obtenidos permitieron identificar que el indicador de índice de ejecución de las tareas influye
significativamente en la evaluación del proyecto. Además, permitieron detectar proyectos donde hay problema en la
evaluación de recursos humanos y otros en los que hay una mala distribución de los recursos humanos a partir de sus
competencias.
Para evaluar la calidad de los resúmenes y el nivel de calidad percibida se elaboró un cuestionario en la que
estuvieron involucrados 53 especialistas dedicados al control y seguimiento de los propios proyectos analizados.
Entre los especialistas se encuentran jefes de proyectos, especialistas de oficinas de gestión de proyectos y jefes de
centros de desarrollo. El cuestionario se centró en los siguientes criterios:
• ¿Es aplicable la propuesta para la evaluación de proyectos de software?
• ¿Los resúmenes obtenidos a partir de los datos reflejan la realidad de la mayoría de los proyectos?
• ¿Cómo califica usted el nivel de interpretabilidad de los resúmenes obtenidos?
• ¿Los resúmenes obtenidos tiene un adecuado significado semántico en el entorno de aplicación?
• ¿Los valores de T de los resúmenes reflejan la calidad de los resúmenes?
• ¿Se eleva la agilidad en el proceso de toma de decisiones durante la evaluación de proyectos?
Para la validación de la fiabilidad del cuestionario confeccionado se sometió el mismo a validación por 14 expertos
en evaluación de proyectos y se ejecutó la prueba del coeficiente Alfa de Cronbach sobre los datos recolectados. Este
tipo de prueba es aplicable a cuestionarios con respuestas de tipo Likert, donde cada ítem o pregunta se responde a
partir de manifestar grados de acuerdo o desacuerdo (Altísimo, Muy alto, Alto, Medio, Bajo, Muy Bajo, Ninguno).
El coeficiente Alfa de Cronbach fue igual a 0.873. Según la literatura se considera que valores del alfa superiores a
0.7 son suficientes para garantizar la fiabilidad de la escala. Dado el resultado positivo obtenido en esta prueba se
consideró válido aplicar el citado cuestionario.
Una vez aplicado el cuestionario se aplican técnicas de computación con palabras para consolidar los criterios
116
obtenidos en el mismo. Se siguieron los siguientes pasos:
1. Se define un conjunto básico de términos lingüísticos (LBTL) para la evaluación de los criterios. LBTL ={ nada,
muy bajo, bajo, medio, alto, muy alto, perfecto}.
2. Los especialistas evalúan cada criterio usando alguno de los términos lingüísticos ver Tabla 2.

Tabla 2. Estructura de la evaluación de los especialistas para cada criterio. Ci representa los criterios y ej representan a
los especialistas.

Criterios Experto ei … Experto em

C1 11 1m
x 1 … x1
... ... … …
Cp p1 pm
x n … xn

3. Se transforma la preferencia de los expertos en conjuntos borrosos considerando la variable lingüística de la Fig.
2.

Fig. 2. Variables lingüísticas usadas por los expertos para evaluar la propuesta.

4. Siguiendo el modelo de computación con palabras 2-tuplas [6] se agregan las evaluaciones de los expertos
consolidando las mismas por cada criterio a evaluar.

Tabla 3. Resultados de la evaluación.

Evaluación agregada de los

Criterios
evaluadores
Aplicabilidad de la propuesta para la evaluación de proyectos de software en
(Media, -0.2)
diferentes escenarios
Resúmenes obtenidos a partir de los datos reflejan la realidad de la mayoría de los
(Alta, 0.15)
proyectos
Nivel de interpretabilidad de los resúmenes obtenidos (Alta, -0.22)
Resúmenes obtenidos tienen un adecuado significado semántico en el entorno de
(Alta, -0.3)
aplicación
Los valores de T de los resúmenes reflejan la calidad de los resúmenes (Media, 0.28)
Agilidad en el proceso de toma de decisiones durante la evaluación de proyectos (Muy alta, -0.15)
Agregación final Alta, -0.24

Los criterios con menor evaluación fueron la “Aplicabilidad de la propuesta para la evaluación de proyectos de
software en diferentes escenarios” y la calidad con que los valores de T permiten evaluar la calidad de los resúmenes.
El valor “Medio” de la aplicabilidad motivado por el uso de métodos no tradicionales y la necesidad de contar con
algoritmos y herramientas para el cálculo de los indicadores que no están disponibles en todos los escenarios.
Mientras que en el caso de la calidad con que los valores de T evalúan a los resúmenes se identifica la necesidad de
desarrollar en futuras investigaciones otros métodos de evaluación de la calidad de los resúmenes que se adapten a
las características propias de los escenarios de aplicación elemento que constituye una línea abierta a nuevas
propuestas [17].
117
El criterio mejor evaluado fue la “Agilidad en el proceso de control y seguimiento de proyectos”. En general, la
evaluación final dada por los expertos a la propuesta fue Alta y los resúmenes fueron aceptados tanto por su valor
semántico como por su calidad respecto a la representación de la realidad en los proyectos.

4. CONCLUSIONES

Es recomendable integrar técnicas de soft computing en los procesos de evaluación de proyectos posibilitando un
mejor tratamiento de fenómenos como la imprecisión, vaguedad y la incertidumbre contenida en los datos primarios.
El uso de algoritmos basados en soft computing que aprenden a partir de evidencias y luego pueden emplear el
conocimiento para la clasificación de nuevas instancias, permite la adaptación de los modelos de evaluación de
proyectos a condiciones cambiantes asociadas a los estilos de gestión y al nivel de madurez alcanzado por las
organizaciones que gestionan los proyectos. Se pudo constatar que en le escenario analizado la técnica ANFIS es la
que tiene el mejor comportamiento general dentro de las analizadas con un 97% de efectividad en la clasificación
correcta.
Se deben además combinar técnicas para el aprendizaje automático y la clasificación que permitan agilizar procesos
complejos como la evaluación de proyectos con técnicas que permitan descubrir las causas del fracaso de proyectos
de forma temprana y corregir las dificultades existentes. Además, con el uso de técnicas de sumarización lingüística
de datos se logra identificar posibles causas de fracaso de proyectos de forma comprensible por los evaluadores
humanizando el trabajo y elevando la agilidad en la toma de decisiones.
Se identifica la potencialidad de los algoritmos basados en reglas de asociación para descubrir resúmenes, pero se les
señala que generan muchos resúmenes.
Los valores de T de los resúmenes lingüísticos pueden ser extendidos para diferentes dominios de aplicación,
considerando a los expertos de cada dominio y las particularidades de los mismos.
Se descubrió que existían proyectos que estaban evaluados de mal y que en su producción en proceso persistían
dificultades que generarían conflictos con los clientes. Se recomendó la toma de decisiones inmediata en los mismos.
Se identificó que algunos proyectos los recursos humanos estaban falseando la información asociada a la gestión de
tiempo. Se recomendó analizar a los proyectos con dificultades y corregir los defectos en la gestión de la información
.
RECEIVED: MARCH, 2019.
REVISED: AUGUST , 2019.

REFERENCIAS

[1] ALCALÁ, F., R. ALCALÁ, J. AND HERRERA. (2007): A proposal for the genetic lateral tuning of linguistic
fuzzy systems and its interaction with rule selection. IEEE Transactions on Fuzzy Systems, 15, 616–635.
[2] BOUZA HERRERA, C.N. and SISTACHS VEGA, V. (2004): Estadística: teoría básica y ejercicios. Editorial
Félix Varela, Ciudad de la Habana.
[3] GARCÍA, J.A.L., PEÑA, A.B., PÉREZ, P.Y.P. AND PÉREZ, R.B. (2017): Project Control and Computational
Intelligence: Trends and Challenges. International Journal of Computational Intelligence Systems, 10, 320–
335.
[4] GRAU, N. AND BODEA, C.N. (2014): ISO 21500 project management standard: Characteristics,
comparison and implementation. Shaker Verlag GmbH, Germany.
[5] HASAN, S., PÉREZ, I., GARCÍA, R., PIÑERO, P.Y. AND YELANDY, M. (2018): A New Neutrosofic
Cognitive Map with Neutrosophic Sets on Connections, Application in Project Management. Neutrosophic Sets
and Systems, 21.
[6] HERRERA, F. AND MARTÍNEZ, L. (2000): A 2-tuple fuzzy linguistic representation model for computing
with words. IEEE Transactions on Fuzzy Systems, 8, 746–752.
[7] INTERNATIONAL, T.S.G. (2014): The CHAOS Manifesto. The Standish Group International, Incorporated.
Retrieved from https://www.projectsmart.co.uk/white-papers/chaos-report.pdf
[8] ISHIBUCHI, Y., H. NOZAKI, K. NOZAKI, K. TANAKA, H. TANAKA, H. HOSAKA. (1994): Empirical
study on learning in fuzzy systems by rice taste analysis. Fuzzy Sets and Systems, 64, 129–144.
[9] ISO. (2012): International Standar ISO 21500, Guidance on project management. Switzerland: ISO.
[10] JANG, J.-S. (1993): ANFIS: adaptive-network-based fuzzy inference system. IEEE Transactions on Systems,
Man AND Cybernetics, 23, 665–685.
118
[11] KACPRZYK, J. AND ZADROŻNY, S. (2005): Linguistic database summaries and their protoforms: towards
natural language based knowledge discovery tools. Information Sciences, 173(4), 281–304.
https://doi.org/10.1016/j.ins.2005.03.002
[12] KACPRZYK, J. AND ZADROŻNY, S. (2010): Linguistic data summarization: a high scalability through the
use of natural language? In Scalable Fuzzy Algorithms for Data Management and Analysis: Methods and
Design. Editorial IGI Global, 214–237.
[13] KIM, N. AND KASABOV. (1999): HyFIS: Adaptive neuro-fuzzy inference systems and their application to
nonlinear dynamical systems. Neural Networks, 12, 1301–1319.
[14] NOMURA, H., HAYASHI, I. AND WAKAMI, N. (1992): A learning method of fuzzy inference rules by
descent method. In Fuzzy Systems, 1992., IEEE International Conference, 203–210.
[15] PACELLI, L. (2004): The Project Management Advisor: 18 major project screw-ups AND how to cut
them off at the pass. Pearson Education, N. York.
[16] PÉREZ, I., LÓPEZ, P., VARONA, E., PIÑERO, P. AND GARCÍA, R. (2018): Construcción de resúmenes
lingüísticos a partir rasgos de la personalidad y el desempeño en el desarrollo de software. Revista Cubana de
Ciencias Informáticas, 12, 135–150.
[17] PÉREZ, I., PIÑERO, P.Y., GARCÍA, R., SANTOS, O. AND YELANDY, M. (2018): Extensions to Linguistic
Summaries Indicators based on Neutrosophic Theory, Applications in Project Management Decisions.
Neutrosophic Sets and Systems, 22.
[18] PIÑERO, P., PÉREZ, I., HECHAVARRÍA, C.R., LUSARDO, C., SOSA, R. AND LÓPEZ, S.T. (2019):
Repositorio de datos para investigaciones en gestión de proyectos. Revista Cubana de Ciencias Informáticas,
13, 176–191.
[19] PIÑERO, P., PESTANO PINO, H., VÁZQUEZ ACOSTA, M., NOEL ABELARDO, F., LUGO GARCÍA, J.
A., MÉNDEZ ROLDÁN, I., … OTHERS. (2011): Experiencias en el uso de PostgreSQL en el sistema
GESPRO, un enfoque práctico. Revista Cubana de Ciencias Informáticas, 5(1): Retrieved from
https://www.researchgate.net/profile/Jose_Lugo_Garcia/publication/273198260_Experiencias_en_el_uso_de_Po
stgreSQL_en_el_sistema_GESPRO_un_enfoque_practico/links/54fb1d200cf2859b88579c56/Experiencias-en-
el-uso-de-PostgreSQL-en-el-sistema-GESPRO-un-enfoque-practico.pdf
[20] PIÑERO, P., TORRES, S., IZQUIERDO, M. AND OTHERS. (2013): GESPRO. Paquete para la gestión de
proyectos. Revista Nueva Empresa, 9, 45–53.
[21] (PMI), P. M. I. (2017): A guide to the project management body of knowledge (PMBOK guide) Sixth Edition /
Project Management Institute. Project Management Institute, Inc. Newtown Square, Pennsylvania 19073-
3299 USA.
[22] SEI, S. E. I. (2015): CMMI for Development version 1.3.
[23] THRIFT, P. (1991): Fuzzy logic synthesis with genetic algorithms. In Proceedings of the Fourth International
Conference on Genetic Algorithms (ICGA91), San Diego (United States of America), 203–210.
[24] TORRES, S. (2015): Modelo de evaluación de competencias a partir de evidencias durante la gestión de
proyectos. Universidad de las Ciencias Informáticas, La Habana, Cuba.
[25] TORRES, S., PIÑERO, Y., PIÑERO, P. AND CAPRETZ, L.F. (2015): Creation and evaluation of software
teams-a social approach. ArXiv Preprint ArXiv:1512.00787.
[26] VILLAVICENCIO, N.E. (2016): Modelo integrado para la mejora de la productividad en organizaciones
orientadas a proyectos de tecnologías de la información. Tesis para optar al grado de: Máster en Diseño, Gestión
y Dirección de Proyectos. Fundación Universitaria Iberoamericana.
[27] WANG, J., L. X. AND MENDEL. (1992): Generating fuzzy rule by learning from examples. IEEE
Transactions Systems, Man AND Cybernetics, 22, 1414–1427.
[28] WASILEWSKA, A. (2007): Apriori algorithm. Lecture Notes. Retrieved from
https://www3.cs.stonybrook.edu/ cse634/lecture_notes/07apriori.pdf
[29] ZADEH, L. A. (1983): A computational approach to fuzzy quantifiers in natural languages. Computers and
Mathematics with Applications, 9, 149–184.

119