TEMA 1

La definición de evaluación: recoger y analizar sistemáticamente una información para poder

determinar el valor o mérito de una intervención.
La evaluación no se basa simplemente en el producto, sino también en el proceso y cómo se
hace esa evaluación. Es igual de importante. Hay que distinguir las opiniones de los procesos
sistemáticos, que es lo que se necesita para evaluar.
LA SECUENCIA
La sistematicidad es lo contrario de asumir que existe una realidad objetiva. Se necesita un
proceso riguroso y estable, que es un proceso sistemático.
La evaluación es una secuencia, por lo que la sistematicidad es una secuencia. Usamos un
método de investigación sistemático y de secuencia.
La secuencia es un proceso científico, de evidencia y pensamiento, riguroso, justificado y
revisable.
Better Evaluation, es un programa para hacer una evaluación.
La rayuela: es un proceso de fases de toma de decisiones para evaluar.
ENFOQUES
Stufflebeam:
Existen diferentes estudios:
I. Evaluaciones orientadas por los métodos o las cuestiones (cuasievaluaciones). La valoración
del mérito y valor es una cuestión secundaria. Suelen ser pocas cuestiones, demasiado escasas
para valorar el mérito y valor.
a. Estudios basados en los objetivos.
b. Estudios basados en la responsabilización. Cartas de servicio, auditorias.
c. Test estandarizados.
d. Evaluación de outcomes (impacto).
e. Comprobación del desempeño.
f. Estudios experimentales.
g. Sistemas de información de la gestión.
h. Análisis coste-beneficio.
i. “Modelo judicial”.
j. Estudio de caso.
k. Críticos y expertos.
l. Evaluación orientada por la Teoría del Programa.
m. Estudios con articulación multimétodo.
II. Pseudoevaluaciones
a. Estudios inspirados en las relaciones públicas.
b. Estudios controlados políticamente.
III. Evaluaciones orientadas a la mejora y al rendimiento de cuentas
a. Estudios orientados a la decisión y a la responsabilización.
b. Estudios orientados a consumidor/a.
c. Acreditaciones, certificaciones.
d. Defensa agenda social.
e. Responsive evaluation.
f. Evaluación constructivista.
g. Evaluación democrática deliberativa.
h. Evaluación centrada en su utilización.
UTILIZACIÓN DE DISTINTAS TEORÍAS
Podríamos elegir cualquiera de ellos si generan la misma información o significado.
Pero seguir un enfoque u otro no es inocuo, cada método llevar a diferentes productos que
tienen diferentes usos y responden a diferentes propósitos evaluativos o necesidades
informativas.
A través de 12 fases, el evaluador/a debe pasar por todas las partes de la rayuela de antes.

MOTIVACIÓN PARA EVALUAR

Los propósitos o funciones de la evaluación son:
I. Ilustración y comprensión: Ilustrar, aclarar y comprender que está pasando y cómo
funciona el programa. La evaluación suele producir un cambio, dota de nuevos
significados sobre la realidad del programa y de su intervención.
II. Retroalimentación y mejora: Es una manera de recibir “feedback” sobre las acciones,
intervenciones o programas que se llevan a cabo, un modo de mejorar y progresar. La
evaluación puede ser un proceso de aprendizaje de la propia intervención.
III. Control de responsabilidades y rendimiento de cuentas: “Rendir cuentas” en la
acepción más flexible del término, no se restringe exclusivamente a los aspectos
económicos sino también a la responsabilidad social y política, especialmente si las
actividades llevadas a cabo se financian con fondos públicos ya que el contribuyente
tiene derecho a saber en qué y cómo se está empleando el dinero público.
La evaluación formativa (learning, para mejorar) y sumativa (juicio de valor tras todo el
proceso evaluativo), Scriven.
La formativa está constituida por la ilustración y la mejora, mientras que la sumativa está
compuesta por el rendimiento de cuentas.
Los propósitos, según Greene, son:
I. Fundamentar la toma de decisiones y el rendimiento de cuentas puede dar respuestas
a las necesidades informativas e intereses de los responsables políticos u otros actores
con capacidad de decisión.
II. La mejora del programa y el desarrollo organizacional provee de una información
valiosa para los directivos u otros responsables de las operaciones habituales del
programa.
III. La comprensión en profundidad y contextualizada del programa.
IV. Promover más justicia y equidad.

ACTORES IMPLICADOS
I. Los responsables políticos u otros actores con capacidad de decisión.
II. Dirección u otros/as responsables de las operaciones habituales del programa.
III. Personal del programa y a veces también los/as participantes.
IV. Participantes, sus familias y la comunidad.
Stakeholder: Actores implicados que son afectados o afectan a la política de evaluación.

PROPÓSITOS
I. Los responsables políticos u otros actores con capacidad de decisión están a cargo de
la toma de decisiones y rendimiento de cuentas.
II. La dirección u otros/as responsables de las operaciones habituales del programa lleva
a cabo la mejora del programa y desarrollo organizacional.
III. El personal del programa y a veces también los/as participantes asumen la
comprensión del programa.
 IV. Los/as participantes, sus familias y la comunidad buscan la justicia y equidad social.

¿Quién va a ser el destinatario de la evaluación?

Lo primero es saber qué quiero hacer con la evaluación (propósitos).

TEMA 2
Dentro de la evaluación profesional, existen tres tipos de evaluación: de productos, de
personas y de programas (programas, proyectos, servicios e instituciones).
Los objetos de evaluación son:
I. Programas, proyectos, planes, políticas.
II. Servicios, organizaciones, empresas, entidades.
III. Normas, estrategias, leyes.
IV. Cualquier tipo de acción o de organización con cierto grado de estructura.
Activo: que obra o tiene capacidad de obrar.
Ente: lo que es, existe o puede existir.
Entidad: colectividad considerada como unidad, y, en especial, cualquier corporación,
compañía, institución, etc., tomada como persona jurídica.
Institución: organismo que desempeña una función de interés público, especialmente
benéfico o docente.
Los programas, políticas o servicios no son materia tangible. No son sólo personas, ni sólo
ideas, ni sólo recursos, sino una conjunción de todo ello que tiene una identidad distinta a
cada una de sus partes. Es una realidad que se conforma socialmente, es un hecho social,
constituido a través de acuerdos intersubjetivos. Por ello, no es tangible, es construido
socialmente, es abstracto. La objetividad se logra a través de un acuerdo intersubjetivo
(Scriven, 1971).
Las herramientas teóricas para definir el contorno:
I. Los recursos con lo que cuenta: estructura.
II. Lo que hace: procesos.
III. Lo que provoca: resultados.

RESULTADOS
La intervención produce cambios, es decir, el programa o servicio producen cambios en las
personas (beneficiarios).
Las evaluaciones se suelen apoyar en unos fines intermedios para poder llegar al objetivo final,
aunque en muchas ocasiones no se llega a ese objetivo final pero sí se consigue alcanzar los
fines intermedios.
La teoría del programa es la filosofía o secuencia lógica que un territorio ha propuesto para
solucionar un problema.

PROCESOS
Los procesos son secuencias de acciones. Las evaluaciones no consiguen unos resultados
reales, sino que los propone a partir de los procesos.
Definición de proceso: es una secuencia de acciones que con su desempeño generan un
producto o servicio con un valor añadido con relación a las “entradas” iniciales.
Todo tiene correlación entre lo que hago y lo que obtengo. Por lo tanto, los procesos quieren
producir resultados.
ESTRUCTURA
Para poder implementar los procesos, se necesita una estructura. Se necesitan los medios
necesarios para ejecutar los procesos de evaluación.
El modelo lógico sistémico se basa en tres partes: la estructura es la organización
relativamente estable de distintos tipos de recursos para alcanzar los fines del proyecto. En
ella se distinguen los recursos y la organización. Eso lleva al proceso, que es la secuencia de
actividades que genera un valor respecto a una determinada situación inicial. Y esto provoca
unos resultados, que son cambios en la población o en las poblaciones. Esto es cartografía de
las políticas.

APROXIMACIONES EVALUATIVAS
Aunque en la práctica puede haber modelos hegemónicos o predominantes, teóricamente no
existe una única forma de evaluar.
Estamos hablando de una disciplina que tiene una larga trayectoria histórica con discusiones
metodológicas y continuas reflexiones, que han generado una amplia variedad de enfoques
metodológicos.
Las aproximaciones evaluativas hacen referencia a los diferentes modos para realizar
evaluaciones. Cada aproximación establece consideraciones que definen el cómo diseñar la
evaluación, cómo ejecutarla, qué productor obtener y qué posibilidades ofrece.
4 (+1) Aproximaciones (Bustelo y Ligero, 2017)
1. Orientada a stakeholders
2. Evaluación basada en la teoría
3. Cambio crítico o paradigma transformador
4. Juicios sumativos
a. Críticos/as y expertos/as (criticism and conneisseuship)
Se necesita la evaluación para la toma de decisiones: juicios sumativos.
Para arreglar un problema, se utiliza la evaluación para la mejora.
La orientación a los stakeholders: tercera aproximación a la evaluación.

TALLER 1
EML: ENFOQUE DE MÉTODO LÓGICO
I. Análisis de la participación: se realiza un diagnóstico operativo de quién es quién en
una realidad. Facilita detectar: grupos que necesitan más asistencia o más afines a
nuestras propiedades; grupos de interés; posibles conflictos sociales.
 Hay que seleccionar al potencial beneficiario dentro de los grupos
identificados, desde un “juicio previo”: un punto de vista político, no técnico.
 Seleccionar implica rechazar y puede ganar perjudicados.
 Los criterios de selección son específicos para cada identificación y suelen
depender de las prioridades de las instituciones promotoras.
 Hay que saber primero a quién y con quién queremos mejorar una situación,
antes de determinar qué es lo que queremos hacer.
II. Análisis de problemas: se identifican los problemas que afectan al colectivo priorizado
como beneficiario y establecer las relaciones que existen entre ellos, elaborando un
diagrama de causas y efectos entre los problemas identificados (árbol de problemas).
Los problemas son “situaciones negativas percibidas como tales los implicados”.
 Identificar todos los problemas que afecten al grupo de potenciales
beneficiarios.
  Escribir cada problema en una tarjeta (mayúsculas).
 Determinar el problema central: permite ordenar en torno a él la mayoría de
los problemas identificados. Colocar esa tarjeta en el centro de un panel.
 Localizar causas (resto de tarjetas) que provocan el problema central (¿por
qué?).
 Situar esas tarjetas en el nivel inmediatamente inferior al problema central.
 Avanzar hacia abajo preguntándose por las causas de esas causas.
 Establecer efectos provocados por el problema central en la parte superior del
árbol.
 Comprobar las relaciones causales y dibujarlas en el panel.
El árbol de problemas debe ofrecer una visión parcial de la realidad estructurada
en torno a los problemas que padece un determinado colectivo, estableciendo las
relaciones de causalidad entre dichos problemas. Esas relaciones son una
simplificación de la realidad, pero permiten consensuar una jerarquización de
problemas y ofrecen una base operativa para los potenciales proyectos a diseñar.
III. Análisis de objetivos: se trata de construir un árbol de objetivos que es, en principio,
una copia en positivo del árbol de problemas.
Los problemas (“situaciones negativas percibidas”) pasan a “estados positivos y
realistas alcanzados” sobre la resolución de problemas de la fase anterior.
Relación causal (causa-efecto) se convierte en instrumental (medio-fin): tarjetas
inferiores son medios para alcanzar las superiores, que son los fines.
Cómo elaborar el árbol de objetivos:
 Convertir tarjetas-problema en tarjetas-objetivo. No es enunciado inverso y
automático. Expresarlo en términos razonables y con una redacción
coherente.
 Las tarjetas que el equipo considere no modificables pasan sin cambios al
árbol de problemas, como problemas en su nivel.
 Incluir nuevas tarjetas con medios o capacidades adicionales y disponibles
importantes para garantizar las tarjetas superiores.
 Comprobar factibilidad de relación medios-fin obtenida. Pregunta clave:
¿cómo? Las respuestas debieran ser las tarjetas situadas en los niveles
inferiores.
IV. Análisis de las alternativas: cada alternativa es un recorrido