La evaluación de políticas públicas:

enfoques teóricos y realidades

en nueve países desarrollados

Juan Pablo Guerrero Amparán

l señalar los enormes poderes discrecionales del ejecutivo en

A México, Carlos Fuentes lamenta que palabras usuales del derecho
público anglosajón como accountability y checks and balances sean de
tan difícil traducción al idioma de los mexicanos. No obstante, el
escritor traduce dichos conceptos del siguiente modo: "rendimiento de
cuentas" y "límites y contrapesos". 1 Éstos refieren a la posibilidad
de tener el derecho y la capacidad efectiva de exigir a una autoridad pú-
blica que explique sus acciones, lo cual no sólo requiere de marcos
legales que lo hagan posible sino de instituciones independientes con
el poder suficiente para obligarla a hacerlo.
El hecho de que los integrantes de un gobierno y de la adminis-
tración sean responsables de sus actividades ante el público, sean pu-
nibles y rindan cuentas a los ciudadanos o cuerpos de poder autónomos,
es una de las características fundamentales de los sistemas políticos
democráticos actuales. En Francia, Canadá o Estados Unidos, cuando
se comprueba que un jefe de gobierno transgredió la ley, otras instan-
cias públicas son capaces de hacerle pagar un costo legal y político por
ello. En las líneas siguientes nos vamos a referir principalmente a la
noción del control sobre los ejecutantes de programas gubernamenta-
les a través de la evaluación.2

Juan Pablo Guerrero Amparán es investigador del CIDE y candidato a doctor por el Instituto de
Estudios Políticos de París.
1 Desde luego, Carlos Fuentes lamenta también que accountability y checks and balances
no se traduzcan en la práctica política mexicana. Véase el diario mexicano La Jornada, 11 de
enero de 1995.
2 Queremos decir evaluación de resultados. Existen diversos términos que denominan al

Gestión y Politica Pública, vol. IV, núm. 1, primer semestre de 1995 47

 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

En décadas recientes, las instituciones públicas en varios países, Primera parte. Los enfoques de evaluación en el análisis
dependientes del ejecutivo pero también de otras ramas del Estado, de políticas públicas
han recurrido a los métodos de las ciencias sociales para supervisar el
funcionamiento de los programas públicos. Ello ha impulsado el desa- La evaluación forma parte de la vida de cualquier organización, aun-
rrollo de distintas técnicas y enfoques para la evaluación. En términos que suceda de manera tácita, y consiste en que sus integrantes iden-
generales, escriben Yves Mény y Jean-Claude Thoenig, los especialis- tifiquen y midan los efectos de las acciones individuales y del conjunto.
tas del estudio de la actuación del Estado han asumido dos actitudes Si nos referimos a la acción pública de un gobierno, no solamente sus
frente a la evaluación. Una de ellas es determinar si existen, dentro integrantes sino particularmente los sectores sociales que se ven afec-
de un sistema político, los organismos o instancias que puedan actuar tados por ella, se preguntan acerca de sus resultados, su justificación
efectivamente como órganos de evaluación. 3 La otra consiste en "cons- y su efectividad. Cualquier ciudadano, al observar la actividad guber-
truir los conceptos y los métodos que permiten describir, explicar y namental, puede preguntarse: ¿se justifica el pago de mis impuestos?
juzgar en forma científica los resultados de la acción gubernamental". 4 ¿Cumple el gobierno con las expectativas que promovió? ¿Ofrece con
En este artículo nos ocuparemos de ambas opciones: en la primera eficiencia y justicia los servicios públicos?¿ Usa con honestidad y trans-
parte repasaremos los elementos clave de la discusión sobre los proce- parencia los recursos con los que cuenta? ¿Es necesaria tal o cual in-
dimientos para hacer una evaluación de programas estatales desde la tervención del Estado? ¿Resuelve o crea problemas?
perspectiva de la disciplina del análisis de políticas públicas. En la No hace mucho, una referencia frecuente para medir la efectivi-
segunda, nos aplicaremos a la revisión de la realidad de los procesos dad del gobierno en México era la cantidad de infraestructura creada.
de evaluación en nueve sistemas políticos: Estados Unidos, Alemania, Si un gobierno construía escuelas, caminos, puentes y obra hidráulica,
Canadá, Reino Unido, Dinamarca, Suiza, Holanda, Noruega y Fran- la comunidad sentía que el gobierno era suficientemente bueno. Pero
cia. 5 Vamos a describir y a comparar las estructuras institucionales de a partir de los años ochenta, cuando el Estado mexicano sufrió una
evaluación y control de sus respectivos aparatos administrativos es- escasez de recursos, tanto los integrantes de la administración como
tatales. algunos sectores de la opinión pública empezaron a mostrarse más
interesados por los problemas de equidad de la acción pública, así como
por la eficiencia, la rentabilidad y la calidad de los servicios. 6 Un poco
más tarde, el público comenzó a preocuparse no sólo por la cantidad y
la calidad de las acciones gubernamentales y las obras públicas, sino
genérico evaluación: "análisis de política", "evaluación de políticas", "valuación de programas",
"estudio de políticas", "evaluación ex ante o a priori", "ex post o a posteriori", "monitoreo de también por su fundamentación legal, su justificación moral y el grado
políticas", "auditoría de eficacia", "pronóstico de políticas", etc. Aquí haremos la distinción entre de responsabilidad de los funcionarios que deciden y llevan a cabo los
evaluación de resultados, que estudia en retrospectiva las políticas y programas gubernamenta-
les, o las estudia paso a paso mientras se aplican, y análisis de políticas (policy analysis), que
programas en cuestión.
busca pronosticar los posibles efectos de una acción del gobierno para asesorar o advertir al Efectivamente, muchos pueden ser los criterios para evaluar una
que decide en el ámbito público. Una discusión clara al respecto está en Myriam Cardozo Brum, política pública. 7 Si revisamos los orígenes del concepto de evaluación
"La evaluación de las políticas públicas: problemas, metodologías, aportes y limitaciones",
Revista Mexicana de Administración Pública, México, 1993, pp. 167-197. vemos que tiene sus raíces etimológicas en la palabra "valor". Pero
3 Desde instituciones más o menos independientes del ejecutivo, encargadas de llevar a cabo
las evaluaciones, hasta organizaciones civiles no gubernamentales, pasando por empresas
consultoras que se contratan ex profeso y órganos de opinión pública, como la prensa escrita. Lo 6 Un estudio reciente sobre la prestación de servicios públicos muestra que el grado de
anterior puede consultarse en Y. Mény y J. C. Thoenig, Politiques publiques, París, Presses calidad y el problema de la cobertura son serias preocupaciones entre los funcionarios munici-
Universitaires de France, 1989, pp. 287-325. pales del Estado de México, por poner un ejemplo. Véase Rodolfo García del Castillo, Cobertura
4 Mény y Thoenig, op. cit., p. 288. y calidad de los servicios municipales. Estudio sobre el Estado de México (Documento de Trabajo
5 Nos basaremos principalmente en el estudio al respecto al que convocó Ray C. Rist y que 12, AP), México, ClllE, 1993, 93 p.
se publicó en Program Evaluation and the Management of Government. Patterns & Prospects 7 Existen infinidad de definiciones para el término políticas públicas. Casi todas tienen un
across Eight Nations, New Brunswick, N.J., Transaction Publishers, 1990, 184 p. Para el caso denominador común, que Jaro! B. Manheim y Richard C. Rich recogen así: "son las actividades
de Francia, consideraremos a Jean-Pierre Nioche y Robert Poinsard, "Public Policy Evaluation o inactividades regulares y tipificadas de los funcionarios del Estado". Véase Análisis político
in France", Journal of Policy Analysis and Management, vol. 5, núm. 1, 1985, pp. 58-72. empírico; métodos de investigación en ciencia política. Madrid, Alianza, 1988, p. 428.

48 49
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

sabemos, asimismo, que el valor de un objeto, de una idea, de una muchos son los enfoques que se han desarrollado en torno a este tema.
palabra o de una acción siempre es relativo a la referencia o escala que Según Mény y Thoenig, las diferentes estrategias para evaluar se pue-
se usa para apreciarla. 8 Para algunos investigadores de las acciones den clasificar en cuatro enfoques generales: el descriptivo, el clínico,
del gobierno, la evaluación es una fase de un proceso amplio que cons- el normativo y el experimental. Nosotros hemos agregado la evaluación
tituye la intervención de la autoridad pública. 9 En general, no se limita de tipo pluralista, que combina algunos de los criterios de los otros
a describir simplemente los sucesos ligados a la aplicación de una po- enfoques y ofrece al evaluador un papel activo a lo largo de la instru-
lítica determinada o a su calificación de acuerdo con determinadas mentación de la política. 10
normas o criterios contables y presupuestales; también pretende ex- Antes de describir los rasgos distintivos de cada uno de los enfo-
plicar por qué tuvo el efecto logrado y examinar si el problema que ques es necesario hacer una revisión rápida de cinco conceptos que son
originó la actuación gubernamental fue finalmente resuelto y si se básicos en la realización de una evaluación. El primero es el de los
alcanzaron sus objetivos (los explícitos y los implícitos). Más aún, el objetivos generales de la política, los cuales se refieren a las metas,
evaluador quiere comprender las posibles transformaciones en las re- fines, circunstancias o situaciones que se buscan, ya sea porque se
laciones entre las instituciones ejecutantes y los sectores sociales in- consideren deseables por sí mismos o porque resulten prácticos. Junto
volucrados, los efectos inesperados de la actuación pública, y las trans- a los objetivos del programa gubernamental toda evaluación también
formaciones internas que la propia autoridad experimentó al poner en tiene sus objetivos, que pueden ser los mismos del programa guberna-
práctica su programa. mental o los que el evaluador seleccione. Es decir, pueden ser depen-
Pretender evaluar de manera objetiva -y hasta científica- los dientes de las metas del programa gubernamental cuando estudian si
resultados de la acción gubernamental ha implicado para el analista éstas en efecto se cumplieron, o bien relativamente independientes de
la construcción de conceptos y métodos muy diversos. Para apreciar los objetivos oficiales cuando estudian los resultados desde una óptica
los efectos políticos, económicos y sociales generados por una interven- externa y con criterios autónomos. Aquí nos ocuparemos de los objetivos
ción gubernamental, en un área específica de la sociedad y en un lugar de la evaluación, haciendo énfasis en la compleja relación que se esta-
y tiempo determinados, el evaluador escoge un procedimiento, un mé- blece con las metas oficiales. 11
todo de observación y una forma de razonar específicos. En realidad El hecho de que los objetivos se deriven de la necesidad o de la
virtud, depende del responsable de la decisión; pero ninguna evalua-
ción puede pasar por alto las motivaciones de la actuación pública.
8 A su vez, la determinación de la referencia, escala o índice de evaluación depende de varias Para evaluar los objetivos y los logros, las metas y las consecuencias
condiciones objetivas y, sobre todo, de consideraciones subjetivas: la situación particular (emo-
cional y material) de quien califica, el contexto general en el que se encuentra, las creencias de la acción se establecen en segundo lugar los criterios, que son las
individuales, la moral predominante, el marco institucional y jurídico, etcétera. "reglas para conocer la verdad": referencias o escalas que sirven para
9 Varios autores han desarrollado la noción de proceso de una poUtica pública a partir de
las preocupaciones por su elaboración, su orientación hacia los problemas sociales y su aplicación graduar, interpretar y calificar la realidad. Los criterios de la evalua-
dentro de un contexto social determinado. Ellos parten de cierta personificación del Estado ción se llevan a efecto -se operacionalizan- a través de métodos de
y asumen que su acción sigue, a grandes rasgos, el proceso mental de la acción humana, desde
que el actor percibe un motivo y decide que debe actuar, hasta que finaliza su acción (después análisis, observación, registro y medición particulares. En efecto, exis-
de pensar en alternativas, tomar una determinación, llevarla a cabo, observar las consecuencias ten una infinidad de procedimientos, medios e instrumentos que per-
y dar por terminada su actuación). Entre los distintos modelos -que no son sino instrumentos
conceptuales para facilitar la interpretación de la realidad del Estado en acción- que se han
propuesto para dar cuenta de la vida de las políticas públicas, casi todos, al reflejar también un 10 La evaluación puede ser interna, cuando la elaboran instancias que son dependientes de
ideal, incluyen una fase de evaluación. Harold D. Lasswell se refirió a varías fases (apreciación, la organización que aplica la política, o externa, cuando la realiza un organismo que no está
promoción, prescripción, innovación, aplicación, evaluación, terminación, valoración) desde 1956 integrado y es relativamente autónomo respecto del cuerpo público responsable de la política
en The Decision Process; R. May y A. Wildawsky identifican cinco fases (construcción de la a evaluar. Asimismo, puede ser considerada como una fase de la política pública separada del
agenda, análisis, ejecución, evaluación, terminación); Gary Brewer y Peter deLeon hablan de resto, aunque en realidad las fases no sean fácilmente distinguibles unas de otras, pues se
seis etapas (iniciación, estimación, selección, instrumentación, evaluación, terminación); en The confunden y empalman con frecuencia.
Foundations of Policy Analysis, California, Brooks/Cole, 1983, 338 p. P. deLeon también se refiere 11 Desde su perspectiva de estudio Myriam Cardozo identifica seis objetivos organizacionales
a ellos en su artículo en Foro Internacional, 131, p. 97. Para todos, la evaluación es una fase de las evaluaciones: 1) microeconómicos y financieros; 2) macroeconómicos; 3) tecnológicos;
integral de la vida de la política pública. 4) sociales; 5) objetivos de equidad; y 6) políticos. Véase M. Cardozo, op. cit., p. 169.

50
5I
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

miten poner en práctica la evaluación: son las técnicas o métodos de cionaremos los rasgos distintivos de cada uno de los enfoques generales
evaluación, que se derivan, generalmente en forma coherente, de los que se ocupan de esta cuestión.
criterios. 12
El objeto de la evaluación es proporcionar una graduación (o pun- El enfoque descriptivo elabora una lista precisa y exhaustiva de los
tuación), interpretación o calificación a la política pública; ello se tra- efectos de la acción pública. Su propósito es registrar los cambios ge-
duce en valores, que es el cuarto concepto. 13 Es con base en los criterios nerados por la política pública, tal como lo haría una cámara fotográfica
que pueden determinarse las características, medirse los méritos y cal- al plasmar la realidad antes y después de la aplicación del programa
cularse los desaciertos de un programa de actuación gubernamental: público. Tras el periodo establecido para llevar a cabo la evaluación
el valor puede remitir a la importancia, la calidad, la sustancia, la (por ejemplo, el que transcurre entre el inicio de la aplicación de la
cantidad, la estimación, la utilidad, la justicia, la eficacia, etc., de lapo- política y el momento escogido para evaluarlo), se establece un inven-
lítica pública.14 tario de cada una de las variaciones que registraron en el sector social
Finalmente, cuando varios individuos aceptan una determinada en el que se aplicó dicha política.
jerarquización de valores (lo bueno y lo malo, lo superior y lo inferior, Generalmente, los enfoques descriptivos se dedican al estudio del
lo que cuesta y lo que no, etc.) y cuando, a través de la costumbre, por entorno social que la política pública buscó modificar (más que al apa-
ejemplo, los valores se implantan en la moral convencional, surgen las rato institucional que la puso en práctica), y se pretenden neutrales:
normas (aunque en una organización social, pueden ser definidas im- registran cada cambio pero no miden el grado de variación, ni juzgan
positivamente, por ley). Las normas son preceptos de conducta que su ocasional efectividad (ni condenan su eventual inoperancia). Este
gobiernan y dirigen el comportamiento al asegurar la regulación de la enfoque de evaluación estudia principalmente los efectos de la política
vida de los individuos y los grupos dentro de la sociedad. en cuestión, es decir, las perturbaciones que ocurren tras la interven-
Objetivos, criterios, técnicas, valor y normas son los conceptos de ción de la autoridad.
partida para la elaboración de las evaluaciones. A continuación, men- También pueden identificarse los efectos de una política preven-
tiva, que busca precisamente "modificar" el curso esperado de los su-
12 Para la evaluación de los efectos de una política pública, M. Cardozo distingue sólo tres:
cesos sociales --curso "natural" o "lógico" de las cosas-. Toda autori-
análisis de excedente de productividad, balances sociales y estudios cuasiexperimentales. Pero dad pública tiene una cierta idea de lo que puede ocurrir, de acuerdo
la autora reconoce que varias de las técnicas que identifica para el análisis de políticas con su experiencia, sus conocimientos previos y la información con que
(evaluación ex ante) también pueden considerarse para la evaluación de resultados, aunque
algunas de ellas pierdan su ideal "optimizador". El énfasis para nosotros es que para cada criterio cuenta sobre el contexto en que se encuentra y que desea modificar
existe una técnica que le corresponde en forma más o menos adecuada. Las técnicas aludidas en o preservar. Con esos puntos de partida, la autoridad puede verse in-
el texto de Cardozo (op. cit., p.l84) son: árboles de decisión, análisis financiero, análisis
costo-beneficio, análisis costo-eficacia y teoría de juegos. clinada a anticiparse o a prevenir ciertos sucesos. Un ejemplo sencillo
13 En términos generales, son tres los métodos para·establecer los criterios de valoración: es el caso de un incremento de salarios a trabajadores sindicalizados,
1) El nominal, que consiste en dar un nombre a un objeto, grupo, sector, proceso, situación, con
el fin de clasificarlo. El nombre debe ser un calificativo: bueno-malo, eficaz-inerte, falso-verda- o el encarcelamiento de su líder por un fraude fiscal a comprobar pos-
dero, para lo cual basta aclarar su significado, con base en la extensión buscada (número de cosas teriormente, para evitar una huelga en el sector público: los efectos de
que señala, a las que se refiere) y a su connotación (su significado, el número de propiedades e la actuación gubernamental pueden ser medidos concretamente, pero
ideas a las que hace referencia); con dichas especificaciones se le puede clasificar en una escala
de valores determinada. 2) El método ordinal, cuando se expresa una sucesión, alguna disposi- también en forma abstracta o simbólica (opiniones de la gente, su nivel
ción ordenada de las partes de un todo, una relación con base en características de calidad o de de satisfacción al pensar en la política pública estudiada, las percep-
cantidad (primero, segundo ... , más, menos, etc.) 3) Y el cardinal, que atribuye un adjetivo
numérico que expresa la cantidad o el grado de cosas de que se trata, de acuerdo con caracterís- ciones y las creencias, etc.). 15 Por otro lado, el enfoque descriptivo tam-
ticas cualitativas o cuantitativas, con el fin de situar en una escala (con base en la escala de 10, bién se ha interesado en registrar los cambios o la conservación que
por ejemplo).
14 A partir de ideales (prototipos o modelos de perfección), toda sociedad se organiza con base una política genera en el medio ambiente y en el territorio (efecto de
en un sistema de valores que debe ser relativamente congruente con la ideología predominante,
las creencias y los mitos de los grupos sociales. Al mismo tiempo, los valores deben conjugarse
lógicamente con la moral práctica y las normas, mismas que regulan la organización y el
funcionamiento de la vida política, social y económica. 15 Véase Mény y Thoenig, op. cit., p. 292.

52 53
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

la construcción de un desarrollo turístico, creación de parques nacio- de caso de un programa público en determinado sector social, en un
nales, etcétera). periodo establecido y en un lugar geográfico específico. La observación
Las técnicas de observación para la evaluación descriptiva son es particular, sin qtJ.e exista la posibilidad de establecer criterios com-
muy variadas. Las opciones a las que el investigador puede recurrir se parativos con base en la observación de un grupo similar en el que no
parecen bastante a las que se encuentran en los manuales de base de se hubiera aplicado dicha política. En el estudio de caso, el evaluador
las ciencias sociales en general: elaboración de muestreos, investiga- tiene solamente la información correspondiente al grupo afectado por
ción por encuestas y circulación de cuestionarios, análisis estadísticos, la política evaluada: debe conformarse con observar los efectos de la
observación participante o directa, análisis de contenido (informes política y comparar la situación con la que prevalecía antes de la apli-
gubernamentales), construcción de escalas o de modelos matemáticos, cación de la política (comparación temporal) o bien, en el mejor de los
etc.I6 Pero en este enfoque, lo importante es observar las transforma- casos, hacer un seguimiento progresivo a lo largo de la aplicación de
ciones o desviaciones del "curso normal" de las cosas que son atribuibles la política, con evaluaciones constantes (análisis de series temporales).
a la política pública en cuestión, es decir, lo que cambió gracias a la El establecimiento de las relaciones de causalidad se dificulta al no
actuación del gobierno. Es muy común que los evaluadores no expresen haber un grupo de referencia para establecer un análisis comparado
de manera explícita los criterios que los guían, pero tienen que exhi- (en realidad no se sabe qué hubiera pasado si no se hubiera aplicado esa
bir de alguna forma las técnicas usadas. Esto resulta muy útil para política). Por ejemplo, siempre existe el riesgo de que lo que se inter-
quien realiza un análisis de la evaluación, pues generalmente las téc- preta como un efecto sea en realidad la influencia de factores exógenos
nicas traducen en varios sentidos los criterios subyacentes de los eva- a la política aplicada.
luadores. Sin embargo, este enfoque no busca en realidad establecer ese
Cabe anotar que al describir los efectos es inevitable partir de la tipo de asociaciones entre causas supuestas y consecuencias concretas.
observación de lo que se esperaba modificar; por ello en la descripción Existen técnicas analíticas de observación suficientemente aceptadas
final es frecuente que la evaluación descriptiva subraye los efectos que permiten distinguir las modalidades de aplicación de la política
inesperados. Cuando se han observado los efectos de uno de los pro- pública evaluada o se proponen interpretaciones sobre sus efectos, pero
gramas de lucha contra la contaminación ambiental en la ciudad de ello forma parte de otros enfoques de evaluación, como los que veremos
México, por ejemplo el programa "Hoy no circula" (que consiste en que a continuación. En la evaluación descriptiva debe mantenerse una
cada automóvil tiene prohibido circular uno de los cinco días hábiles gran modestia en cuanto a su interpretación teórica, así como evitarse
semanales), se ha visto que al principio, más allá de su efectividad en cualquier intento de generalización.
cuanto al decremento de la contaminación por una supuesta reducción
del tráfico de vehículos, la demanda en el mercado de automóviles El enfoque clínico, como los enfoques que presentaremos posteriormen-
usados resultó relativamente favorecida, pues un número considerable te, busca explicar los efectos: parte de los objetivos declarados de la
de propietarios de autos de ingresos medios y altos optó por la adqui- política pública y, al observar los resultados obtenidos, intenta explicar
sición de uno adicional, en lugar de organizar turnos de viajes entre por qué algunos de los objetivos no se lograron y por qué algunas con-
los vecinos o usar con más frecuencia el transporte público. 17 secuencias resultaron inesperadas. Los criterios de evaluación son en-
Un ejemplo de la evaluación descriptiva es cierto tipo de estudio dógenos, definidos a partir de las metas propuestas por los diseñadores
de la política en cuestión. Este enfoque, como el descriptivo, registra
16 Hay un sinnúmero de títulos que tratan sobre estas técnicas. Al respecto sugerimos la
revisión, por recomendación del investigador del CIDE, Gerardo Rivera Navarro, de Jaro! B.
Manheim y Richard C. Rich, op. cit.
evolucionaron y por lo tanto el entorno que se pretendía solucionar cambió (generalmente sucede
17 Vale decir que, respecto al programa "Hoy no circula", no hay evaluaciones que hasta el
cuando la acción gubernamental llega demasiado tarde; también sucede cuando otras accwnes
momento se hayan hecho públicas, aunque sus efectos inesperados han sido registrados en
públicas o factores externos provocan efectos en el sector considerado). 3) Los cambios introdu-
numerosas ocasiones. Mény y Thoenig (op. cit., p. 295) identifican tres causas principales para
cidos por la autoridad generaron consecuencias colectivas incontrolables o gran fluidez simultá-
explicar las consecuencias inesperadas de la intervención del Estado: 1) La autoridad que diseñó
nea en varios sectores sociales. Véase en este tercer punto a Thomas Schelling, La tyrannie des
la política no entendió correctamente las causas del problema que quiso atacar. 2) Los problemas
petites décisions, París, Presses Universitaires de France, 1980.

54
55
 Juan Pablo Guerrero Amparán
La evaluación de polüicas públicas

también las variaciones provocadas por la intervención de la autoridad

pública en un determinado periodo, pero establece su análisis delibe- cionada: la evaluación antes y después de la aplicación de la política.
radamente a partir de lo que se buscaba modificar con la política, por Se le denomina evaluación sumaria (summative evaluation), y consiste
lo que hace énfasis en los criterios iniciales de la misma. Identifica las en un análisis de las consecuencias generales de la política en cuestión,
diferencias entre el objetivo verdadero (muchas veces tácito) y el bus- ya que pone el énfasis en los efectos finales, después de considerar la
cado (explícito u "oficial") por el funcionario que efectúa la política situación que prevalecía con anterioridad. Finalmente, existe el segui-
respecto al efecto realmente alcanzado, y trata de explicar, a través miento progresivo de la política aplicada, lo cual puede lograrse cuando
del análisis de las condiciones previas a la aplicación de la política y de se instala un grupo de observación permanente (como los de las áreas
la consideración de los problemas a lo largo de su instrumentación, de la formación 19) o en el caso de políticas públicas que mantienen
qué fue lo que falló. Generalmente, como el descriptivo, el enfoque constantes sus objetivos pero reajustan progresivamente sus medios
clínico es una evaluación posterior (ex post) a la aplicación de la política en vista de los resultados sucesivos de la evaluación. Este tipo de eva~
y se centra en sus efectos. luación se conoce como formativa (formative evaluation), pues permite
Este enfoque no se pretende crítico, pues desde un principio hace establecer observaciones y recomendaciones tácticas a los responsables
suyos los objetivos de la política pública en cuestión. Al contrario, más de la política (los que decidieron ponerla en práctica) con el fin de
allá de consideraciones morales, su pretensión es ser útil: sirve a los corregir desviaciones y mejorar el desempeño del programa. Las eva-
objetivos del funcionario responsable de la política pública, pues busca, luaciones sumarias hacen énfasis en los efectos reales del programa
a través de una interpretación práctica, determinar las causas de las gubernamental evaluado, mientras que las formativas cuidan más de
variaciones entre objetivos y resultados a fin de evitarlas en el futuro. cerca el cumplimiento de los efectos buscados. zo
Este enfoque en realidad califica, con valores que son congruentes con No siempre es fácil establecer una evaluación clínica, pues sus
los criterios internos de la entidad pública actuante, el cumplimiento supuestos entienden que los objetivos de una política pública están
de los objetivos: va y viene entre sus fines últimos y sus resultados claramente definidos (lo cual no siempre es cierto, pues generalmente
concretos, de manera que la evaluación se convierte en la medición existe~ los objetivos declarados oficialmente y los objetivos reales, pero
que le corresponde a la política de la variación de una situación, a escond1dos del grupo de autoridades), son relativamente coherentes
diferencia de la que le corresponde a los factores exteriores a esa polí- y en verdad los buscan sus impulsores. Sin embargo, no es raro que una
tica específica. Ahí residen, por lo demás, sus limitaciones, pues por lo misma política pública exhiba dos fines que sean más o menos exclu-
general resulta muy dificil discernir los cambios que se deben a la po- yentes entre sí, o que sean francamente opuestos. En otras ocasiones
lítica y los que resultan de la modificación de parámetros exteriores, los medios usados resultan contradictorios respecto del objetivo busca~
o de otra política pública que actuó simultáneamente e influyó el re- do. Por ejemplo, dos objetivos con frecuencia opuestos en una política
sultado final en forma indirecta. económica de fomento al crecimiento en México con estabilidad de pre-
Existen tres técnicas más o menos sistemáticas que se utilizan
frecuentemente para este tipo de evaluación. La encuesta estadística,
af~ctados suficientemente heterogéneos como pilotos de prueba, para que la estimación econo-
que establece pruebas sobre sectores representativos del grupo social metnca pueda a1slar los efectos de la política, al sacar provecho de las diferencias entre las
afectado (lo cual supone que se tiene un buen conocimiento estadístico observaciOnes de cada corte transversal. Los pioneros en desarrollar las técnicas estadísticas
de ese grupo) y permite establecer una tipología de comportamientos para _mterpretar los efectos de la intervención gubernamental en análisis de series de tiempo
(med~cJOnes sucesivas de las vanables para determinar tendencias) fueron G.E. Box y Gwilyn
frente a la política. Incluso, en ciertas condiciones, esta técnica permite Jenkins, en 1970 (Time Senes Analysis, San Francisco, Holden-Day).
19 En la Secretaría de Educación Pública, por ejemplo, existe la Comisión Nacional Mixta de
establecer relaciones de causalidad, por lo cual algunos autores la iden-
Escalafón, que controla a los inspectores y encargados de evaluar al personal docente.
tifican como cuasiexperimental. 18 La segunda técnica ya ha sido men- 20 A _la evah1ación formativa, __Eric Monnier la llama endoformativa: sus objetivos son la
concepc10n Y ~eJora de la mnov_acwn y los destinatarios son los protagonistas de la innovación.
A la evaluac10n s~.marm, Monmer la denomina recapitulativa, cuyo objetivo es validar o garan-
tizar la mnovacwn, Y los deshnatanos son los responsables nacionales, colegas expertos,
18 Implica, por ejemplo, una modelización microeconómica, con un conjunto de individuos profesiOnales Y usuariOs potenc1ales. Véase "Objetivos y destinatarios de las evaluaciones"
Documentación Administrativa, núm. 224-225, octubre de 1990-marzo de 1991, p. 148. '
56
57
 La evaluación de políticas públicas
Juan Pablo Guerrero Amparán

y precisa, lo cual obliga al evaluador a plantear sus propios criterios;

cios (por lo menos, muy difícilmente compatibles), son pretender, p~r
2) que el evaluador no comparta los criterios de los objetivos de la polí-
una parte, fomentar la inversión privada interna en sectores producti-
tica pública en cuestión, o que tenga unos criterios adicionales y pri~or­
vos y, por la otra, mantener (al mismo tiempo) un fuerte contr?l al
diales, sustentados en consideraciones de tipo presupuesta!, por eJem-
aumento general de la inflación (lo cual se logra, entre otras medidas,
plo, y 3) que exista un marco legal regulador de la actu~c~ón guberna-
a través de tasas de interés elevadas). En cuanto a medíos que contra-
mental y, para su evaluación, normas de conducta restncbvas para los
dicen los fines buscados por la política, un ejemplo clásico es el de las
funcionarios públicos o limitaciones presupuestales, lo cual define cla-
políticas de descentralización que, generalmente, ~on ~mpulsada.s por
ramente los criterios que deben adoptarse para la evaluación. Igual que
un fuerte aparato estatal centralizado a través de c~t~nos ~entrahstas.
en la perspectiva descriptiva, y al contrario de la clínica, los criterios
Finalmente, puede decirse que los enfoques chn~cos tlen~en a ex-
de este enfoque son exógenos, pues provienen de consideraciones exter-
plicar todos los efectos de la política en forma deductiva y raciOnal. El
nas a las que norman y justifican la política pública evaluada.
riesgo para el evaluador en este caso es que, al asumir los valores
Thda política pública, al buscar modificar o conservar la situación
intrínsecos de la política pública estudiada (los que se buscan al espe-
prevaleciente en un determinado sector d~ la sociedad, está imp~lsada
cificar los objetivos), puede convertirse en un abogado o defensor acrí-
por varios marcos que encuadran su acción. Su punto de partida es
tico de la política. Por ejemplo, una evaluación clínica del incremento
una visión general del mundo, en la que supone distinguir lo ideal y lo
al gasto federal en educación en México durante la década de los_ a~os
indeseable. Considera al mismo tiempo un conjunto de valores oficiales
sesenta puede concluir que los objetivos verdaderos aunque tac~tos
y otros particulares (institucionales) que orientan su actuación de largo
fueron relativamente satisfechos: se mejoró la relación entre el gobier-
plazo. La condicionan simultáneamente un conjunto de intereses pro-
no y el sindicato de maestros al reducirse los riesgos de ingobernabi-
pios y utilitaristas y una visión de la necesidad social urgente que
lidad de ese gremio, y así apaciguar, en el mediano plazo, las demandas
dirigen su acción inmediata. Y están también los intereses individuales
que amenazaban con crear un foco inquietante de desestabilizació~ .en
o de grupo, que pretende afectar, favorecer o pe:rjudicar. .
el régimen político. Sin embargo, si bien los responsables de la pohtica
En cualquier caso, toda política pública lleva consigo una Idea
educativa de entonces cumplieron sus objetivos reales, no avanzaron
determinada de la sociedad (ideología) y una serie de valores que le
mucho en cuanto a los objetivos presentados en el discurso que pre-
ofrecen, aunque sea en forma mínima, un marco justificativo a sus
tendía justificar esa política: la expansión y mejoramiento de los ser-
objetivos y a los medios para alcanzarlos: una política pública trae
vicios educativos. 2 I
intrínsecamente una teoría social del cambio o de la conservación de
El enfoque normativo busca evitar la visión acrítica del enfoque an~e­
la sociedad. Si, por ejemplo, los objetivos de la política pública en cues-
rior: el evaluador no fundamenta sus criterios en los objetivos propiOs tión son favorables a criterios de eficiencia económica por encima de
los valores sociales, un evaluador normativo, preocupado por la ine-
de la política pública a evaluar sino que "sustituye eso~ criterios p~r
otros que escoge él mismo y que le servirán de referencia para me~Ir quidad, puede establecer distancia frente a las políticas y plantear
los resultados observables de la política". 22 El hecho de que la evaluac10n valores propios para la calificación de la política. En este caso, la eva-
se efectúe con criterios valoratívos propios (o exteriores a la política luación asume claramente una posición crítica y externa a la política
evaluada al seleccionar en forma deliberada unos criterios de medición
evaluada) y que a partir de ellos se establezca la calificación de. la. po-
lítica, puede deberse principalmente a tres razones: 1) que los obJetivos que cuestionan la acción de la autoridad pública. El ejemplo puede ser
del programa público no hayan podido ser definidos de manera clara invertido: una política social puede ser duramente criticada desde el
punto de vista de un evaluador con criterios de eficiencia económica.
En ambos casos, son inevitables consideraciones de tipo moraJ.2 3 El
21 A propósito de las difíciles relaciones entre el sindicato de maestros y el ~obi~r~o mexicano,
debe verse el artículo de Alberto Arnaut, "La federalización de la educac10n bas!Ca Y normal
(1978-1994)", Política y Gobierno, México, CIDE, vol. 1, núm. 2, segundo semestre de 1994,
pp. 237-274.
23 Aunque de cierta manera las consideraciones morales siempre existen en los demás tipos
22 Mény y Thoenig, op. cit., p. 290.

58 59
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

riesgo del enfoque normativo es, evidentemente, un exceso de subjeti- por las situaciones de desigualdad social (en cuanto al acceso a los
vidad en la evaluación o una flagrante arbitrariedad moralista con la servicios sociales, por ejemplo), para lo cual integra consideraciones
condena, con base en un criterio rígido, de todo lo que se salga de distributivas;26 y el criterio de pertinencia o adecuación, que se refiere
la norma. Estos excesos demeritan, claro está, la profundidad del aná- a la capacidad de responder satisfactoriamente a las necesidades o
lisis de la evaluación. demandas sociales. 27
Se puede subrayar que dentro de este tipo de evaluación norma- ¿Cuál es el lugar de estos criterios dentro de los enfoques descri-
tiva, y más allá de la pretendida objetividad de los números, se ubican tos? El criterio de eficiencia agrega una consideración normativa a los
los controles que hacen énfasis en el desempeño económico de un pro- objetivos de la política pública, pues busca establecer una estimación
grama de gobierno. Si los criterios de la evaluación de una política relativamente objetiva -económica- de los recursos con los que cuen-
pública se basan en normas estrictas de cuentas o estados financieros ta elfuncionario (humanos, organizacionales, económicos, institu-
por medio de análisis de costo-beneficio, y ello se hace con independencia cionales, etc.), para calcular su desempeño tras la observación de los
de los objetivos iniciales de la misma, es claro que son parámetros exter- resultados finales. En cambio, la eficacia parte de los objetivos progra-
nos los que brindan los términos para rechazar o aceptar prácticas y mados y los asocia directamente con los resultados concretos, por lo
resultados que se consideran deseables o condenables en la evaluación. que es un criterio común en las evaluaciones clínicas. Con estas defi-
Sin embargo, lo más frecuente es que, más allá de esquemas rí- niciones, puede decirse, por ejemplo, que una política pública puede
gidos, se utilicen criterios múltiples para llevar a cabo una evaluación, ser ineficiente si se emplearon recursos descomunales para su aplica-
a través de las técnicas más adecuadas para esos criterios. Aunque ción, pero eficaz, si se alcanzaron los objetivos programados, aunque
siempre predominan ciertos parámetros (corresponde al investigador haya sido a un alto precio.
determinar su orden), hay cinco criterios que en la mayoría de los Mientras que la eficacia y la eficiencia son criterios prácticos, la
estudios dedicados al tema se aluden como puntos de partida generales. igualdad y la equidad incluyen consideraciones de tipo moral. En ~l
El criterio de eficiencia, o sea la capacidad de transformar los recursos primer caso, se considera que la intervención del Estado no debe pn-
iniciales en resultados finales de manera poco onerosa (logro de obje- vilegiar a grupo de individuos o sector alguno, sino que debe actuar en
tivos al menor costo posible); 24 el criterio de eficacia, 25 es decir la ca- forma imparcial e igualitaria frente a la sociedad. Por su parte, el
pacidad de hacer concretas o reales las metas programadas (logro de criterio de equidad no sólo sirve para evaluar la actuación del Estado
objetivos tangibles); el criterio de igualdad, que implica el mismo tra- sino que se considera como un factor que incita y justifica plenamente
tamiento a todos los sectores sociales, aunque éstos se encuentren en la intervención del mismo, cuando ocurren desigualdades en condicio-
situación desigual; el criterio de equidad, que se preocupa en particular nes sociales o económicas que favorecen la concentración de la riqueza
o del poder en un pequeño grupo social. Por lo tanto, los criterios de
de evaluación, pues siempre se parte de una referencia particular para medir o calificar los
efectos de una política. En una sociedad donde abundan valores diferentes, datos y tiempos cuyas
definiciones no son compartidas por todos sus integrantes, evaluar implica, por lo menos, asumir 26 La equidad es la propensión a dejarse guiar, o a fallar, por el sentimiento del deber y de
una posición y tomar partido. . . . . la conciencia más que por las prescripciones rigurosas de la justicia: es la justicia natural por
24 Dicho criterio se mide generalmente a través del análisis de costo-beneficiO, procedimiento oposición a 1~ letra de la ley positiva. Por igualdad entendemos aquí que a todos los ciudadanos
derivado de la economía que calcula el beneficio neto de la intervención del gobierno en relación correspondan los mismos derechos, el mismo trato.
con los costos de dicha intervención. 27 Por ejemplo, un programa gubernamental es: 1) eficiente, si genera resultados sat~sf~cto­
25 Suele haber confusión entre estos términos, que son todos derivados de la palabra efficere, rios (políticos, sociales, económicos, materiales, etc.) con ~scasos recursos (humanos, tecm~~s,
a su vez antecedida por {acere. Eficiente es el participio activo de efficere, que significa producir organizacionales, financieros, políticos, etc.); 2) eficaz, s1 en un penado de .mstrumentacwn
un efecto. El diccionario de la Academia de la Lengua Española estipula que la eficiencia es la prestablecido, alcanza verdaderamente las metas programadas; 3) observa el entena de Igualdad
virtud y facultad para lograr un efecto determinado, y la eficacia es la virtud, actividad, fuerza si sus beneficios o servicios se reparten en forma equilibrada entre los grupos sociales afectados;
0 poder para obrar. Queda así que la eficacia implica una disposición, mientras la efic~encm 4) observa el criterio de equidad si genera una mayor justicia social tras la intervención
traduce una relación condicionada al efecto. Por su parte, Brewer y deLeon definen a la efictencta gubernamental, a través de estrategias distributivas, por ejemplo; y 5) pertinente o adecuado,
de manera muy sencilla: es la relación entre insumas (recursos) y productos (resultados). cuando la disponibilidad de los servicios o beneficios del programa es suficiente para la necesidad
y effectiveness es la relación entre resultados observables y resultados programados en un de los demandantes de la intervención gubernamental. Véanse G. Brewer y P de!..eon, op. c1t.,
periodo determinado. Véase Brewer y deLeon, op. cit., p. 335. 1983, p. 338; y L. F. AguiJar, La hechura de las políticas públicas, México, Miguel Angel Porrúa,
1992, p. 29.

60
61
 Juan Pablo Guerrero Amparán
La evaluación de políticas públicas

igualdad y de equidad intervienen en el enfoque de la evaluación nor-

mativa y, como veremos posteriormente, en el pluralísta. gran medida, el marco moral e intelectual (el marco que regula sobre
Finalmente, el criterio de pertinencia es en cierto modo el inverso su conocimiento, sus apreciaciones, sus emociones, su razón sus sen-
del criterio de eficacidad, ya que integra completamente el punto de saciones, su memoria, su percepción) a través del cual pued~ elaborar
vista del sector social que demanda la intervención de una autoridad un juicio o una evaluación sobre alguna política gubernamental. En
pública para atender alguna cuestión de su interés. Se pregunta si el esa med~d~, los hechos ~xteriores pasan por el filtro de los esquemas
programa o la acción estatal fue la adecuada para satisfacer las nece- de conoc1m1ento que estan culturalmente enraizados en los individuos·
sidades y demandas sociales. Al tomar en consideración a los grupos al mirar los hechos, el individuo tiende a asimilarlos y comprenderlo~
afectados, este criterio vuelve a situarse en un plano que es indepen- con los colores de sus juicios preestablecidos. Si algunos elementos de
diente de los objetivos, y al imponer valores de medición exógenos, la realidad vienen a cuestionar su marco de valores y las referencias
puede situarse en el enfoque normativo o pluralista. básicas que usa para el entendimiento, el individuo tiende a rechazar-
Ya hemos mencionado que, de alguna manera, todos hacemos eva- los, a ~o percibirlos o a torcerlos en el sentido de sus creencias: prefiere
luaciones. En los países donde la competencia decisiva por el poder selec_cwnar las partes que menos cimbran ese marco, las que más le
tiene como medio esencial las elecciones limpias y democráticas, el convienen y más consolidan sus prejuicios.
evaluador más temido por las autoridades (por lo menos las electas) . De estos vici?s de interpretación busca alejarse el evaluador pro-
es el ciudadano que vota. En efecto, una forma elemental-sin mayores fe~wnal o. ~l analista de políticas públicas. En ese sentido, el enfoque
pretensiones teóricas- de evaluación normativa es la que ocurre, de mas amb1c10so desde el punto de vista científico es el que presentare-
una manera general, cuando los ciudadanos califican (o descalifican) mos a continuación.
las acciones de sus gobiernos. Esta valoración se expresa a través del
voto y de las opiniones que recogen las encuestas y los medios de co- El enfoque experimental parte del supue. , de que es posible descubrir
municación. relaciones estables de causalidad entre una política pública y sus efec-
"Cada cabeza es un mundo", reza el dicho: los individuos y los tos sociales. Si funciona la política, se puede extender a otras áreas:
grupos poseen referencias muy heterogéneas para sus juicios de valor, esto es, el enfoque considera que es posible postular la existencia de
de acuerdo con sus posiciones sociales, su nivel de educación, sus ex- conexiones que pueden ser explicadas lógicamente entre las causas
periencias personales e ideas políticas, su interés particular y su si- --o las variables independientes, que son las medidas específicas del
tuación material y fisica frente a la política. Los criterios dependen de p:ograma gubernamental- y las consecuencias --o variables depen-
quién los formula, de cuál es su intención y su visión del mundo. Los dientes, que son los efectos calculables en el sector social o entorno
puntos de partida para una evaluación también dependen de la auto- físico donde se desarrolla ese programa-. Por ello, la evaluación ex-
ridad pública y de la política de la que se trate. Lo cierto es que los p~ri~ental, como una ciencia que establece los criterios de su expe-
criterios y escalas de valores a partir de los cuales los individuos juzgan nencia, propone llevar a cabo ensayos y experimentos de políticas que
la actuación gubernamental son subjetivos, por más que el resultado muestren, en un sector reducido y controlable, en un lugar delimitado
que se busque medir sea totalmente objetivo. Por ejemplo, no ve igual Y u~ lapso pr~establecido, los efectos reales, para así probar todas las
el resultado de una política cambiaria un exportador que un importa- P?s1bles soluciOnes y alternativas para escoger después la más conve-
dor: al primero le favorece un tipo de cambio subvaluado que al segundo mente (de acuerd_o_con lo~ obj~tiv?s y_valores de la autoridad respon-
perjudica. 'Ibda política pública genera efectos que se entienden como sable). _A una ~0~1tlca socml d1stnbut1va determinada corresponderá
adversos por algún sector social; para toda acción del Estado hay adep- un~ ca1da previsible del número de individuos que viven por debajo de
tos y opositores. la h~ea de la pobreza, pero el fin es generalizar la política que la eva-
Por otra parte, ni la información concreta ni la realidad suscitan luación experimental exhibió como la más adecuada.
o determinan el carácter de los juicios en la mayoría de los individuos . . La estrategia evaluativa experimental ha utilizado mucho el aná-
sino su cultura. Es esta última la que le proporciona al individuo, e~ hsis com?arativo ~omo herramienta para la elección de varias políticas
alternativas. Advierte que si el gobierno adopta un conjunto de medi-
62
63
 Juan Pablo Guerrero Amparán La evaluación IÚi políticas públicas

das X, sobre un grupo social A, las consecuencias serán del tipo Y; si do se comparan los efectos del programa evaluado con un grupo o sector
adopta un programa alternativo Z sobre un grupo B, los efectos se- social que no es suficientemente equivalente, se le denomina evalua-
rán W. Después, confronta analíticamente las diferencias entre los con- ción cuasiexperimental o experimental impura. Pero procedamos a am-
juntos (X, Y) y (Z, W) desde diversos criterios (económicos sociales ins- pliar estas diferencias.
titucionales, políticos, etc. -vuelve a intervenir el ine~itable f~ctor La evaluación casi experimental le permite al investigador tener
subjetivo-) y decide qué tipo de política le resulta mejor.2s Para llevar una idea muy aproximada de los efectos verdaderos de la aplicación de
a cabo su análisis, la evaluación experimental distingue entre estra- la política, al reducir considerablemente la incertidumbre ligada a la
tegias de investigación y técnicas de tratamiento de la información. influencia inevitable de factores externos sobre el sector social sometido
Por las primeras entiende la organización metodológica general de la al programa gubernamental. La existencia de dos grupos, el que está
evaluación, en función de las observaciones concretas (información em- sujeto a la acción y el que sirve como referencia para hacer la compa-
pírica), que estén disponibles o que sea factible recolectar. Las segun- ración, brinda la oportunidad de obtener información adicional sobre
das se refieren a los procedimientos o técnicas para decantar los datos las evoluciones que suceden de manera independiente de la instrumen-
empíricos, así como la organización de su tratamiento, su síntesis y su tación del programa aplicado. El problema con este tipo de evaluación
interpretación. es, precisamente, la selección del grupo de referencia, pues entre sus
De acuerdo con los objetivos de la evaluación, con los recursos diferencias iniciales con el grupo que recibe el tratamiento de la actua-
disponibles y las condiciones contextuales, se pueden distinguir dos ción gubernamental pueden estar las causas determinantes de lo que
técnicas de investigación diferentes. Su "pureza experimental" depen- el analista interpreta como efectos de la política pública evaluada.
de de la presencia o no de un grupo "testigo" o de control, equivalente Por otra parte, mientras más grande y complejo es el grupo selec-
al grupo que es objeto de la política experimentada, para establecer cionado, más se filtran en la evaluación "impurezas" que se originan
una comparación sistemática. 29 En efecto, el carácter experimental de en las diferencias de la naturaleza de los dos grupos o sectores compa-
una evaluación depende del grado de similitud entre el grupo afectado rados. Este tipo de complejidad sucede cuando se evalúa, por ejemplo,
por la política pública y el grupo que se usa como referencia compara- una estrategia de desarrollo urbano al comparar dos ciudades, o bien
tiva para medir los efectos de la política, esto es, el grupo de control. al comparar dos naciones, donde la complejidad y diversidad de los
Si este grupo es por completo equivalente, es decir, si tiene caracterís- actores y contextos nubla la nitidez de la interpretación por compara-
ticas que son suficientemente similares a las del grupo tratado (desde ción. Si el punto de referencia es malo, el análisis por fuerza es inade-
el punto de vista estadístico), se habla de experimentación real. Cuan- cuado: aquí entramos en problemas ligados a la estrategia del análisis
comparativo, según el cual, para llevar a cabo una comparación válida,
28 Un ejemplo clásic_o de este tipo de evaluación se encuentra en M. Deleau, J.P. Nioche, no basta comparar las propiedades similares entre dos cosas, sino que
P. P_enz y R. Pomsard: Evaluer l':s politiques pu~liques: méthodes, déontologie, organisation, debe cuidarse que los objetos cuyas características se comparan per-
Pans,. L~ Documentatwn Fr.an~a!se, 1986. p. 75. Este consistió en la creación de un "impuesto
negativo -una ayuda econom1ca directa- que le fue aplicado a 725 familias con ingresos muy
tenezcan a la misma clasificación general: deben ser casi equivalentes.
baJOS (grupo expenmental) y la existencia de un grupo de control de 491 familias que no recibió Lo dificil resulta, por lo tanto, escoger un grupo de referencia que real-
este. tipo de .:'yuda. La expenenc1a, llevada a cabo en los estados de Nueva Jersey y Pensilvania, mente cumpla con los requisitos mínimos del análisis comparativo.
duro tres anos (1969-1972), y tuvo un costo de más de ocho millones de dólares. Se buscaba
determinar si ese tipo de ayuda directa a los grupos más pobres hacía variar su situación Por otra parte, debe cuidarse que el grupo o sector de referencia no sea
profesional y ~ondición social. Se m~stró que los jefes de la familia beneficiada por el impuesto objeto de otra política pública que se estuviera aplicando simultánea-
negativo no d1smmuyeron s1gmficativamente su esfuerzo por mejorar su condición social (bús-
queda de. empleo o de ascenso). Al mismo tiempo, se registró una disminución más significativa mente.
en la actividad P.rofeswnal de las madres de familia. El experimento ha sido muy criticado por Así, la simple observación de grupos que no son equivalentes tiene
los ~ICIOS que se mtrodu]eron, en los planos técnicos y morales, durante su desarrollo.
29
La "pureza" alude aquí al sentido más literal del término "experimentar": probar prácti- una pertinencia limitada para deducir relaciones causales, puesto que
camente _una cosa, ensayarla, como sucede en los experimentos químicos o en las técnicas de es muy dificil asegurar el grado de comparación entre los grupos. Para
evaluacwn en epHlemwlogía, donde un grupo de enfermos ingiere una vacuna experimental para
comparar sus smtomas con un grupo de control al que no se le aplicó. Véase Schwartz en De lea u salvar estas limitaciones, cuando las políticas públicas están clara-
Nioche et al., op. cit., pp. 93-105. ' ' mente identificadas y pueden ser cuantificables, se puede recurrir

64 65
 Juan Pablo Guerrero Amparán
La evaluación de polüicas públicas

a estimaciones econométricas para evidenciar el peso respectivo de las

diferentes variables explicativas. Pero ahí nos encontramos nueva- Gary Brewer y Pe ter deLeon sostienen que, en realidad, la calidad
mente con una serie de dificultades técnicas, lo cual ha hecho que este de la evaluación dependerá tanto de las habilidades profesionales del
método sea poco utilizado. investigador como de su juicio, que comienza a emplearse desde que
En el mundo de la evaluación de políticas públicas, sólo hay un se escogen las herramientas y técnicas para llevarla a cabo. 32 Ya se ha
método que es en verdad experimental, y que es, por lo tanto, muy dicho, los objetivos expresos o implícitos de la evaluación tendrán un
costoso de realizar y extremadamente difícil de lograr: se trata de un peso determinante en su forma, operación y resultados. Por su parte,
experimento social, donde la clave está en el método de selección de Eric Monnier invierte la discusión sobre la evaluación de la siguiente
los grupos de aplicación de la política y el de referencia o de control. manera: la utilidad de los diferentes enfoques no se encuentra en sus
Esta evaluación es ideal para poner a prueba un programa público criterios metodológicos sino en la credibilidad de la evaluación ante
(verificar sus consecuencias): se instala un impuesto municipal (el de los actores sociales que están involucrados en el programa público en
radicación, por ejemplo)30 en algunos municipios (sucedió en el Estado cuestión. Esa credibilidad, explica este autor, no depende tanto del
de México desde 1993) y se observa escrupulosamente el comporta- rigor técnico de los instrumentos utilizados sino de la "legitimidad"
miento de las finanzas públicas en municipios similares; si los resul- que los objetivos de la evaluación y el procedimiento tengan frente a los
tados son satisfactorios (desde el punto de vista de los objetivos bus- destinatarios de ella. Al partir de la idea de que la evaluación no es ni
cados, que son, en este caso, fortalecer la hacienda municipal con puede ser un ejercicio neutro y exterior a las relaciones de poder invo-
recursos propios), se puede extender la experiencia hacia el resto de lucradas en el programa gubernamental observado, sino que es un
la entidad. Pero los grupos de referencia y de control deben ser muy suceso político que forma parte integral del contexto político del pro-
parecidos desde el punto de vista estadístico (presentar las mismas grama, Monnier propone un enfoque pluralista, que hace participar a
características) y, condición esencial, deben ser escogidos en forma es- los actores sociales en la conducción de la evaluación a fin de reforzar
trictamente aleatoria. A partir de una serie de grupos que son equiva- su credibilidad. 33
lentes, se escoge por sorteo los grupos que servirán para la compara-
ción, el grupo de prueba y el de referencia. 31 También debe prestarse El enfoque pluralista parte de una concepción del mundo diferente de
mucha atención a los criterios de control de las variables, que deben la que sustenta el enfoque experimental. Para este último, todo lo
ser definidos en forma clara sin dejar lugar a confusiones; a la forma verificable con experiencias es verdadero (posee una verdad intrínse-
de medición, que debe ser válida, confiable y precisa, y al control de ca): el investigador o evaluador parte de una teoría general y predice
los factores externos sobre el área de observación (por lo que los tér- consecuencias factibles (sus hipótesis). Si las observaciones de la ex-
minos temporales y espaciales deben quedar perfectamente definidos). perimentación las confirman, entonces la teoría es considerada como
Se trata de hacer criterios de evaluación lo más objetivos posible. Por válida: la verdad se considera objetiva, factible y constituye una pro-
ello son muy pocos los programas que pueden ser objeto de la verdadera piedad intrínseca (no convencional). Para el enfoque pluralista, la rea-
evaluación experimental, en especial los que intervienen en sectores lidad no puede reducirse ni aislarse, y la evaluación debe hacerse en
sociales o lugares geográficos extensos, o programas muy complejos el contexto de lo que se observa: cualquier pretensión de objetividad
que se desenvuelven en contextos variables. es tan inútil como falsa. El analista debe situarse dentro del sistema
que evalúa y asumirse como un participante más, pues el simple re-

30 Impuesto que gr~va actividad~s económicas (financieras, comerciales, servicios, etc.) de

acuerdo con la d1menswn del local utilizado. 32 G. Brewer y P. deLeon, op. cit., p. 354 .
. 31 ~xiste. una literatura abu_ndante sobre la manera de constituir los grupos o "muestras 33 Eric Monnier desarrolla la idea de la evaluación pluralista en Éualuations de l'action des
soc1ale~ eqmvalentes. En. la practica, se ha desarrollado a partir de trabajos experimentales pouvoirs publics, París, Eco no mica, 1987. Este autor a su vez habla sobre las siguientes lecturas:
en agncultura Y ev~luacwnes de tratamientos médicos. Un ejemplo lo proporciona Daniel D. Greenberg y P. Robins, "The Changing Role of Social Experiments in Policy Analysis",
Schwartz, "Les techmques d'évaluation en épidémiolouie", en Deleau Nioche Penz et al O'JJ cit Eualuation Studies Annual Reuiew, vol. 10, 1985. Por otra parte, M. Scriven, "The Methodology
pp. 93-105. .,. ' , ., . .,
of Evaluation", en Tyler, Cagne, Scriven (eds.), Perspective of Curriculum Evaluation, Chicago,
Rand McRally (Monograph Series on Curriculum Evaluation, núm. 1), 1967.
66
67
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

gistro y observación de las acciones, hechos y efectos de la política etc.35 El evaluador pluralista, a través de sus procedimientos y de sus
pública evaluada, suscita su variación. 34 instrumentos técnicos de evaluación, se integra a la naturaleza del
En el enfoque pluralista, la verdad tiene sentido en relación con sistema social estudiado para descubrir la influencia específica de la
el sistema de referencias del observador y con el entorno que observa: política pública.
no hay, por lo tanto, una sola verdad, sino varias verdades que coexis- Monnier ilustra lo anterior cuando sugiere que su papel es equi-
ten. Si en el enfoque experimental el énfasis se pone en la importancia valente al de un psicoanalista de la sociedad: el analista pluralista
de los cambios verificables concretamente, en la objetividad y en el informa constantemente sobre sus percepciones a los actores sociales
rigor de los criterios para evaluar, en el enfoque pluralista la calidad para que éstos mejoren sus conocimientos, reconsideren sus decisiones
científica depende de la estructura racional que organiza las informa- y puedan simular posibles consecuencias de sus acciones. El evaluador
ciones producto de la observación. Al considerar que el entorno cambia interpreta y revela las verdaderas tramas sociales (los intereses que
a través del tiempo, el criterio fundamental de la evaluación pluralista están en juego); al mismo tiempo, compromete a los protagonistas en
es la pertinencia o la validez de las observaciones dentro de su contexto, un procedimiento colectivo para entender mejor los sucesos sociales.
en lugar de su factibilidad intrínseca. El evaluador es a la vez un metodólogo y un mediador cuyo papel es
Por ello, la evaluación pluralista, al buscar interpretar los efec- integrar y comprender la naturaleza del conjunto de las relaciones y de
tos específicos de la política pública, requiere de la reconstrucción (o los intereses en juego para ayudar a especificarlos y clarificarlos. Al
conocimiento) de los diferentes objetivos de todos los actores sociales cumplir con ese papel, el evaluador pluralista se convierte en un con-
involucrados: autoridades responsables, elementos del aparato ejecu- ciliador, "un actor social activo que armoniza a los diferentes grupos y
tante, grupos sociales demandantes de la intervención gubernamen- partidos involucrados, y descubre puntos de acuerdos y consensos entre
tal y grupos sociales afectados por la acción pública. La evaluación los participantes". 36
pluralista adopta los puntos de vista de varias categorías de sujetos, Su procedimiento racional es inductivo y permite la definición de
grupos o personas interesados por el programa de la autoridad. un organigrama con varias etapas sucesivas en las que se adapta per-
Considera las diferentes teorías de acción y busca comprender los manentemente la evaluación, por el hecho de cuestionarse una y otra
problemas prácticos que cada uno se plantea a partir de la compren- vez sobre sus propios criterios, sus técnicas, sus objetivos y sus resul-
sión de sus actos. tados. Veremos ahora la manera de proceder en la evaluación pluralista
Thda política pública, al ser aplicada, crea un sistema de acción y los seis (por lo menos) pasos a seguir para llevarla a cabo.
intercomunicado que involucra a las autoridades responsables, a los
sectores sociales afectados deliberada o accidentalmente (efectos de
rebote), a los cuerpos burocráticos y administrativos que instrumentan
la acción, a los sectores de opinión que se interesan en el proceso de la 35 Esta concepción de las políticas públicas que estructuran un sistema de acción proviene
actuación pública, a los grupos que ven en esa actuación una oportu- de las concepciones teóricas sobre las "redes o conexiones de política" (policy network). Este
concepto fue elaborado, entre otros autores, par Katzenstein, quien lo utilizó para estudiar las
nidad de mejorar y a los que la miran como amenaza para sus intereses, influencias del sector público en la formulación de la política exterior de Estados Unidos. A su
vez, H. Hedo y A. Wildawsky, en su estudio sobre el Thsoro británico (The Private Government
of Public Money; Community and Policy inside British Politics, Londres, MacMillan, 1974),
introdujeron el concepto de policy community, a través del que propusieron que la aplicación de
34 El enfoque experimental se origina en la tradición del individualismo u hombre sociológico
una política pública no podía ser considerada como una fase aislada del resto del proceso (pero
de R. Dahrendorf, que comprende a la sociedad como un conjunto de individuos que pueden, en
pusieron el acento en la fase de la instrumentación de la política): funcionarios y organizaciones
última instancia, considerarse aislados unos de otros (aunque el hombre sociológico no es lo
privadas, interesados por los mismos problemas, comparten opiniones y actúan en consecuencia.
mismo que el hombre económico: el primero puede ser guiado por la fuerza de la costumbre por
Por lo tanto el analista debe reconstruir la red de la política pública o la comunidad política
encima de sus preferencias; no tiene, en muchos casos, una opción clara para su racionalismo,
que no es perfecto). Esta visión del mundo se opone a la tradición del holismo griego (del griego para identificar a todos los actores que participan efectivamente en la formulación y activación
halos todo) que entiende al universo como un conjunto indivisible por ser un sistema en de la política pública, los papeles y posiciones de cada cual, las comunicaciones, los canales de
influencia, los orígenes de su manipulación, etcétera.
const~nte e~olución y constituido por elementos esencialmente interdependientes en su interior. 36 Véase Monnier, op. cit., p. 113. Y un resumen de la evaluación pluralista por este autor se
Se puede ver a Michel Lallement, Histoire des idées sociologiques, París, Nathan, 1993, t. II,
p. 192.
encuentra en "Objetivos y destinatarios de las evaluaciones", Documentación Administrativa,
op. cit., pp. 131-157.

68
69
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

1) En primer lugar, se forma una comisión de trabajo que integra table y creíble, y que evolucione a lo largo de su instrumentación. El
a todos los participantes interesados en la política pública en cuestión. trabajo del evaluador significa una sucesión de análisis efectuados
2) La comisión tiene como tarea encuadrar lo que está en juego a partir de puntos de vista numerosos y complejos, para decantar, se-
en la evaluación (¿a los intereses de quién sirve?); define después su parar y clasificar lo más posible los diferentes aspectos de la evaluación.
utilidad de acuerdo con esas prioridades y precisa sus objetivos (es 6) Finalmente, la comisión pasa al análisis de los resultados (todos
decir, descubre su posible utilidad a partir de las preguntas iniciales los actores participan) y decide sobre la utilización que se les dará
y determina si vale la pena hacerla). (corrección o adaptación de la política, etc.), y sobre los medios a través
3) Se define después con claridad el carácter de la evaluación: de los cuales les dará difusión (a nivel institucional y público).
aquí, se identifican el sistema de referencias y los criterios de evalua-
ción, y se establecen los valores involucrados en la medición. 37 Una particularidad de este enfoque es la importancia que se otor-
4) Se escoge enseguida la metodología, de acuerdo con una guía ga a la definición de los criterios de evaluación. El evaluador debe
de diferentes modelos (Monnier dice paradigmas). Ya se ha dicho, la preguntarse si los resultados obtenidos de la evaluación pueden ser
elección de la técnica responde a diversos criterios dependiendo de difundidos, por lo menos dentro de la institución que haya llevado a
la situación de los evaluadores. Se eligen métodos de recolección de in- cabo la evaluación. Si la respuesta es negativa, debe volverse a empezar
formación y formas de tratamiento y análisis. Debe reconocerse que el proceso de definición de criterios, hasta que éstos sean compatibles
cada modelo indica al evaluador lo que es "importante", legítimo y con las condiciones de difusión interna (y de preferencia también ex-
razonable, y le señala prioridades; inevitablemente, cada paradigma terna) sin que se incurra en graves conflictos de interés. Por ello, re-
incluye un riesgo de prejuicio. 38 cuerda Monnier, el papel del evaluador es también el de crear consensos
5) Se pasa enseguida a la instrumentación de la evaluación. Es a partir de la participación general de quienes tomaron parte activa
una serie de ejercicios en los que se tienen en cuenta los criterios de en el programa a evaluar.
adaptación de los métodos a las preguntas de partida, la credibilidad La dificultad de llevar a cabo una verdadera evaluación pluralista
de los resultados y la factibilidad de la evaluación dentro de las restric- es la misma, toda proporción guardada, que la de construir institucio-
ciones de presupuesto. Monnier propone una evaluación que sea adap- nes democráticas puras y verdaderamente pluralístas: suena muy bien
en teoría. Pero los retos de practicarla con apego a cada uno de sus
37 Al seguir a M. Scriven ("Merit versus value", Evaluations News, 1978), Monnier identifica supuestos básicos son enormes, pues en el mundo real dichos supuestos
un cuadro general de cinco sistemas de valores diferentes en cualquier marco institucional: 1) !os encuentran obstáculos muy difíciles de librar. Al ironizar sobre lo im-
valores declarados, reivindicados por la retórica de la institución; 2) los valores de hecho, que le
son propios a la institución (producto de los usos y costumbres de su funcionamiento, por ejemplo); practicable que resultaría una democracia pura en un entorno plura-
3) los valores inmediatos de la institución -valores intrínsecos-, desde un criterio estrictamen- lista, muchos autores aluden simplemente a la absoluta parálisis gu-
te utilitarista, y cuando la acción está guiada por la intención de proteger o favorecer intereses;
4) !os valores con textuales, que están definidos a partir de la situación y la posición en la que se
bernamental que se tendría si todas y cada una de las decisiones
lleva a cabo la evaluación (intereses políticos en juego, restricciones presupuestales, marco legal públicas tuvieran que ser sometidas a referéndum después del debate
limitativo, etc.), y 5) los valores normativos, que rigen al comportamiento que se considera como de rigor: jamás nada podría ser decidido, pues todo lo público suscita
ideal.
38 Los seis paradigmas de Monnier son: 1) el modelo lógico: partiendo de axiomas, todo controversia y la unanimidad es utópica en un contexto de pluralidad.
enunciado es verdadero si se puede hacer su demostración lógica; 2) el modelo experimentalista: En forma análoga, uno se puede preguntar: ¿cómo podría formarse y
es verdad todo lo que sea verificable en forma experimental; 3) el modelo endosistémico (o plu-
ralista): el observador reduce el fenómeno observado (pues lo real es un todo, un sistema funcionar una comisión que integrara a todos los aludidos por la polí-
irreductible) y la verdad sólo tiene sentido en relación con el observador y su entorno; 4) el modelo tica pública en cuestión? ¿Cómo hacerlo cuando se trate de una política
del experto: la verdad es inducida por la experiencia humana de la realidad construida desde el pen-
samiento respetado y reconocido de un experto; 5) el modelo de pretoria: donde la verdad se de- muy compleja y de envergadura nacional, como por ejemplo, las refor-
duce de la confrontación de diferentes puntos de vista, del debate sobre tesis opuestas y de la con- mas al poder judicial emprendidas en 1995 por el gobierno del presi-
frontación de pruebas contradictorias. Son prejuicios a través de los cuales se puede llegar a un
juicio que se asume como verdadero o definitivo (son las evaluaciones que llevan a cabo comisiones dente Ernesto Zedillo? ¿Cómo suponer que los puntos de vista de todos
parlamentarias, fruto del debate entre fracciones políticas); y 6) el modelo demográfico: la verdad los actores, los más y los meiws influyentes, los más y los menos afec-
es concebida a través de un examen macroscópico de los fenómenos socioecononómicos.
tados, los ejecutantes y los beneficiados, van a tener un peso equiva-
70 71
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

lente en la hechura de la evaluación? ¿Cómo creer que no va a predo- y medir (cuantificar y calificar) sus efectos sociales y los que ocurren
minar el punto de vista de quien finalmente cubre los gastos de la sobre el ambiente en el que opera la política. Son los casos de los en-
evaluación? foques clínico, experimental y pluralista, que no pierden de vista, a lo
largo de la evaluación, lo que la autoridad pública buscaba lograr desde
Thdo lo anterior nos lleva inevitablemente a las siguientes dos conclu- el inicio de la instrumentación de su programa. En esos casos, los ob-
siones: la primera, que no hay un enfoque de evaluación que resulte jetivos de la evaluación y de la política pública están directamente
mejor que otro. La evaluación de una política pública depende de su relacionados y, por lo general, la evaluación está subordinada a las
carácter y del sector al que se dirige; de la naturaleza de las autoridades metas de la política pública.
públicas encargadas de la política estudiada; de los recursos (humanos, En los casos de las evaluaciones descriptivas y normativas, los
materiales, técnicos, tecnológicos, etc.) y del tiempo con el que se cuen- objetivos de la evaluación son relativamente independientes de las me-
ta; de la independencia del evaluador respecto al patrocinador de la tas de la política pública: el descriptivo saca una fotografía y describe
evaluación, etc. ¡Es una lista muy larga de factores diversos! Para lo que mira, observando con cuidado los cambios concretos tras la apli-
algunas políticas, los investigadores han tenido que conformarse con cación de la política. El normativo busca medir, con su propia escala
un procedimiento descriptivo, mientras que en otras, han podido llevar de valores, los efectos de la política en los rubros que interesan al
a cabo un costoso programa de experimentación de política pública (en evaluador (si es la rentabilidad, por ejemplo, el evaluador puede con-
realidad, los ejemplos en este sentido están sobre todo en los países cluir felizmente que una política pública es muy rentable, aun cuando
desarrollados). sus efectos sociales sean desastrosos). El evaluador normativo se
La segunda conclusión es que la utilidad de una evaluación no pone sus lentes propios (legales, morales, económicos, etc.) y a partir de
debería depender solamente de un patrocinador dispuesto a verificar sus criterios particulares, califica y cuantifica los efectos de la política.
y estudiar los efectos de una política pública. Sus resultados deberían Es posible que coincidan, en forma expresa, los criterios y los ob-
ser públicos para que los afectados en la sociedad pudieran controlar jetivos de la política pública y los de la evaluación normativa. Esto es
mejor los actos de las autoridades y, ocasionalmente, si las fallas lo frecuente: cuando se quiere dar a una acción pública un sustento legal
ameritaran, poder llamar a esos responsables para que rindieran cuen- y se le evalúa con criterios jurídicos, o cuando se plantea una reducción
tas de sus errores, de sus excesos o de sus abusos. Para que esto sea presupuesta! y se evalúa con criterios de eficacia y efectividad, o cuando
posible, es necesario que la evaluación sea patrocinada por un órgano se evalúan con criterios comerciales los efectos de una reducción de
público diferente al que ejecuta la política, o que el marco legal e ins- tarifas arancelarias en el sector externo. Entonces, criterios, valores
titucional obligue en forma efectiva al ejecutor a que ofrezca cuentas y marco normativo de la política son secundados por los criterios, va-
y explicaciones de los resultados de su actuación. De estos problemas, lores y normas de su evaluación. Existe una lógica en ello: algunas
que se resumen en la necesidad de contar con instituciones que propi- políticas públicas tienen objetivos y criterios que sólo pueden ser me-
cien dentro del sistema político la evaluación y el control real sobre el didos con la misma vara. Sería incongruente que no se midieran los
poder ejecutivo, nos ocuparemos en la segunda parte de este trabajo. efectos del Tratado de Libre Comercio de América del Norte (TLCAN)
Terminamos esta primera parte con un resumen esquemático que en la actividad económica de México, y para ello son necesarios criterios
sintetiza los rasgos principales de cada uno de los enfoques descritos; de evaluación económicos. Pero sería insuficiente si no se consideraran
su pretensión es identificar someramente los principales rasgos dis- sus consecuencias sociales y políticas que, por otro lado, no son las
tintivos de cada enfoque, para también plantear sus diferencias fun- mismas en el estado de Sonora que en Oaxaca, en los medios de comu-
damentales. nicación que en el sector educativo, en los patrones de consumo que
Para cada enfoque se enlistaron los objetivos esenciales de la eva- en los patrones culturales. Es deseable que las políticas públicas sean
luación, y la relación de éstos con los objetivos generales de la política sometidas también a criterios y escalas de evaluación alternativos,
pública evaluada. En muchos casos, ya se vio, los objetivos de la eva- pues tienen, de manera invariable, efectos que se dispersan mucho
luación consisten en verificar si las metas de la política se cumplieron más allá de los que declaran oficialmente sus defensores.
72 73
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

Al aludir a los criterios, en el resumen esquemático hemos querido Resumen esquemático de los rasgos principales
distinguir el procedimiento general del enfoque, su modo de razonar de los enfoques de evaluación
y su punto de referencia. Identificamos, de una forma general, dos
métodos de razonamiento: aquél que saca consecuencias lógicas a par- l. Evaluación descriptiva
tir de una idea, un principio o un conjunto de hipótesis, esto es, el
método deductivo; y el que infiere una cosa a partir de los hechos par- Objetivo: Es independiente de los objetivos de la política pública. Registra
ticulares o de las leyes que los rigen, el método inductivo. En términos cambios concretos después de la aplicación del programa guber-
simplificados, la deducción lleva de lo abstracto (del mundo de las namental. No explica las causas de los efectos ni mide los niveles
ideas, la teoría) a lo concreto (los hechos, la confrontación con la reali- de variación.
dad); y la inducción hace el trayecto contrario, de la observación a Criterio: Razonamiento inductivo. Compara la realidad antes y después
la teoría. 39 Un razonamiento inductivo tiene como punto de partida la de la aplicación de la política. El punto de referencia es la situa-
observación de los efectos concretos de la política pública, y como punto ción anterior a la instrumentación de la política.
de llegada la interpretación de su significado en el sector social afec- Técnicas: Muy variadas: elaboración de muestreos, investigación por en-
cuestas y circulación de cuestionarios, análisis estadísticos, ob-
tado; por su lado, el razonamiento deductivo parte de algunos princi-
servación participante o directa, análisis de contenido (informes
pios o enunciados para mirar, bajo sus criterios, los efectos de la polí- gubernamentales), construcción de escalas o de modelos mate-
tica, y así establecer sus conclusiones. La evaluación descriptiva parte máticos, etc. Y el estudio de caso, cuando éste se limita a la
de los hechos y sigue después el razonamiento inductivo, al igual que descripción.
los enfoques experimental y pluralista. Las evaluaciones normativas Valores: Es verdadero todo lo que se puede registrar como cambio. Hace
o clínicas usan el método de razonamiento deductivo. Pero cada uno un examen general del lugar o sector en donde se instrumentó
de los cinco enfoques tiene puntos de referencia (para fundamentar la política pública e identifica los cambios concretos, sin califi-
sus criterios) distintos; por eso, si la misma política pública fuera eva- carlos (no caracteriza lo deseable, lo superior, etcétera).
luada por cada uno de los enfoques que hemos venido repasando, las
conclusiones de cada uno serían muy probablemente diferentes.
Ello está también ligado al hecho de que lo que cada enfoque 2. Evaluación clínica
entiende como verdadero (bueno, mejor, etc.) o considera como deseable
(o condenable), es decir, los términos que cada uno tiene para valorar Objetivo: Mide la efectividad de la política pública con base en los objetivos
la política pública (en sus metas, procedimientos, prácticas y efectos), de la misma y la califica con sus normas particulares. Asume los
varían de acuerdo con los objetivos y los criterios de evaluación. En el objetivos de la política pública.
enfoque clínico, en última instancia, corresponde a las autoridades la Criterio: Razonamiento deductivo. Confronta los objetivos de la política
definición de los valores para medir las consecuencias de la política pública con los resultados concretos e interpreta las fallas. Mide
pública; en el enfoque normativo toca a los evaluadores decidir sobre la efectividad con base en la consecución de objetivos, que son
las normas y principios para cuantificar y calificar a la política. Los su punto de referencia.
valores son externos en el caso del enfoque descriptivo; dependen de Técnicas: Sobresalen tres: la encuesta estadística; la evaluación sumaria
(antes y después); y la evaluación formativa (seguimiento progre-
todos los participantes en el del pluralista, y son proporcionados por
sivo).
la experiencia en el enfoque experimental. Los propios de la política evaluada: lo verdadero o deseable es
Valores:
definido por la autoridad responsable.
39 Pascal Engel define a la inducción como una inferencia no deductiva, que pasa de premisas
particulares a una conclusión general que se asume como probable. Aquí, queremos solamente
subrayar que el razonamiento se invierte entre el método deductivo y el inductivo, lo cual tiene
consecuencias en la definición de los criterios de evaluación. Véase P. Engel, La norme du vrai.
Philosophie de la logique, París, Gallimard, 1989, p. 476.

74
75
 Juan Pablo Guerrero Amparán
La evaluación de políticas públicas

3. Evaluación normativa
5. Evaluación pluralista
Objetivo: Califica la política pública con base en normas externas. El eva-
Objetivo: Establece un análisis colectivo y permanente para adaptar y
luador puede definir sus propios objetivos, con relativa indepen-
mejorar la aplicación de la política pública con el acuerdo de
dencia de los objetivos oficiales de la política pública (aunque es
todos los involucrados y a partir de los objetivos generales de la
frecuente que coincidan).
política.
Criterio: Mide la eficiencia, eficacia, equidad y pertinencia con base en
Criterio: Razonamiento inductivo: a partir de los resultados que se van
las definiciones y reglas propias del evaluador. El razonamiento
observando, todos los participantes contribuyen -noción de con-
es deductivo: lo deseable/condenable es consecuencia del pensa-
senso- para definir los criterios de efectividad, eficiencia, equi-
miento del analista. El punto de referencia es la escala de reglas
dad y adecuación. El punto de referencia varía, es flexible y re-
propuestas por él mismo.
sultado del consenso.
Técnicas: 'Ibdas las técnicas están sujetas al criterio del evaluador. A través
Técnicas: Una comisión pluralista escoge la técnica, de acuerdo con las
del análisis de la técnica en particular, se puede descubrir el
necesidades del caso y con base en seis modelos: el lógico, el expe-
criterio de evaluación.
rimentalista, el endosistémico (o pluralista), el modelo del ex-
Valores: Son propios del evaluador, con normas y principios establecidos
perto, el modelo de pretoria y el demográfico.
formalmente y con anterioridad a la evaluación. A partir de esos
Valores: Definidos por los actores, a partir del contexto: lo verdadero y de-
principios, lo verdadero o deseable se puede deducir en forma
seable sólo tiene sentido en función del observador y su posición
lógica.
frente a los demás y a su entorno.

4. Evaluación experimental
Segunda parte. La evaluación de las políticas
gubernamentales en nueve países
Objetivo: Controla científicamente los efectos concretos de una política pú-
blica a partir de sus objetivos oficiales.
Criterio: Comparación (estadística, descriptiva, analítica, etc.) del grupo Presentación
afectado por la política pública con un grupo de referencia o de
control. El razonamiento es inductivo: se observan los efectos Desde el punto de vista de la disciplina del análisis de la política pú-
de la política a través del análisis del comportamiento de los blica, la investigación sobre los métodos de evaluación como una de
grupos de control y tratado. Su punto de referencia comparativa las fases fundamentales de la vida del programa gubernamental es
es el grupo de control. perfectamente necesaria y justificable por el solo hecho de contribuir
Técnicas: Dos tipos principalmente: comparaciones con un grupo de control a su perfeccionamiento y a crear conocimiento.
equivalente, escogido en forma aleatoria, y con un grupo de con- Por medio de la evaluación, por ejemplo, se busca comprender por
trol no equivalente (desde el punto de vista estadístico). qué una política de ayuda directa a los grupos de bajos ingresos viene
Valores: Es verdadero todo lo verificable a través de la experiencia: si las
acompañada de efectos inesperados en los planos social, económico
observaciones confirman las expectativas teóricas de la política
pública, se le considera como válida (sin hacer consideraciones y político; por qué decisiones importantes que se toman en la cima del
morales). gobierno se pierden sin remedio por las inercias de los cuerpos buro-
cráticos que tenían el encargo de ponerlas en práctica; por qué la in-
formación que alimenta una decisión llega al responsable seriamente
manipulada; por qué actuaciones gubernamentales que aparecen como
totalmente irracionales a los ojos del público tienen su razón de ser
cuando se miran desde la perspectiva de otros intereses no explícitos.
La evaluación puede ayudar a profundizar en el conocimiento de la
76
77
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

manera como está funcionando el Estado, a comprender mejor sus ejercicio de su poder. Es decir, que en realidad vivan el equilibrio de
lógicas de operación, actuación y evolución, a descifrar más atinada- poderes a través de la accountability y los checks and balances, en
mente la naturaleza de las organizaciones burocráticas, y a interpretar términos de lo que Carlos Fuentes añora para el sistema político
mejor la compleja relación entre los sectores públicos y los diversos mexicano. En las páginas que siguen, estudiaremos las formas en que
sectores de la sociedad. las instituciones políticas de nueve democracias occidentales han ido
Pero la evaluación no brinda sólo esas oportunidades para ensan- resolviendo el problema del control y la evaluación objetiva de los
char el conocimiento. Para muchos, el dominio del conocimiento tam- programas de gobierno.
bién puede tener otro fin: establecer un instrumento de control. En
este sentido, el motor del desarrollo de las evaluaciones se encuentra
en los esfuerzos de crear controles de las políticas gubernamentales y Consideraciones previas a la comparación
asegurar accountability -responsabilidad- de los funcionarios en-
cargados. La necesidad de evaluar está también en la necesidad de Es relativamente reciente que las acciones gubernamentales sean eva-
mejorar el uso de los recursos escasos; en la necesidad de mejorar el luadas de acuerdo con objetivos claramente definidos y utilizando cri-
desempeño público a través de mayor flexibilidad y efectividad; y, desde terios, valores y métodos sistemáticos. Y es más reciente aún, en la
luego, en el interés de los gobernantes de mantener y acrecentar su década de los años sesenta, que esas evaluaciones formen parte de los
poder sobre las áreas subordinadas de la administración. El conoci- programas oficiales o se integren a la vida institucional del Estado en
miento a través de la evaluación es, en esta segunda acepción, una rica algunos países. Sin embargo, las políticas de evaluación han alcanzado
fuente para el fortalecimiento del poder político, pues se convierte en distintos grados de desarrollo según el caso.
algo práctico, con carácter instrumental: una autoridad evalúa con el Un estudio comparativo de la evaluación en ocho países, dirigido
fin de inspeccionar a los ejecutores de un programa de gobierno. por Ray C. Rist,4° de la Oficina General de Cuentas del Congreso de
Una evaluación de algún programa educativo ordenada por la Estados Unidos (General Accounting Office), muestra que las diferen-
Coordinación del Gabinete de la Presidencia de la República puede cias atañen no sólo el nivel de análisis, los instrumentos técnicos, la
poner en entredicho al secretario de Educación. O bien, este último, al profesionalización y el presupuesto asignado, sino también a la regu-
evaluar los avances en materia de descentralización, puede poner en laridad con la que se llevan a cabo las evaluaciones, así como el grado
aprietos al delegado de la SEP de algún estado. En fin, es mediante la de su institucionalización en el aparato del Estado y en la vida política
evaluación como algunas entidades del Estado (en cada nivel de go- del país. En algunas culturas político-administrativas, la evaluación
bierno y entre las mismas entidades) pueden ejercer efectivamente la puede darse como un hecho frecuente; en otras, es una novedad o ape-
supremacía y el dominio sobre otras. nas un proyecto. Hoy en día las evaluaciones son todavía una actividad
En la mayoría de los casos, son los mismos organismos públicos casi exclusivamente pública, pues en la mayor parte de los casos co-
los que ordenan, patrocinan o llevan a cabo las evaluaciones. Pero en rresponde efectuarlas a organismos gubernamentales, aunque lacre-
el ideal de los casos, este tipo de controles sobre los ejecutores de las ciente influencia de los medios de comunicación y la multiplicación de
políticas públicas se encuentra en otros sectores del Estado o de la organismos privados que venden sus servicios especializados han per-
sociedad. Esto ocurre cuando un poder distinto al ejecutivo, general- mitido que la evaluación de la actuación pública comience a desarro-
mente el poder legislativo, tiene a su alcance los recursos materiales, llarse en sectores civiles más o menos independientes del Estado.
políticos e institucionales para evaluar programas públicos y contro- Esta segunda parte se ocupará de describir las formas de evalua-
larle al ejecutivo el uso de los recursos (presupuestales, humanos, ción en nueve países desarrollados: Alemania (República Federal Ale-
organizacionales, etc.). Ello es condición necesaria para que socieda- mana), Canadá, Dinamarca, Francia, Estados Unidos, Noruega, Reino
des complejas, con enormes aparatos administrativos, disfruten de
gobiernos que respondan de hecho por sus actuaciones, ofrezcan
40 Lo citamos con anterioridad, es Ray C. Rist (ed.), Program Evaluation and the Management
cuentas claras a los ciudadanos y encuentren equilibrios reales al o{Government,New Brunswick, Transaction Books, 1990, 184 p.

7R
79
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

Unido, Suiza y los Países Bajos. 41 A través de un marco comparativo ticular de resolver, con mayor o menor éxito, las cuestiones de la eva-
que se establecerá en principio, y que se interesa en las diferentes luación de políticas, la vigilancia de la responsabilidad (accountability)
formas de organizar una evaluación, describiremos los usos particu- y las formas de control institucional de las autoridades gubernamen-
lares que cada país hace de las evaluaciones y analizaremos las con- tales (checks and balances).
diciones institucionales que han permitido la aparición de las políticas Al analizar comparativamente a varios países democráticos, se
de evaluación en esos países. Por último, presentaremos nuevamente puede decir que el origen principal de las diferencias en las políticas
un resumen esquemático de los trazos principales de la evaluación en de evaluación está en las principales características de cada sistema
los nueve casos. político, así como en los marcos constitucionales que las encuadran. 43
R. C. Rist propone analizar los orígenes de estas diferencias al dis-
Hemos dicho que al hablar de evaluación nos referimos principalmente tinguir cinco áreas ubicadas en el marco institucional; para este autor,
a la evaluación de resultados de políticas, en oposición a la evaluación son éstas las más significativas para explicar las variaciones interna-
ex ante que busca pronosticar los efectos de las alternativas políticas cionales.
al alcance del responsable de la acción gubernamental. Sin embargo,
ya lo vimos por ejemplo con el enfoque pluralista, no se puede consi- 1) El grado de centralización (o fragmentación) del sistema o la
derar que la evaluación de efectos sea estrictamente retrospectiva organización que se encarga de practicar la evaluación.
o ex post. En realidad, la evaluación puede iniciar al mismo tiempo que 2) El grado de independencia de las unidades de evaluación res-
la puesta en práctica de la política y acompañarla en cada una de sus pecto a los ejecutores de la política evaluada y al carácter interno o ex-
fases, con el objeto de ir midiendo sus consecuencias, para modular así terno de las evaluaciones. 44
su aplicación, o bien cancelar o modificar su rumbo. Siendo así, la 3) El destino final (puede ser el poder ejecutivo o el legislativo,
evaluación puede acompañar a la política pública desde el inicio hasta una organización social o el público en general) de los resultados de la
el fin de su vida. A principios de los años ochenta, en Estados Unidos, evaluación y de los informes que formulen sus encargados.
este tipo de evaluación fue inclusive implantada a través de la creación 4) El acceso a la información sobre las conclusiones de las evalua-
de dos comisiones gubernamentales que definieron unos criterios ge- ciones por parte de los demás actores sociales.
nerales de evaluación que apuntaban precisamente en este sentido. 42 5) El nivel de integración de las evaluaciones con la función que
Desde muy temprano, en el proceso de una política pública se desempeñe tradicionalmente, dentro de la organización general de la
puede pedir cuentas a sus formuladores y ejecutantes, identificar efec- administración pública federal, el auditor, revisor o contador de las
tos y resultados (aunque sean incipientes) y, también, establecer pre- cuentas gubernamentales.
guntas sobre la responsabilidad legal, social y política de quien tomó
la decisión. Pero no hay una sola forma de atacar este problema: como Hemos visto en la primera parte que a través de la definición de los
veremos, cada uno de los nueve países analizados tiene su forma par- objetivos, criterios, métodos y valores de la evaluación se establecen
en gran medida los parámetros de lo que resultará de ésta. Pero si los
41 R. C. Rist se ocupa de todos los casos menos del francés. Para Francia tomamos el trabajo analistas que evalúan están organizados en un grupo centralizado,
ya citado de J. P. Nioche y R. Poinsard, "Public Policy Evaluation in France", Joumal o{ Policy con una estructura jerarquizada para la toma de decisiones, un orga-
Analysis and Management, vol. 5, núm. 1, 1985, pp. 58-72.
42 En 1981 se instituyó este tipo de evaluación a través del Comité Conjunto de Criterios
Generales para la Evaluación Educativa (Joint Committee for Standnrds for Educational
Evaluation) y en 1982 con el Comité de Criterios Generales de la Asociación de Evaluaciones de 43 Cada sistema político-administrativo tiene sus estilos, instrumentos e instituciones para
la Investigación (Eualuation Research Society Standnrds Committee). Dichos criterios enlistaron organizar las evaluaciones, y encuentra en el camino ventajas y obstáculos estructurales que
seis estrategias diferentes para conducir evaluaciones de programas: análisis inicio-fin, análisis determinan el papel y los resultados de las mismas. Entre las determinantes estructurales
de posibilidades de evaluación, evaluación de procesos, evaluación de efecto y eficiencia, moni- podemos contar el marco constitucional, la cultura político-administrativa, las inercias y col u~
toreo de programa y de problemas, y síntesis de evaluación o análisis de evaluación (meta-eva- siones burocráticas, la índole de la relación entre el poder legislativo y el ejecutivo, etcétera.
luation, que consiste en evaluar las políticas de evaluación anteriormente ejecutadas). Véase 44 La distinción es necesaria porque una evaluación externa no garantiza forzosamente la
R. C. Rist, op. cit., p. 5. independencia de los evaluadores respecto a los responsables de la política pública.

80 81
 Juan Pablo Guerrero Amparán
La evaluación de políticas públicas

nigrama de funciones con reglas precisas y una comunicación poco

fluida en su interior, los resultados de la misma tendrán que ser for- del organismo al que le responden. Al contrario, los evaluadores que
zosamente distintos de los que se obtienen si la organización tiene un provienen de comisiones legislativas se centran en sus necesidades
poder de decisión distribuido, los papeles de sus miembros dependen particulares (evaluaciones normativas con criterios definidos por un
de su competencia profesional, sus funciones específicas o de su per- órgano distinto al ejecutor) para la verificación del cumplimiento de
sonalidad, y si existe una comunicación ágil entre sus agentes (eva- objetivos, el control del presupuesto, el cumplimiento de reglas y pro-
luación descentralizada). cedimientos, etcétera.
El grado de independencia de las unidades de evaluación para Otra distinción interesante, señalada en el cuarto punto, atañe a la
definir sus objetivos y criterios e iniciar su trabajo es otra consideración determinación de los actores que tienen acceso a las conclusiones de
importante. Entre otras cosas, ofrece una estimación sobre la capaci- las evaluaciones. Algunos países permiten un acceso irrestricto a los
dad de los evaluadores ante la información que deben recoger, depurar, informes de sus evaluaciones a casi todo aquél que lo solicita (desde
manejar e interpretar. Si la autonomía del grupo evaluador para es- legisladores hasta reporteros de prensa, así como investigadores y es-
tablecer su agenda de trabajo es limitada, lo será consecuentemente tudiantes interesados en el asunto). Otros países tienden a restringir
su capacidad para establecer criterios que se salgan del marco prescrito los informes finales de la evaluacion a las comisiones legislativas que
por quienes tuvieron la autoridad suficiente para precisar cuáles se- están jurídicamente facultadas para su uso, y otros sólo permiten
rían las cuestiones evaluadas. Pero sucede lo contrario si las unidades a miembros de la administración el acceso a la información proporcio-
de evaluación cuentan con un grado considerable de independencia y nada por las evaluaciones. En algunos casos, las comisiones parlamen-
de habilidad para definir sus objetivos, criterios y valores. tarias pueden estar facultadas para hacer del dominio público alguna
En las evaluaciones donde los analistas son internos y los objetivos . parte de los resultados o elaborar una versión adaptada para la prensa.
son definidos por los solicitadores (comanditarios, dice E. Monnier) de En cuanto a los funcionarios del gobierno, suele suceder que las con-
las mismas, los estudios tienden a ocuparse de manera especial de las clusiones se hagan públicas sólo después de una discusión interna, en
necesidades de información de los responsables de la política pública, que se les depura y edita hasta la satisfacción del responsable del área
que están generalmente interesados por el corto plazo. La posibilidad administrativa en cuestión, a fin de que el informe quede bajo control
de plantear cuestiones que se refieran a resultados, efectos sociales y y no presente ningún tipo de sorpresa para la administración. Es muy fre-
políticos, así como a problemas de pertinencia, equidad e igualdad, cuente, sin embargo, que los ejecutores responsables de la política pú-
trae siempre el riesgo de crear antagonismos entre los evaluadores y blica prefieran mantener una difusión muy restringida de los resultados
los responsables políticos. Que los analistas de la evaluación estén de las evaluaciones que competen a las áreas de su responsabilidad.
protegidos de la posible indiferencia, la descalificación, el silenciamien- Finalmente, otra forma de comparar las distintas maneras que
to o de las represalias (laborales, presupuestales, administrativas, etc.) cada nación tiene para resolver el problema de la evaluación es analizar
por parte de los ejecutores políticos, depende de la independencia y la el grado de integración (o de separación) que la evaluación tiene con
autonomía de que gocen los evaluadores dentro del marco legal o ins- la función tradicional de las auditorías y la revisión externa de las
titucional. cuentas públicas. En los nueve casos que revisaremos, la evaluación
Asimismo, el destino de la evaluación influye sobre la redacción está de alguna manera asociada con las oficinas generales de auditoría.
de sus conclusiones, que varían cuando son referidas al funcionario Si bien es cierto que las lógicas de la auditoría y de la evaluación no
ejecuto~, cuando se dirigen a una instancia de control superior, o cuando son las mismas (a diferencia de la evaluación, la auditoría no proviene
se rem1ten a una comisión del poder legislativo. Por lo general, los de la investigación científica sobre aspectos sociopolíticos),45 tienen
grupos de evaluadores que informan al mismo cuerpo público que llevó
'a cabo la política (poder ejecutivo) tienden a llevar a cabo estudios de 45 La auditoría parte de una posición normativa que se pregunta si una serie de normas,

reglas, cond!Cwnes presupuestales, procedimientos y mandatos particulares han sido cumplidos.

tipo clínico o bien normativo, haciendo énfasis en el control de la gestión Subraya el ngor del cumpluruento con cntenos claramente preestablecidos. Por el contrario la
y la eficiencia, y asumiendo los objetivos de los ejecutores y los criterios evaluación parte de una serie de suposiciones o interpretaciones apriorísticas (hipótesis) p~ra
explicar-{) por lo menos describir-lo que pasó.
82
83
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

puntos en común: pueden originarse en un análisis retrospectivo que mir cada vez más ejercicios descriptivos y, en ocasiones, intentos de
se dirige hacia acciones presentes o pasadas y hacia procedimientos explicaciones de causalidad.
o sistemas organizacionales. El tercer factor que crea lugares comunes entre las dos funciones
Por otro lado, hay tres factores que han provocado recientemente es de índole práctica: en casi todos los países que veremos, la evaluación
que las dos actividades se acerquen. En primer lugar, se ha modificado se ha desarrollado a partir de las oficinas públicas que llevan a cabo
el interés hacia la acción gubernamental: en la actualidad, los gober- las auditorías tradicionales. En muchos sentidos, y sobre todo cuando
nados en general, y los miembros de las administraciones en particular se pretende asociar la idea de la evaluación a una forma de control de
(es decir, aquéllos que recurren a la información de la evaluación), no las autoridades que usan los recursos públicos, 47 la auditoría se pre-
buscan exclusivamente datos que se refieran a cuestiones financieras senta como un campo de estudio ineludible, por las implicaciones po-
o económicas (eficacia y eficiencia), piden además información so- líticas que introduce irremediablemente (criterios de control normati-
bre los efectos sociales y políticos de la puesta en práctica de una po- vo, verificación y responsabilidad ---accountability-) y por las
lítica pública. Del lado de los gobernados, la cuestión es saber si los instituciones que en la práctica se ven comprometidas en su instru-
gobernantes utilizan con honestidad, limpieza y pertinencia los recur- mentación (en casi todos los países, el poder legislativo --criterio de
sos públicos que son el producto de sus impuestos, por una parte, y si checks and balances).
su acción atiende a las demandas de los grupos sociales afectados, con En los países que veremos, con sistemas políticos democráticos y
el objetivo último de mejorar su bienestar. Del lado de los propios fun- pluralistas, se puede decir que la evaluación se ha desarrollado, a gran-
cionarios, no resulta suficiente preguntarse si los fondos públicos son des rasgos, en tres tiempos. En los años sesenta, en la primera gene-
gastados de manera correcta, sobre todo en tiempos de escasez presu- ración de políticas de evaluación, el acento se puso en la planificación
puesta! y de abundancia de obligaciones políticas; es importante saber y la programación de las políticas sociales entonces en boga y, por lo
también si su manejo y su gasto representa una diferencia notable y tanto, sobre el papel de la gestión y administración de los programas
deseable que justifique su acción y, luego, su repetición. en cuestión. Para entonces, y sobre todo en Estados Unidos donde
En segundo lugar, en tiempos recientes se ha desarrollado una algunos servicios públicos alcanzaron un alto grado de sofisticación,
convergencia en los métodos que ambas funciones utilizan. La evalua- se empezaron a afinar técnicas de evaluación que podían distinguirse
ción, lo vimos con anterioridad, puede conceptualizarse casi en su to- de las auditorías tradicionales.
talidad por los criterios del evaluador y desarrollar métodos estricta- En los años setenta, la evaluación comenzó a dirigirse más clara-
mente normativos, al grado que, siguiendo la clasificación de la mente hacia la satisfacción de dos objetivos. Uno era político: justificar
Primera parte y de acuerdo con la definición del enfoque normativo de las políticas gubernamentales; el otro era económico: adecuar la ad-
la evaluación, podríamos decir que la auditoría no es sino una forma ministración pública a las crecientes restricciones presupuestales de
particular de evaluación. 46 En este sentido, la auditoría ha ido inte- gobiernos que enfrentarían problemas de escasez de recursos a partir
grando otros criterios que son básicos de la función evaluadora al asu- del shock petrolero de 1973. El énfasis en la eficiencia se pronunciaría
aún más después. En los años ochenta, el tercer momento de las polí-
ticas de evaluación estuvo marcado por un interés en la eficiencia, la
46 Por ejemplo, en México corresponde a la Cámara de Diputados nombrar a los jefes
productividad y los resultados, poniendo el acento en el manejo del
y funcionarios de la Contaduría Mayor de Hacienda. Esta última examina la Ley de Ingresos
y el Proyecto de Presupuesto de la Federación (presentadas cada mes de noviembre) y revisa la presupuesto. Por otro lado, desde la segunda mitad de la década pasada
Cuenta Pública (presentada en junio de cada año), a fin de "conocer los resultados de la gestión ha sido el poder legislativo el principal impulsor de las evaluaciones,
financiera, comprobar si se ha ajustado a los criterios señalados por el Presupuesto y el en detrimento de las iniciativas autoevaluadoras de los gobiernos. En
cumplimiento de los objetivos contenidos en los programas". El artículo 74 de la Constitución
Política, en su fracción IV, agrega que "si del examen que realice la Contaduría Mayor de ese contexto, los revisores del presupuesto y los auditores de la cuenta
Hacienda aparecieran discrepancias entre las cantidades gastadas y las partidas respectivas del
Presupuesto o no existiera exactitud o justificación en los gastos hechos, se determinarán las
responsabilidades de acuerdo con la ley". Pero la ley no demanda de la Contaduría que lleve 47 'Ibdos los recursos, no sólo los financieros: humanos, políticos, militares, legales, sociales,
a cabo evaluaciones que trasciendan el ámbito fiscal o presupuestario. materiales, etcétera.

84 85
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

pública, que rinden informes a las comisiones legislativas, han sido En la rama ejecutiva una infinidad de unidades distintas llevan
actores centrales para el desarrollo de la evaluación. a cabo evaluaciones constantemente. Y a pesar de las reducciones con-
siderables de varias de ellas que los gobiernos republicanos de Ronald
Reagan y George Bush emprendieron, cada secretaría de Estado cuen-
La evaluación en Estados Unidos ta con personal especializado en esta actividad. En la mayor parte de
los casos, las evaluaciones son solicitadas por funcionarios de alto ran-
En este país, la institucionalización de la evaluación es bastante sólida, go o por personal administrativo encargado de la operación de cierto
el grado de complejidad metodológica es elevado y el monto destinado programa. El esfuerzo de llevarlas a cabo se manifiesta por el signifi-
es considerable. 48 Hoy, el sistema de evaluación constituye una faceta cativo uso de los recursos, la cantidad de personal especializado y la
fundamental de las políticas públicas estadunidenses y de los comple- abundante producción de reportes y resultados.
jos lazos entre el Congreso y la Presidencia. En el poder legislativo cuatro agencias independientes del gobier-
El origen de las evaluaciones en Estados Unidos se ubica, en los no que cuentan con una influencia significativa [Oficina General de
años sesenta, en el marco de los grandes programas sociales (lucha Cuentas (General Accounting Office), Servicio de Investigación
contra la pobreza, etc.) de los presidentes demócratas John F. Kennedy del Congreso (Congressional Research Service), Oficina para el Apoyo
y Lyndon B. Johnson. Dos sucesos coadyuvaron al impulso de su de- Tecnológico (Office ofTechnology Assessment), Oficina del Presupuesto
sarrollo. Por una parte, los encargados de las decisiones políticas bus- del Congreso (Congressional Budget Office)]le permiten al Congreso
caron controlar mejor los recursos y programas, al dar una racionalidad contar con la capacidad de hacer análisis pronosticadores y retrospec-
al proceso administrativo, sobre todo a través del modelo económico tivos, contar con diversas opciones para el control de la asignación del
integrado en el Sistema de Planeación, Programación y Presupuesta- presupuesto, efectuar estudios sobre el progreso tecnológico y le ofrecen
ción (Planning, Programming & Budgeting System, PPBS). Por otra la posibilidad, en todo momento, de responder a las cuestiones funda-
parte, la aplicación de las ciencias sociales en el manejo de los asuntos mentales relacionadas con la evaluación: ¿qué programas están siendo
del gobierno (en los procesos de planeación y de programación parti- aplicados, qué servicios suministran, a quiénes benefician, cuál es su
cularmente), así como la utilización de las estrategias de investigación grado de eficiencia, qué alternativas están a la mano para cumplir con
por encuesta y el uso de la estadística también vinieron a reforzar el los objetivos de la política pública? Se cumplen de esta forma, dentro
uso de la evaluación. del propio Estado estadunidense, las posibilidades de llamar a cuentas
En los inicios, el Congreso dependía de las informaciones que el a los responsables de la administración, gracias a las facultades del
ejecutivo le proporcionaba. Sin embargo, los miembros del poder legis- congreso, con sus fuentes efectivas de poder y contrapesos ante el apa-
lativo recurrieron cada vez más a su Oficina General de Cuentas, OGC rato administrativo del ejecutivo.
(General Accounting Office, GAO ), organismo que responde únicamente
ante el Congreso. Ello se concretó en 1967 a través de la "ley de opor-
tunidad económica", la cual otorgó al poder legislativo, con la amplia- La evaluación en la República Federal Alemana
ción de las facultades de la OGC, un poder creciente en las diversas
áreas de la evaluación de las políticas públicas. A partir de entonces, Los orígenes de la evaluación en este país se encuentran en la segunda
el trabajo de evaluación se institucionalizó definitivamente en el sis- mitad de los años sesenta, cuando los gobiernos socialdemócratas hi-
tema político administrativo estadunidense. cieron esfuerzos por intervenir más activamente en la vida social y
económica (auge del Estado benefactor), con lo cual incrementaron de
48 Ya a principios de los años ochenta, la Federación norteamericana gastaba más de 300 manera significativa los recursos destinados al uso de las ciencias so-
millones de dólares anuales para evaluar programas y políticas gubernamentales. Este dato ciales para el control de los efectos de la acción gubernamental. Pos-
tiene el objetivo de dar al lector una idea, aunque haya perdido alguna actualidad, de la inversión
en evaluaciones. Véase Garry Brewer y Peter deLeon, The Foundations of Policy Analysis,
teriormente, dos sucesos explican el fortalecimiento de la función de
Homewood, Ill., The Dorsey Press, 1983, p. 321. evaluación: 1) que las restricciones económicas obligaron al gobierno

86 87
 La evaluación de políticas públicas
Juan Pablo Guerrero Amparán

sables gubernamentales tienden a mostrar una fuerte reticencia frente

a dirigir los recursos hacia programas más eficientes; 2) que se volvió
a la decisión legislativa de evaluar sus actividades públicas.
necesario legitimar algunas políticas públicas que resultaban poco po-
Por su parte, la Oficina Federal de Cuentas (Bundesrechnungs-
pulares y muy onerosas. A los tres motores para el desarrollo de la
hof), aunque tiene la obligación de verificar la legalidad de los actos de
evaluación en Alemania (análisis de las políticas, uso eficiente de los
recursos limitados y necesidad de legitimar las políticas con objetivos los organismos gubernamentales y la eficiencia de sus programas, no
sociales), vinieron a añadirse recientemente las presiones del Parla- ha impulsado la evaluación. Se ha adherido así a su tradición auditora
mento alemán -Bundestag-, así como el interés del público (expre- al permanecer fuera de los debates políticos y al cuidar celosamente su
sado a través de la prensa) sobre ciertos programas en especial. papel de imparcialidad frente a las acciones gubernamentales.
Por las características del sistema político alemán, cada uno de
los ministerios, que conservan una autonomía considerable para for-
mar sus propias estructuras internas, cuenta con grados muy variados La evaluación en Canadá
de especialización para la evaluación. En el ámbito federal se pueden
apreciar tres tipos distintos de institucionalización de la evaluación: Éste es el ejemplo más próximo a las formas de institucionalización de
1) en algunos ministerios, donde se han creado unidades especiales
los estadunidenses. En el rubro de la evaluación, el poder legislativo
para ello; 2) en algunos programas públicos en los que es obligatoria recuperó los avances que el ejecutivo había perdido. Con un sistema
por ley, y 3) la que se ha llevado a cabo en algunos programas sociales parlamentario, cuyos poderes legislativo y ejecutivo están fuertemente
experimentales. fusionados, Canadá cuenta con un procedimiento de evaluación que
Sin embargo, y a pesar de que Alemania cuenta con una estructura se integra totalmente al ciclo de las políticas públicas, el cual fue de-
fuertemente federalista, la evaluación está muy poco desarrollada en finido en 1981 en dos documentos que constituyeron desde entonces
sus territorios -Uinder- y a nivel comunitario. Al mismo tiempo, la la guía para las evaluaciones de los programas del gobierno.
evaluación en el plano federal está fuertemente desconcentrada, lo cual No obstante, la evaluación de los programas en el gobierno se
se debe a la propia estructura administrativa del Estado alemán. El desarrolló antes, por iniciativa del Parlamento y del auditor (contador)
jefe del gobierno ..-...el canciller- tiene funciones que se limitan de ma- general, organismo que es independiente del ejecutivo y que cuenta
nera fundamental a la coordinación, lo cual ofrece una autonomía con- con una influencia considerable. Esta institución había notado desde
siderable a los ministerios para la elección, definición, iniciativa y eje- los años setenta que grandes recursos del Estado se dirigían hacia
cuciólll'• las políticas públicas. Cuando se han dado gobiernos de programas que no gozaban de control alguno. Ello condujo al Parla-
coalición (la mayor parte de los casos desde 1982), inclusive las instan- mento a impulsar las disposiciones legales de 1977 (Ley del Auditor
cias administrativas regionales han contado con la autonomía suficien- General, Auditor General'sAct), con las cuales el auditor podía solicitar
te para ejercer un poder de veto frente a las políticas ministeriales. la atención y apoyo del propio Parlamento para evaluar las políticas
Por otro lado, el proceso de formulación de las políticas públicas efectuadas de manera insatisfactoria. Para responder a la presión del
ha hecho difícil que se logre profundizar desde el punto de vista meto- poder legislativo, el gobierno se vio forzado a crear la Oficina del Con-
dológico en las evaluaciones. Las que son externas (las iniciadas por el tralor General (Office ofthe Comptroller General, OCG), dotada de una
B undestag) están diseñadas para cada caso particular y como respuesta unidad de evaluación de programas (Program Evaluation Branch
adaptada a las necesidades de las políticas coyunturales. Las que son PEB). La función de la OCG era asegurar que las disposiciones sobr~
internas, al estar decididas por el Bundestag, siguen por lo regular téc- las evaluaciones de políticas públicas en Canadá se expandieran a
n~cas cu~nt~tativas, pero más por la premura en las entregas y porque
todas las agencias y departamentos gubernamentales activos. Adicio-
dichas tecmcas cuentan con una aceptación generalizada, que por una nalmente, los dos organismos elaboraron dos documentos esenciales
especial convicció~ sobre las virtudes de esos métodos. Al mismo tiempo, que constituyeron las bases para formular la finalidad de la evaluación
como una evaluación puede minar la legitimidad, sucede con frecuencia en la administración pública canadiense.
que los resultados se manipulan con fines políticos. Por ello los respon- Dichos lineamientos generales estipulan que todos los departa-

88 89
 Juan Pablo Guerrero Amparán
La evaluación de políticas públicas

mentos debían desarrollar prácticas de evaluación en sus procesos de

acción. De este modo los responsables de los programas públicos, en to- derar las particularidades del sistema político británico. De manera
dos los niveles (directores de empresas públicas, jefes de servicio, vi- especial, deben observarse su carácter parlamentario y las relaciones
ceministros y ministros, etc.), iniciaron políticas de evaluación siguien- complejas entre el centro y las regiones, que establecen un buen nú-
do los principios generales. Por otra parte, las actividades de mero de servicios y funciones que son organizados centralmente, pero
evaluación pueden ser ellas mismas sometidas a una evaluación más suministrados por las autoridades locales.
formal de la Oficina del Contralor General, del Consejo del Tesoro, de En Reino Unido los ministerios deben responder ante la Cámara
los comités del gabinete o del auditor general. La mayor parte de las de los Comunes, que vigila todas las acciones del ejecutivo. Pero, en
evaluaciones son efectuadas por las mismas unidades sectoriales o de- realidad, la mayoría parlamentaria cuestiona muy rara vez a un go-
partamentales (que por lo general cuentan con personal encargado bierno que pertenece al mismo partido político y que fue constituido
de llevar a cabo esa tarea específica), pero también recurren ocasio- a partir de sí misma. Por su parte, los ministerios llevan a cabo la
nalmente a personal externo. Thdos los puestos de la administración formulación de los programas públicos y utilizan las evaluaciones como
pública utilizan con regularidad las evaluaciones. En lo que respecta instrumentos de consumo interno. Además, y dado que las evaluacio-
a los destinatarios de sus resultados, existe una ley sobre el acceso a nes aportan con frecuencia información importante para la asignación
la información de las evaluaciones de políticas públicas que permite del presupuesto, los ministerios suelen guardar para sí las conclusio-
a todo el público conocer sus resultados y conclusiones. nes para evitar presiones de la minoría opositora en el Parlamento
Gracias a la presión del poder legislativo, y en particular del au- y los cuestionamientos de la prensa.
ditor general, se institucionalizaron los mecanismos para evaluar las Por otra parte, las autoridades locales son responsables en gran
acciones del gobierno, con la posibilidad de que organismos autónomos medida de sus políticas. Y, por lo tanto, responden en forma individual
pidan cuentas a los responsables. frente a los electores. Ello explica que la evaluación sea una actividad
dispersa. Existe una comunidad modesta de evaluadores dentro y fuera
del gobierno que presta sus servicios a demandas ocasionales, pero en
La evaluación en Reino Unido realidad no ha habido esfuerzos significativos para que la actividad de
evaluación se institucionalice. Dos organismos especiales fueron crea-
Desde los inicios del uso de la racionalización y de los métodos cuan- dos (Unidad de Administración Conjunta, Joint Management Unit; y
titativos para las cuestiones del gobierno, los británicos han puesto el el Grupo de Administración Financiera, Financia! Management
énfasis en el análisis (ex ante) de las políticas públicas, más que en la Group, que informan al Ministerio del Tesoro), pero tienen un papel
evaluación (ex post) de las mismas. Las iniciativas se originaron en los esencialmente de orientación, no de control. La función de evaluación
años sesenta, cuando se creó el Programa de Análisis y Revisión, que tiene poca influencia en la toma de decisiones y su difusión al público
fue coordinado por el Ministerio del Tesoro. Después de un breve olvido es casi inex:.::~tente al quedar restringida, casi por lo general, al uso
de esa iniciativa, sus actividades fueron reimpulsadas por el enfoque privado del gobierno.
empresarial y eficientista del gobierno conservador de la primera mi- Dentro del Parlamento, el Comité de las Cuentas Públicas (Public
nistra Margaret Thatcher. Por su parte, la Cámara de los Comunes Accounts Committee), dotado de la Oficina Nacional de Auditoría (Na-
reforzó su interés en la evaluación a partir de la segunda mitad de los tional Audit Office), tiene la facultad de pedir cuentas a los responsa-
años ochenta. Pero las iniciativas en Reino Unido han sido claramente bles de cualquier programa gubernamental; pero, en realidad, tiene
impulsadas por la necesidad de controlar los recursos presupuestales poco personal capacitado y pocos recursos. Desde 1983, dichos orga-
más que por el proyecto de impulsar la función de la evaluación en nismos pueden inclusive instrumentar la función de evaluación al con-
particular. trolar ex post el desempeño económico, la eficiencia y la efectividad de
Como en los casos anteriores, el desarrollo de la evaluación en los programas. A pesar de ello, recurren muy poco a esas facultades y,
este país no puede ser comparado con el de otras naciones sin consi- cuando lo hacen, dificilmente pueden catalogarse como evaluaciones
rigurosas y con un método definido de análisis.
90
91
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

La evaluación en Francia Al no estar reconocida formalmente como una actividad específica,

los funcionarios no asignan en general mayores recursos a la organiza-
La evaluación tenía poca importancia hasta la década de los años o~hen­ ción de evaluaciones. Además, no se ha generalizado o implementado un
ta cuando el interés por ésta se incrementó. La Asamblea Nacwnal sistema metodológico para realizarlas. Los intentos más representati-
cr~ó la Comisión para el Análisis de Estrategias Científicas Y Thcnoló- vos se han encaminado al campo del análisis cuantitativo y al estudio
gicas, y a partir del Noveno Plan Nacional (pro~ama ,d~ desarrollo de los aspectos financieros de un programa, atendiendo a criterios tra-
económico 1983) se integró la idea de evaluar sistematicamente la dicionales de auditoría.
instrume~tación de políticas. La circunstancia más evidente para ex- El gobierno (y muy enfáticamente su cuerpo ejecutor, la adminis-
plicar el naciente interés en la evaluación l.a constituyó l~ cada vez tración) tiene el papel principal en la demanda de la evaluación; dentro
mayor limitación presupuestaria; ~ero tambi~n debe~ cons1derars~ el de las agencias públicas son los órganos dedicados a los servicios espe-
creciente involucramiento del gobierno en d1versas areas de la vida cializados de investigación los que representan el principal origen de
social y el aumento en la animadversión por parte del ~úbli~o hacia la la demanda. Pero la repartición de las evaluaciones es dispareja: algu-
intervención del mismo. Sin embargo, hasta ahora ha sido solo un pro- nas áreas de la intervención gubernamental son analizadas de manera
yecto: la evaluación no tiene un reconocimiento ofici~l y por lo :a~to no constante, mientras que otras igualmente importantes no son contro-
está regulada.49 Adicionalmente, la estru,ctura del sistema pohtlco ad- ladas o evaluadas jamás. ¿C\_\áles caen en el primer grupo y cuáles en
ministrativo le deja una posición ambigua al evaluador. . el segundo? Tampoco hay regla: la atención especial que pudieran tener
En efecto, la política administrativa francesa tiende Il_lás hacm la algunas políticas en particular depende primordialmente de los intere-
inspección que hacia la evaluación: se verifica con. frecuencia el us? del ses convergentes de altos funcionarios de la administración en un mo-
presupuesto y la calidad de la gestión, pero se revisa como ~n .medi~ ,de mento dado.5° Sucede con frecuencia que una política pública es eva-
control de los mandos altos a los mandos medios de la admmistracwn. luada cuando ha acaparado por algún momento la atención del público
Una de las razones fundamentales es que el poder ejecutivo Y el a través de los medios de comunicación, por ejemplo.
pesado cuerpo de su administración (poco autocrítica y poco incl~nada El hecho de que sea la propia estructura administrativa la que
a actuar en forma abierta frente al público) siempre ha predommado demande el mayor número de evaluaciones tiene varías implicaciones.
sobre el Parlamento: se trata de un sistema de toma de decis~ones Por una parte, el estudio se concentra directamente en los objetivos de
centralizado y poco inclinado al cambio, a la innovación, a la rectifica- políticas señalados por la institución particular que demandó la eva-
ción y a la publicación de sus resultados y sus cuentas. Por otro lado, luación en lugar de abordar políticas de mayor envergadura cuyo aná-
dificilmente podria esperarse que la opinión públic~ o el mis~o Par- lisis implicaría un aparato conceptual más complejo. Por otra parte,
lamento solicitaran una evaluación. Ello ha dependido en reahdad de resulta muy raro ver que se lleven a cabo evaluaciones que se interesen
la voluntad de los funcionarios, y la cultura administrativa se ha opues- en políticas interministeriales. Ello inclusive atañe a la Corte de Cuen-
to a ello: la evaluación está supeditada al proceso de toma de decisiones, tas (Cour des Comptes), que en teoría puede iniciar cualquier tipo de
sujeta a la administración central. Por otr,a p.arte, en l~s ~niversidades investigación que sea de interés para las acciones del gobierno. 51 Sin
y entre los especialistas de las políticas publicas ha ~~1stido poca preo-
cupación o debate sobre el problema de la evaluacwn y un mercado
poco desarrollado y limitado a la propia administración cen~ral. Por 50 Un caso excepcional fue la iniciativa del Ministerio de la Educación francés que formó el
su parte, el papel de los medios de comunicación también ha sido mar- Comité Nacional de Evaluación de las Universidades de Francia para la evaluación de la
impartición de educación superior. Estuvo integrado por expertos en ciencias sociales que elabo-
ginal al expresar poco interés. raron un controvertido informe para el gobierno. Sus conclusiones generales se hicieron públicas,
como lo estipulaba el contrato inicial. Al respecto, puede revisarse aJean Leca el al., "L'évaluation
en question", Reuue Fram;aise d'Administration Publique, núm. 66, 1993, pp. 185-226.
5! La Cour des Comptes es parecida en varios sentidos a la Oficina General de Cuentas
49 Ademas,la evaluación ha sido muy poco practicada. De 1971 a 1978, ~e registraron apenas
(General Accounting Office) de Estados Unidos, pero existen diferencias: aunque depende del
36 evaluaciones dignas del nombre. De 1978 a 1983, pudieron contarse mas de 150, un numero
Parlamento y está organizada a nivel regional y nacional, tiene también algunas facultades
excesivamente modesto. judiciales. Sin embargo, por la conformación de su personal de mayor jerarquía (fruto de la

92 93
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

embargo, ésta fracasa en la explotación de ese poder, pues al estar cuencia fue el crecimiento del interés en cuestiones de rentabilidad
organizada en departamentos separados y paralelos a la estructura eficiencia y control del gasto público como estrategia de reducción d~
gubernamental, encuentra en su propio seno obstáculos estructurales las dimensiones del Estado y de su intervención en la economía.
para desempeñarse como un evaluador versátil.

La evaluación en Dinamarca La evaluación en los Países Bajos

El sistema político danés explica el retraso en cuanto a la adopción de En el caso de Holanda, el interés por la evaluación como una fase de
la evaluación de las políticas públicas: poca demanda de controles ha las políticas públicas es reciente y su origen está en el Parlamento. Ello
resultado en una oferta realmente simbólica. Las decisiones guberna- se logró al ofrecer a la Cámara General de Cuentas (Algemeen Reken-
mentales se toman en una estructura formalmente corporativizada kamer) autonomía legal frente al gobierno y al Parlamento, y al con-
que conecta de manera eficaz a las agencias administrativas con los vertirla en una entidad subsidiaria del presupuesto del poder legisla-
sectores sociales afectados por las políticas. Existen redes adecuadas tivo. En principio, su función es la verificación de la legalidad de las
y bien implantadas para que los sectores sociales establezcan contacto acciones gubernamentales, pero cada vez más se ha visto en la necesi-
con los funcionarios gubernamentales si, por ejemplo, los programas dad de evaluar también la eficiencia y de informar al público al respecto.
adoptados tienen efectos nocivos para dichos sectores. Al mismo tiem- Anteriormente, el Ministerio de Finanzas había intentado pro-
po, Dinamarca cuenta con mecanismos de revisión que sirven para mover, sin éxito, el análisis de los programas gubernamentales. En los
informar a los funcionarios sobre el desempeño de sus programas. años ochenta, el gobierno conservador tomó la iniciativa de institucio-
Los primeros esfuerzos para establecer evaluaciones en las polí- nalizar la evaluación con el proceso anual del presupuesto. Mientras
ticas públicas aparecieron a fines de los años setenta. Esta actividad tanto, tal y como sucede en Reino Unido, los esfuerzos de hacer la
estuvo ligada a las funciones tradicionales de control público sobre la administración pública más eficaz estuvieron ligados al interés político
cuenta, a cargo del auditor general, que es independiente del gobierno. de revertir una larga tradición de intervencionismo del Estado en la
Más recientemente, la oficina del auditor general enriqueció sus acti- economía. Así como sucedió en otros países, la evaluación fue más bien
vidades con análisis que relacionaban la rentabilidad con la calidad identificada con la noción de control al presupuesto y a la legalidad en
al inspirarse en los modelos de Estados Unidos y Canadá. Por su parte: el ejercicio del gasto.
el gobierno central comenzó a poner en práctica algunas evaluaciones La introducción de la evaluación tuvo lugar a principios de los años
internas. Los casos más significativos lo constituyeron los ministerios setenta con la instauración de un comité interministerial para el aná-
del Interior y de Finanzas. El primero buscó en forma explícita mejorar lisis de los objetivos políticos que interesaban a más de un departamento
el desempeño de la función pública, mientras que el segundo importó el a la vez: su función estuvo ligada más a la necesidad de coordinar ac-
Sistema de Planeación, Programación y Presupuestación (Planning, ciones dentro de la administración que a las actividades propias de la
Programming & Budgeting System). evaluación. El intento de aplicar métodos analíticos a las políticas pú-
Con la llegada del partido conservador al poder, a mediados de blicas se topó con diversas resistencias en los círculos administrativos
los años ochenta, el clima político se caracterizó por un nivel más ele- holandeses. Sin embargo, cuando la crisis económica se profundizó, a
vado de conflicto. En ese contexto, el recurso de la evaluación desde fines de la década de los años setenta, y ante la necesidad concomitante
algunos comités del Parlamento se hizo más frecuente como instru- de reducir el déficit presupuestario, el gobierno se vio motivado a finan-
mento para minar la legitimidad de los opositores políticos. La conse- ciar, de manera marginal, la investigación en estrategias de evaluación.
La implementación en 1981 de un procedimiento llamado Reconside-
tradición imperante en la formación de las élites del Estado que las hace cerradas), su autonomía raciones se orientó en este sentido. Esta iniciativa estaba destinada a
queda a veces hmJtada por los propios cuerpos que la integran y que están ligados (por redes de reducir el déficit fiscal y a dictar claras instrucciones obligatorias para
mfluencta) a otros cuerpos dentro del gobierno.
todos los departamentos administrativos.
94 95
 Juan Pablo Guerrero Amparán
La evaluación de políticas públicas

La evaluación en la Confederación de Suiza

Comité Rector: la Oficina del Delegado de Finanzas. Sin embargo, di-
chos órganos se centran casi exclusivamente en el control presupues-
El sistema administrativo suizo se caracteriza por ser una organiza-
tario: no logran en realidad explicar las variaciones entre objetivos de
ción fuertemente federalista, cuyos fundamentos son los siguientes:
la política pública y los efectos concretos, ni permiten un cuestiona-
las administraciones locales se encargan de casi la totalidad de las
miento demasiado exhaustivo de los gastos.
acciones gubernamentales que interesan a la comunidad, respetando
con escrupulosidad el rigor financiero que siempre ha caracteriza-
do a la gestión de los asuntos públicos, aunque existe el principio de
subsidiaridad, 52 para el apoyo ocasional de las acciones públicas. Este La evaluación en Noruega
sistema implica que la actuación de la autoridad y la ejecución de sus
El gobierno noruego ha centrado su atención de manera constante
programas está muy cerca de los ciudadanos.
En casos extraordinarios, la Confederación (gobierno central) en la planificación desde los años sesenta. De nueva cuenta fue l~
puede asistir a los cantones para resolver algunas cuestiones de polí- crisis de fines de los años setenta la que obligó al gobierno ~ mirar
hacia la función de la evaluación. A partir de 1985, el Parlamento
tica social o inversiones que son demasiado onerosas. Pero la mayoría
de los asuntos públicos y casi la totalidad de los servicios se suministran (Storting) hizo obligatoria la entrega de informes sobre actividades
por autoridades locales, gracias a un papel muy activo de la sociedad gubernamentales, entre los que se consideraron criterios ligados a la
civil, a través de un sistema de asociaciones y organizaciones muy evaluación. Sin embargo, el origen del interés parlamentario estuvo
eficaz. en las limitaciones económicas y en la necesidad de afinar el control
El consenso, principio clave para la regulación social y la convi- sobre las actividades presupuestales gubernamentales.
En el poder legislativo, la institución que efectúa las evaluaciones
vencia política en Suiza, implica generalmente que las decisiones son
es la Oficina del Auditor General, que depende del Parlamento y que
tomadas por la autoridad después de amplias consultas con los sectores
vigila las actividades de las entidades individuales del gobierno federal
interesados (afectados). El papel del Parlamento (la Asamblea Federal)
es el de ser la agencia de supervisión superior, para lo que cuenta con en todas las áreas que tienen una relación con la cuenta pública. Pero
varios comités de control a su disposición, los cuales, en su mayoría, sus esfuerzos interesan principalmente el manejo financiero. Por parte
tienen una capacidad de análisis retrospectivo de las acciones públicas, del gobierno ha existido una creciente preocupación por llevar a cabo
lo que significa que el Parlamento puede señalar los errores después evaluaciones, pero los alcances han sido modestos.
de una evaluación ex post, pero dificilmente puede hacer que una po-
lítica pública local sea modificada o cancelada a lo largo de su aplica-
ción, pues en realidad no cuenta con los recursos suficientes para asu- Aspectos determinantes para el desarrollo de la evaluación
mir una vigilancia más activa que comprometa recursos y personal
activo a lo largo de la instrumentación. A partir de la revisión anterior, vamos a identificar y a discutir seis
Por otra parte, la Confederación Suiza no tiene una Corte de Cuen- rasgos del surgimiento de la evaluación institucional de las políticas
tas o Contaduría Mayor que dependa de su poder legislativo. El control públicas. En primer lugar, casi siempre ineludible, está el factor pre-
sobre los recursos y los gastos públicos se garantiza a través de una supuestario. Los casos que surgieron en la primera ola de evaluaciones
división del Departamento Federal de Finanzas que es relativamente en los años sesenta fueron sustentados en el crecimiento económico
autónoma, en tanto que el control parlamentario sobre las finanzas se que permitió a los gobiernos llevar a cabo sustantivas políticas de in-
ejerce a través de un Comité de Finanzas para cada sector y de un tervención en el ámbito social. En ese momento surgieron los primeros
intentos por integrar la evaluación a las diversas fases de la política
52 Dicho principio obliga a la autoridad federal a intervenir para robustecer al gobierno local
pública, desde su programación hasta su terminación. En la década
o completar su acción, como último recurso. siguiente, la de los años setenta, al llegar los tiempos de la escasez
económica, las situaciones presupuestales críticas trajeron el desarro-
96
97
 Juan Pablo Guerrero Amparán
La evaluación de políticas públicas

llo de otra forma de evaluación, esta vez ligada al proceso de progra-

ganizarse mejor para frenar o controlar al ejecutivo en vista de su
mación y vigilancia del gasto, así como a la búsqueda de eficiencia
y rentabilidad en la función pública. dominio casi total sobre el gobierno. Cuando el sistema lo permite, el
El segundo rasgo sería la condicionante política. De manera tal poder legislativo puede constituirse en una columna considerable para
vez coincidente con el marco económico, el contexto político pareció construir un sistema institucionalizado de evaluaciones al gobierno.
influir también en el surgimiento y multiplicación de la función de Como ha sucedido en Estados Unidos, esto es posible inclusive si los
evaluación. En los años sesenta, las evaluaciones de políticas públicas esfuerzos de evaluación se han originado en el seno del gobierno. El
aparecieron por primera vez cuando llegaron al poder grupos políticos interés de la rama legislativa se explica no sólo por la necesidad de
reformistas (los demócratas en Estados Unidos, los socialdemócratas controlar al ejecutivo a través de supervisiones a las evaluaciones que
en la República Federal Alemana, los liberales en Canadá), lo cual este último se hace sino para conservar un poder de información equi-
estableció un ambiente político más propicio para que las ciencias so- valente al que tiene el propio gobierno, para así preservar su indepen-
ciales se utilizaran para la toma de decisiones gubernamentales. En dencia.
sentido contrario, pero equivalente, los gobiernos conservadores de los Es claro que dicho marco explicativo debe ser aceptado con reser-
años ochenta, de frente a las dificultades económicas, asumieron varias vas. Por una parte, sucede con frecuencia que en algunos sistemas tra-
reformas que implicaron el retiro de la economía por parte del Estado, dicionalmente parlamentarios, el supuesto control que el gobierno ejer-
y dieron prioridad a la rentabilidad y a la eficiencia de las políticas ce sobre la mayoría legislativa se ve cuestionado de manera rigurosa
públicas. en algunos asuntos que dividen a esa mayoría (pensemos solamente en
Sin embargo, algunos autores han considerado que el argumento los euroescépticos británicos o los québécois en Ottawa). Por otra parte,
de la coyuntura política constituye una explicación demasiado simplis- algunos sistemas fuertemente presidencialistas no han visto desarro-
ta e insuficiente para explicar la integración de la evaluación de pro- llarse la evaluación, como en el caso de Estados Unidos. Así tenemos
gramas por los distintos gobiernos que han recurrido a ellas. 53 Para los casos del Canadá parlamentarista y de la Francia presidencialista:
ellos, y éste sería nuestro tercer rasgo característico, lo que resulta en el primer caso, la evaluación está bien implantada en las institucio-
primordial es, entre otras consideraciones estructurales, la relación nes de los poderes legislativo y ejecutivo, mientras que en Francia, la
entre el poder ejecutivo y el poder legislativo. En los sistemas tradi- evaluación no hace sino comenzar a formar parte del proceso de sus
cionalmente parlamentarios, el gobierno cuenta con un control bas- políticas públicas. Para interpretar con justicia esos dos casos, deben
tante considerable sobre la mayoría parlamentaria (la cual se sobre- también considerarse condiciones como la tradición política, la cultura
entiende, pertenece al mismo partido político), mientr~s que la en la gestión y administración pública y la formación profesional de las
oposición, minoritaria, está en una situación desventajosa para con- élites gobernantes, tanto en el poder ejecutivo como en el legislativo.
trolar a las comisiones que se encargan de los controles y evaluaciones Otro factor constitucional (o legal) muy importante -el cuarto-
sobre los programas gubernamentales. Es el caso de Canadá y Reino es el papel y la filiación de la Oficina General de las Cuentas Públicas.
Unido, Dinamarca, Noruega y los Países Bajos. La tendencia general En la mayoría de los países considerados, los organismos de control al
es, por lo tanto, a que el desarrollo de la evaluación sea menos impor- presupuesto son entidades que dependen del Parlamento y responden
tante que en los sistemas presidencialistas (como en Estados Unidos). al poder legislativo (los casos de Estados Unidos, Canadá, Reino Unido,
En estos últimos, la oposición política en el Congreso tiende a or- Noruega, Holanda y Dinamarca). En los casos de Francia y Alemania,
aunque las contadurías responden ante la Asamblea, se inclinan con
53 Entre ellos Hans-ffirich D~~lien, quien no cree que el color del partido en el poder influya
más facilidad (por disposiciones legales o por tradición política) hacia
S_?bre el d~sarr.ollo de la evaluac10n gubernamental. En su crítica a P. Wagner y H. Wollrnan el poder ejecutivo; en el caso de Suiza tiene predominancia la autoridad
( Fluctuatlons m the Development of Evaluation Research: Do 'Regime Shifts' Matter?", Inter- local. Pero puede decirse que el nivel de independencia de la Oficina
natwnal Soctal Sctence Journal, 1986b, pp. 601-617), Derlien se inclina a hacer énfasis en las
cuestiones de tipo institucional como los factores determinantes en el desarrollo de las evalua-
de la Cuenta Pública frente al gobierno y la administración explica la
ciones de políticas públicas. Véase H. U. Derlien, en R. C. Rist, op. cit, pp. 147-175. tendencia del Parlamento a utilizar fuentes de información alternati-
vas a los institutos dominados por el ejecutivo.
98
99
 Juan Pablo Guerrero Amparán
La evaluación de polüicas públicas
La quinta característica determinante de los diferentes procesos
de evaluación es la disponibilidad de especialistas y científicos sociales, tinguimos entre las evaluaciones destinadas al análisis de la totalidad de un
y la relación de su gremio con el gobierno. 54 Al ser necesario un nivel programa y las que buscan incrementar la eficiencia de las políticas públicas
de especialización muy considerable para llevar a cabo evaluaciones, en condiciones de limitaciones presupuestales.
4) El nivel de institucionalización se refiere a la existencia de organismos
el desarrollo de las mismas está decisivamente ligado a los instrumen-
especializados en la función de evaluación, así como a la de leyes que obliguen
tos producidos en el sector académico y en los centros de investigación a los gobiernos a evaluar sus actuaciones y programas de acción.
social. 5) El proceso de evaluación se basa en las cuatro preguntas que propone
Finalmente, en sexto lugar, importa la existencia (o la ausencia) R. C. Rist:
de organismos que, en el seno del gobierno, tengan funciones equiva- • ¿Qué autoridad solicita las evaluaciones?
lentes a la evaluación. Es el caso de las oficinas públicas dotadas de • ¿Qué unidad o grupo las instrumenta?
sistemas de estadística y de información, que sean relativamente au- • ¿De dónde provienen los recursos necesarios?
tónomas y eficientes. En este rubro, importa también la existencia de • ¿Quién utiliza las informaciones generadas?
grupos de asesores gubernamentales que cuenten con una infraestruc- 6) Las características consideradas son las siguientes (aquí atenderemos
tura técnica elevada, la existencia de empresas dedicadas a la asesoría simplemente a una tendencia general) (véanse las definiciones en el Anexo):
y la consultoría (que realicen evaluaciones de políticas públicas) y, • Internas o externas.
desde luego, la existencia de un periodismo dedicado a la investigación • Sumarias o formativas.
• Criterios endógenos o exógenos.
que pueda ocasionalmente sustituir a las evaluaciones gubernamen-
• Métodos formales (oficiales) o adaptaciones al caso.
tales (sucede en Estados Unidos, Canadá y Suecia, por ejemplo).
7) El entorno social considera la disponibilidad para la evaluación de
investigadores en ciencias sociales, la formación profesional de los encargados
de la decisión y de la política, las dimensiones del país y el desarrollo de
Resumen esquemático de los rasgos característicos alternativas y de sustituciones.
de la evaluación en nueve países 8) Y la difusión de las conclusiones de la evaluación, que puede ser abierta
o limitada.
Nota explicativa

Este resumen intenta condensar la información sobre la evaluación en los

Estados Unidos
nueve países. Es importante indicar que subraya las líneas generales para
cada país, con lo que se corre el riesgo evidente de incurrir en generalizaciones
(sobre todo en el recuadro de características). •!• Definición
La evaluación permite identificar:
1) La definición de evaluación que proponemos respeta el uso más fre-
cuente que de ella se hace en cada cultura político-administrativa. En algunos 1) Los programas públicos que se están aplicando.
casos, es proporcionada explícitamente por los autores que participaron en el 2) Los servicios que dichos programas están efectivamente proporcio-
trabajo editado por R. C. Rist. nando.
2) Dentro de las condiciones estructurales consideramos sobre todo las 3) Los beneficiarios verdaderos de esos servicios y de esos programas.
características de los sistemas políticos y la realidad constitucional (incluyen- 4) La eficacia, eficiencia y rentabilidad en la puesta en práctica de esos
do el grado de independencia del auditor de la contaduría del Congreso o la programas.
Oficina General de Cuentas Públicas respecto al gobierno). 5) El costo social de la política pública evaluada (por lo menos, lo que se
3) En cuanto al papel de las evaluaciones en la toma de decisiones, dis- tiene que sacrificar para cumplir con ella).

•!• Condiciones estructurales

54 Este argumento lo debemos a P. Wagner y H. Wollman, idem. Son óptimas. Es un sistema presidencialista, con políticas públicas bas-
tantes centralizadas, donde la fracción legislativa de oposición puede
lOO
101
 Juan Pablo Guerrero Amparán La evaluación de polüicas públicas

fácilmente cuestionar al gobierno y a la administración. El Congreso Alemania

puede también reforzar las capacidades de control sobre el ejecutivo. La
Oficina General de Cuentas (que responde ante el poder legislativo), está •:• Definición
obligada legalmente (Ley de Oportunidad Económica, 1967) a evaluar a La evaluación es un mecanismo instrumental de revisión con el cual los
la administración pública. administradores y los encargados de la decisión pueden juzgar el desem-
•) Papel de la evaluación en las decisiones peño de un programa. Por lo general, el gobierno alemán utiliza métodos
Influencia muy considerable en todos los niveles de gobierno, con énfasis científicos para la búsqueda de la eficiencia de los programas públicos
en la eficiencia de los programas. Desde un punto de vista político, las y el análisis de sus efectos.
evaluaciones pueden ser utilizadas para legitimizar acciones guberna- •:• Condiciones estructurales
mentales (por la administración), o para atacarlas (por los adversarios Son relativamente favorables. Es un sistema político bastante descen-
en el Congreso). tralizado, donde el Parlamento puede cuestionar al jefe del gobierno que,
•:• Nivel de institucionalización en realidad, coordina a los ministerios, integrados a partir de las coali-
Muy alto. El Congreso se apoya sobre cuatro instituciones de análisis ciones políticas. Los ministerios y los territorios cuentan con bastante
e información: la Oficina General de Cuentas, el Servicio de Investiga- autonomía para elaborar sus políticas públicas. Pero llevan a cabo pocas
ción del Congreso, la Ofieina para el Apoyo Tecnológico y la Oficina de evaluaciones. Por su parte, el Parlamento no cuenta con el personal o
Presupuesto del Congreso. Por su parte, el gobierno cuenta con personal las unidades necesarias para evaluar a la administración, y la Oficina
especializado y numeroso para las funciones de evaluación. La institu- General de Cuentas, dependiente del legislativo considerablemente au-
ción evaluadora más cercana al presidente es la Oficina de Administra- tónomo, no recurre a la función de la evaluación, se concentra en funcio-
ción y Presupuesto. nes de auditoría.
•:• Proceso institucional de la evaluación •:• Papel de la evaluación en las decisiones
• Origen de la solicitud: gobierno y Congreso. Considerable en el nivel sectorial (por área» de actuación de cada minis-
• Evaluadores: miembros de la administración, Congreso, instituciones terio). Para algunos programas legislativos, el Parlamento solicita eva-
especializadas no gubernamentales, centros de investigación univer- luaciones a las instancias gubernamentales correspondientes, con espe-
sitaria, empresas consultoras o de asesoría, etcétera. cial interés en el problema de la eficiencia. Es frecuente que algunas
• Financi :tmiento: gobierno, Congreso e instituciones privadas. evaluaciones experimentales se vean politizadas en el debate parlamen-
• Utilización: Congreso, gobierno, empresas privadas, opinión pública. tario.
•:• Características •:• Nivel de institucionalización
'Ibda la gama de posibilidades: internas o externas; sumarias o forma- Fragmentado. El Ministerio de Finanzas tiene atribuciones legales
tivas; prospectivas o retrospectivas; con criterios endógenos o exógenos; (1973) para pedir evaluaciones a algunos programas sectoriales aplica-
con teoría de la evaluación o con asesoría de un experto, etcétera. dos por otros ministerios, pero recurre a éstas esporádicamente. Algunos
•:• Entorno social ministerios tienen unidades especiales de evaluación.
Existe una disponibilidad muy importante de investigadores en ciencias •:• Proceso institucional de la evaluación
sociales y especialistas, pues hay una demanda general de los mismos. Origen de la solicitud: en primer lugar, el Congreso; después, los minis-
Se utilizan constantemente las ciencias aplicadas o cuantitativas para terios.
las políticas públicas (desde los años sesenta). Los responsables de las • Evaluadores: los ministerios y diversas instancias ejecutoras.
políticas en muchas ocasiones son sujetos altamente especializados (eco- • Financiamiento: el gobierno federal.
nomistas y científicos sociales, muy frecuentemente). Y existen impor- • Utilización: Parlamento, ministerios y cancillería (jefatura del go-
tantes alternativas de instituciones de evaluación, como algunos orga- bierno).
nismos privados (think-tanks), los centros académicos y la prensa. •:• Características
•:• Difusión Evaluaciones internas y externas. Sumarias (Parlamento, gobierno) y
'Ibtalmente abierta al público. Sólo se prohíbe oficialmente en las áreas formativas (políticas experimentales, llevadas a cabo por el gobierno).
que comprometen la "seguridad nacional". Criterios endógenos y teoría evaluativa.

102
103
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

•:• Entorno social •:• Características

Disponibilidad de investigadores en ciencias sociales. Utilización de las Son generalmente internas (en las oficinas de gobierno). Sumarias. Con
ciencias sociales aplicadas y cuantitativas en las políticas públicas. Re- criterios endógenos, siguiendo dos documentos guía o de instrucción:
cientemente, economistas y científicos sociales se han integrado al grupo Guía de la Función de la Evaluación Programática y Principios para la
de decisión en el gobierno. Evaluación de Programas por Departamentos y Agencias Federales de
•:• Difusión 1981. Se ha desarrollado, por lo tanto, una teoría evaluativa.
Teóricamente, limitada al Parlamento y al gobierno; pero, en realidad, •:• Entorno social
existe un acceso cada vez más considerable para el público. Existe una alta disponibilidad de investigadores en ciencias sociales.
Utilización de las ciencias sociales aplicadas en las políticas públicas.
Economistas y científicos sociales se integran cada vez más a la élite
Canadá gobernante y a la toma de decisiones.
•:• Difusión
'Ibtalmente abierta.
•:• Definición
El objetivo esencial de la evaluación es proporcionar a los usuarios (fun-
cionarios) y al público una información suficiente y oportuna para me-
jorar la distribución de los recursos y facilitar la toma de decisiones que
Reino Unido
perfeccionan los programas.
•:• Condiciones estructurales
Favorables. Es un sistema parlamentario en el cual los poderes ejecutivo •:• Definición
y legislativo están relativamente integrados. Las evaluaciones tienen La evaluación está ligada al proceso de control de presupuesto así como
un soporte legal (Ley del Auditor General, 1977). El auditor general, que a la apreciación de la responsabilidad del funcionario público (su desem-
responde ante el Parlamento, ha servido de impulsor de la evaluación a peño legal y administrativo, o accountability).
programas públicos. •:• Condiciones estructurales
•:• Papel de la evaluación en las decisiones Poco favorables: la mayoría parlamentaria partidista ha mostrado poco
Influencia muy considerable. 'Ibdas las instancias gubernamentales es- interés en cuestionar a un gabinete que se forma a partir de ella misma.
tán obligadas a llevar a cabo evaluaciones, para la revisión tanto de la La Oficina Nacional de Auditoría, que se dirige a la Cámara de los
eficiencia como de la rentabilidad. Comunes, puede pedir cuentas a los responsables de cualquier progra-
•:• Nivel de institucionalización ma gubernamental, pero cuenta con poco personal capacitado y pocos
Muy alto. Existe la Unidad de Evaluación de Programas, que fue orga- recursos.
nizada por la oficina gubernamental de contraloría, y que integra las •:• Papel de la evaluación en las decisiones
funciones de evaluación (Oficina del Contralor General, creada en 1978). La evaluación tiene poca influencia. Los ministerios guardan para cir-
La evaluación hace parte suya el ciclo general de la gestión para la ad- culación interna los resultados de sus autoevaluaciones. Se ha dado im-
ministración pública: existe una guía de principios y de instrumentación portancia a la eficiencia de las políticas públicas.
de evaluaciones para los funcionarios. •:• Nivel de institucionalización
•:• Proceso institucional de la evaluación Fragmentado en cuanto a sus métodos y participantes, disperso en cuan-
• Origen de la solicitud: ministros, altos funcionarios, directores de pa- to a los organismos involucrados.
raestatales, etcétera. •:• Proceso institucional de la evaluación
• Evaluadores: agencias gubernamentales, la Oficina de la Contraloría • Origen de la solicitud: ministerios y direcciones generales.
General que controla el proceso, empresas de consultoría, grupos de • Evaluadores: las direcciones o departamentos encargados de la polí-
investigación universitaria, etcétera. tica o programa.
• Financiamiento: se integra al presupuesto de las oficinas guberna- • Financiamiento: se integra al presupuesto de los ministerios.
mentales. • Utilización: limitada a los ministerios e instancias oficiales del go-
• Utilización: todas las instancias del gobierno. bierno.

104 105
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

•!• Características •!• Proceso institucional de la evaluación

Internas, sumarias, criterios endógenos (Unidad de Administración Con- • Origen de la solicitud: la estructura administrativa del Estado: fun-
junta, 1985, y Grupo de Administración Financiera, 1987), con metodo- cionarios y encargados de programas.
logía formal (teoría de la evaluación). • Evaluadores: las diversas instancias gubernamentales responsables
•!• Entorno social de los programas que requieran de la evaluación.
Existe poca disponibilidad de investigadores sociales dispuestos a par- • Financiamiento: generalmente deben integrarse al presupuesto del
ticipar en puestos públicos (existe un sistema de carrera civil muy rígido programa evaluado.
para funcionarios). Se recurre poco a las ciencias sociales aplicadas para • Utilización: limitada a los órganos de la administración.
las políticas públicas. Formación clásica de los funcionarios encargados •!• Características
de las decisiones. Internas, sumarias, con criterios endógenos y metodología formal.
•!• Difusión •!• Entorno social
La mayor parte de las evaluaciones constituyen informaciones adminis- Las universidades e investigadores sociales han mostrado poco interés
trativas clasificadas (Ley de la Información Pública y Secreta) y fácil- en el problema de la evaluación; hay un mercado poco desarrollado y
mente se convierten en documentos con acceso restringido al público. limitado a la propia administración central.
•!• Difusión
Poco interés en los medios de comunicación y fuerte control del Estado
(de la administración) sobre la información que compete su desempeño.
Francia

•!• Definición
La evaluación es toda actividad que consiste en registrar los efectos de Dinamarca
la política pública, analizarlos de acuerdo con un criterio preestablecido,
elaborar un informe y presentarlo al comanditario que solicitó la eva- •!• Definición
luación. La evaluación es el análisis sistemático de la aplicación y los resultados
•!• Condiciones estructurales de las políticas públicas.
Poco f2vorables: el presidente, el primer ministro y el pesado cuerpo de •!• Condiciones estructurales
la administración siempre han predominado sobre el Parlamento, al Poco favorables: sistema parlamentario que busca tradicionalmente evi-
constituir un sistema de toma de decisiones centralizado y poco inclinado tar los conflictos entre el poder legislativo y el gobierno (y la repre-
hacia la publicación de sus resultados. Marcado énfasis en la noción de sentación partidaria del gobierno en el Parlamento no tiene interés en
control sobre los criterios de evaluación, organizado a partir de instancias confrontar al ejecutivo). Se trata de un sistema corporativo que ha rela-
gubernamentales. La Corte de Cuentas, que responde ante la Asamblea cionado eficazmente a las agencias administrativas con los sectores so-
Nacional, se restringe a funciones de control sobre uso de recursos y ciales afectados. El auditor general es independiente del gobierno, pero
legalidad de las actuaciones del gobierno. se restringe generalmente a controles legales y presupuestales.
•!• Papel de la evaluación en las decisiones •!• Papel de la evaluación en las decisiones
Influencia moderada e irregular. Algunas áreas de la actuación pública Marginal, con énfasis en el control de la eficiencia de las políticas públi-
son analizadas constantemente, mientras que otras, que son de primera cas.
importancia, no le son. Predomina un criterio discrecional de los altos •!• Nivel de institucionalización
responsables políticos en cuanto a la elección de los programas sujetos Modesto. Se recurre esporádicamente a la evaluación por el auditor ge-
a evaluación. neral; con más frecuencia, el Ministerio de Finanzas lleva a cabo algunas.
•!• Nivel de institucionalización •!• Proceso institucional de la evaluación
Modesto: dentro de la cultura de la administración, la evaluación no está • Origen de la solicitud: auditor general o ministerios de Finanzas o de
reconocida como una actividad integral de las políticas públicas. La Desarrollo.
Asamblea Nacional no ha impulsado las instancias legislativas quepo- • Evaluadores: las instancias gubernamentales.
drían crecer en este sentido. • Financiamiento: presupuestos de los programas del gobierno.

106 107
 Juan Pablo Guerrero Amparán
La evaluación de políticas públicas
• Utilización: Parlamento y gobiemo.
•!• Características • Financiamiento: presupuesto central.
Intemas, sumarias, criterios endógenos y metodología formal. • Utilización: Parlamento y gobiemo.
•!• Entorno social •!• Características
Existen mecanismos de revisión y de información alternativos para los Internas, sumarias, criterios endógenos y metodología formal.
responsables de las políticas (los que toman las decisiones). La formación •!• Entorno social
profesional de los altos funcionarios es de legalistas, por lo que están Existe una modesta disponibilidad de investigadores en ciencias sociales
poco familiarizados con la evaluación. La aplicación de los métodos cuan- dedicados al tema. Pero hay un sustituto: el comité de consejeros en
titativos en las políticas públicas es muy reciente y existe una pobre torno al gobierno central. En general, la formación profesional de los
disponibilidad de investigadores en ciencias sociales para los asuntos de funcionarios es de abogados, por lo que hay poca familiarización con la
la administración pública. evaluación.
•!• Difusión •!• Difusión
Limitada, con un interés modesto por parte del público. Abierta a la opinión, a través de informes que la Cámara General de
Cuentas publica con regularidad.

Países Bajos
Suiza
•!• Definición
La evaluación es parte del análisis de pronóstico y retrospectivo de las •!• Definición
políticas públicas, a fin de mejorar la calidad y el desempeño de éstas, La evaluación reúne una serie de mecanismos de control que varias agen-
así como los procedimientos administrativos. cias gubemamentales proporcionan en forma explícita.
•!• Condiciones estructurales •!• Condiciones estructurales
Favorables. El Parlamento puede cuestionar al gobierno, que tiene, no Poco favorables. Sistema fuertemente federalizado en el que las políticas
obstante, cierto margen de maniobra ejecutiva. La Segunda Cámara del públicas son instrumentadas localmente (la autoridad federal interviene
Parlamento, encargada de aprobar el presupuesto, tiene facultades para sólo en caso extremo, bajo el principio de la subsidiaridad). La mayor
vigílar también su aplicación. La Cámara General de Cuentas es bas- parte de los asuntos públicos se resuelven a través de un control muy
tante independiente, tanto del Parlamento como del gobierno, pero su activo de las organizaciones y sectores sociales afectados (la sociedad
papel se restringe a la verificación de la legalidad de las cuentas públicas. civil). Ni el Parlamento ni la Confederación (poder ejecutivo con poderes
•!• Papel de la evaluación en las decisiones limitados para establecer programas nacionales) cuentan con los recur-
Modesto, pero creciente en lo que respecta a la eficacia administrativa sos técnicos, humanos y materiales suficientes para vigilar activamente
del gobiemo. Se ha puesto el énfasis en la eficiencia y la disminución del a los cantones (autoridades locales).
déficit presupuesta!. •!• Nivel de institucionalización
•!• Nivel de institucionalización Muy modesta, aunque existen intentos incipientes. No obstante, las re-
Aún limitado, pero debe anotarse la creación, en 1981, del Procedimiento glas y procedimientos que hay son imprecisos y no están formalizados.
de Reconsideraciones, operación que ha consistido en la revisión de po- En 1987 se estableció un organismo de investigadores por iniciativa del
líticas para reducir los gastos, con instrucciones obligatorias para todas Departamento de Justicia (rango ministerial); en 1989, se creó un pro-
las instancias públicas interesadas. En algunas ocasiones, dichas ins- grama nacional de investigación para optimizar los recursos públicos.
trucciones incluyen evaluaciones que se fundan en criterios racionales •!• Proceso institucional de la evaluación
(y no exclusivamente financieros). • Origen de la solicitud: la sociedad civil.
•!• Proceso institucional de la evaluación • Evaluadores: los propios funcionarios o comités extraparlamentarios.
• Origen de la solicitud: Parlamento, Cámara General de Cuentas, Mi- • Financiamiento: la Confederación y la Asamblea Nacional.
nisterio de Finanzas. • Utilización: el Parlamento y la sociedad civil.
• Evaluadores: instancias gubernamentales. •!• Características
Extemas, sumarias, criterios exógenos y metodología formal.
108
109
 Juan Pablo Guerrero Amparán La evaluación de políticas públicas

•!• Entorno social cionarios, principalmente abogados, que sustituyen las evaluaciones con
La estructura política fuertemente descentralizada inhibe el desarrollo base en revisiones con múltiples criterios.
de criterios generales y sistemáticos. Por otra parte, la sociedad tiene •!• Difusión
otras formas de control, a través de su participación activa en la implan- Está abierta en algunos rubros que conciernen al presupuesto, pero el
tación de gran número de políticas públicas. gobierno tiene la capacidad de limitarla en algunos casos, cuando resulta
•!• Difusión conveniente hacerlo por razones de "interés general".
Completamente abierta al público.

Conclusiones
Noruega
Una queja frecuente de los ciudadanos es que los funcionarios no tienen
•!• Definición representatividad: ¿quién eligió al director general de crédito público
La evaluación busca garantizar que, a lo largo del proceso de la política de la Secretaría de Economía? Sin embargo, una decisión de ese per-
pública, haya correspondencia entre los objetivos y el trabajo guberna- sonaje puede afectar a miles de gobernados con todo y sus bolsillos.
mental para lograrlos. Los funcionarios trabajan encerrados en sus despachos y toman deci-
•!• Condiciones estructurales siones que afectan a los gobernados. Cuentan con la distancia protec-
Poco favorables. Es un sistema parlamentario en el cual la mayoría, al
tora del escritorio y se aíslan tras los obstáculos fisicos y simbólicos de
pertenecer al partido que gobierna, se caracteriza por su prudencia en
las oficinas públicas; se esconden detrás del anonimato de las institu-
los juicios sobre el desempeño del ejecutivo. Al mismo tiempo, y dada la
conformación del Congreso, la minoría opositora no tiene los medios. Por ciones del Estado; y con la complicidad de los demás funcionarios de
su parte, la Oficina del Auditor General responde al legislativo, con atri- arriba y de abajo de la jerarquía, los funcionarios que deciden, que
buciones principalmente legales y presupuestales. actúan o se inmovilizan con indiferencia, gozan de una fuerte dosis de
•!• Papel de la evaluación en las decisiones impunidad.
Su función es secundaria; se centra en cuestiones de eficiencia, de control Por ello, es frecuente que a los funcionarios se les reclame porque
al presupuesto y de productividad para algunos programas públicos. su nombramiento depende de sus superiores (el jefe del gobierno o los
•!• Nivel de institucionalización miembros del gabinete) sin pasar por el escrutinio público, por lo que
Modesto y reciente. En algunas instancias gubernamentales se lleva no pueden ser fácilmente cuestionados. Con dificultad pueden ser lla-
a cabo investigación retrospectiva. mados a rendir cuentas acerca de sus actuaciones. En realidad, los
•!• Proceso institucional de la evaluación
ciudadanos tienen pocas posibilidades y recursos legales para hacerlos
• Origen de la solicitud: Parlamento y gobierno.
• Evaluadores: instancias gubernamentales, instituciones indepen-
responder en forma efectiva por sus acciones y pedirles explicaciones
dientes de investigación, empresas de asesoría, grupos universitarios, amplias y razones convincentes. Desde el punto de vista de la sociedad,
etcétera. esto puede generar la triste paradoja de que mientras alimenta al Es-
• Financiamiento: presupuesto central. tado con los impuestos que paga, tiene que soportar al mismo tiempo
• Utilización: Parlamento y gobierno. autoridades públicas a las que no les puede pedir cuentas ni grados de
•!• Características responsabilidad. Y es que el recurso ciudadano que sirve por excelencia
Internas y externas; sumarias, con criterios exógenos. Teoría de evalua- para premiar o castigar a los gobernantes, el voto, no es atribuible a la
ción, aunque se recurre con frecuencia a la opinión de expertos (el modelo mayoría de las autoridades públicas. Y cuando un funcionario es elegi-
del experto de Monnier, ya aludido en la nota al pie número 38). ble, el periodo que existe entre una elección y la siguiente es demasiado
•!• Entorno social Prolongado, lo cual deja manos libres al gobernante por largo rato.
Existe una disponibilidad creciente de investigadores especializados, Una de las virtudes de integrar institucionalmente la evaluación
pero hay una tradición de cortes administrativas compuestas por fun- en el ciclo de las políticas públicas es que permite cuestionar las acti-
110
111
 Juan Pablo Guerrero Amparán
La evaluación de políticas públicas

vidades de esos funcionarios. Sí la evaluación de un programa guber-

namental es obligatoria y se lleva a cabo por un tercero, dentro de un gobierno y, de manera determinante, dentro del poder legislativo. La
marco de criterios de evaluación claros, por lo menos se puede discernir actitud del público en general frente a las evaluaciones, su solicitud
acerca de la conveniencia de continuar con el programa o suspenderlo, o indiferencia, también ha sido un motor fundamental de su desarrollo.
y se puede calificar o descalificar la actuación de las autoridades que Y para que dichos esfuerzos den frutos, ha sido necesario establecer
lo decidieron y ejecutaron. De esta manera, la evaluación obliga a los un marco de lucha política institucionalizada y reglas del juego legales
funcionarios a mejorar su desempeño público en sus actuaciones y en y claras para la competencia por el dominio de los aparatos y recursos
la utilización de los recursos escasos. Sin embargo, para que la eva- del Estado. En ocasiones la oposición ha impulsado desde el Congreso
luación funcione como un medio efectivo de control de las acciones el desarrollo de la evaluación; a veces la oposición recién llegada al
públicas, deben cumplirse tres condiciones: 1) que el proceso de eva- gobierno ha condenado las acciones del pasado o justificado sus accio-
luación esté implantado en forma institucional y que sea vigilado por nes del presente con el recurso de la evaluación institucional. Siempre,
lo menos por una instancia del Estado distinta al organismo ejecutor; el pluralismo y la democracia, si bien no han sido factores suficientes
2) que las conclusiones de la evaluación del desempeño de la unidad para la evaluación de las políticas públicas, han sido condiciones ne-
gubernamental queden al alcance de los ciudadanos, y 3) que el marco cesarias.
legal existente garantice los mecanismos de verificación, control y jui-
cio para que, en caso necesario, se sancione al responsable de los ex-
cesos y las fallas. Anexo. Definiciones útiles
Las razones que hacen deseable la evaluación institucionalizada
en los programas del gobierno son también las que, en parte, han obs- • Evaluación descriptiva: registra los cambios generados por una
taculizado su desarrollo: por lo general, las administraciones y auto- política pública.
ridades se rehúsan a someter sus decisiones y acciones a la luz eva- • Evaluación clínica: explica los efectos de la política pública a
luadora de criterios que pueden venir a cuestionarlas. Por ello, partir de sus objetivos declarados y utilizando los criterios y
inclusive en varios países democráticos la evaluación de políticas pú- valores oficiales.
blicas ha tenido un desarrollo limitado. Por otra parte, debe decirse • Evaluación normativa: explica los efectos de la política con los
que la evaluación no es la única forma de plantear en forma efectiva criterios que el analista de la evaluación elige.
y práctica el problema de la accountability. La evaluación es una forma • Evaluación experimental: busca las relaciones estables de cau-
de pedir cuentas al gobierno, pero no es la única. En Suiza, lo hemos salidad entre la política pública y sus efectos, a través de expe-
visto, las evaluaciones gubernamentales están poco desarrolladas, rimentos y ensayos con un grupo tratado que se compara con
pero los niveles de control de los actos de autoridad por parte de la un grupo de referencia.
sociedad agrupada en asociaciones y en organizaciones civiles son muy • Evaluación pluralista: adopta los puntos de vista de varias ca-
elevados y eficaces. tegorías de sujetos, grupos o personas interesadas por la política
Dice José Antonio Crespo que un elemento esencial de la demo- pública para establecer una interpretación múltiple, dinámica
cracia es su capacidad institucional para pedir cuentas -legal y polí- y consensual de sus efectos.
ticamente-- a los gobernantes por la vía pacífica. 55 Esta revisión de la
evaluación en nueve países ha dejado claro por lo menos lo siguiente: • Objetivos: metas, fines, circunstancias o situaciones que se bus-
el desarrollo de la evaluación como forma de control de la acción gu- ca alcanzar, ya sea porque se consideren deseables por sí mis-
bernamental ha demandado disposición y esfuerzo dentro del propio mos o porque resulten prácticos.
• Criterios: reglas, referencias o escalas que sirven para graduar,
55 Lo ha escrito en varias ocasiones. Por ejemplo, en el diario mexicano Reforma del 6 de
interpretar y calificar lo que se observa. Los criterios de la eva-
marzo de 1995. luación se llevan a efecto -se operacíonalizan- a través de
métodos de análisis, observación, registro o medición.
ll2
113
 Juan Pablo Guerrero Amparán
La evaluación de polüicas públicas

• Técnicas (o métodos): procedimientos, medios e instrumentos está integrado y que es autónomo respecto del cuerpo público
que permiten poner en práctica la evaluación. Se derivan, ge- responsable de la política por evaluar.
neralmente en forma coherente, de los criterios.
• Evaluación sumaria: consiste en el análisis de las consecuen-
• Valores: graduación, puntuación, interpretación o calificación cias generales de la política en cuestión ., ,uner el énfasis en
de la política pública con base en las referencias de valoración los efectos finales de la política, después de considerar el estado
o criterios. A partir de éstos se determinan las características de cosas anterior (v.g., un solo examen final para evaluar un
distintivas, se miden los méritos y se calculan los desaciertos programa).
de un programa de actuación gubernamental. El valor puede • Evaluación formativa: permite establecer observaciones y re-
referirse a la importancia, la calidad, la sustancia, la cantidad, comendaciones tácticas a los responsables de la política (los que
la estimación, la utilidad, la justicia, la eficacia, etc., de la po- decidieron ponerla en práctica), a fin de corregir desviaciones
lítica pública. y optimizar el desempeño del programa (v.g., varias inspeccio-
• Normas: preceptos de conducta que gobiernan y dirigen el com- nes parciales cuyos resultados se promedian para evaluar un
portamiento al asegurar la regulación de la vida de los indivi-
programa).
duos y los grupos dentro de la sociedad. Cuando varias personas
• Métodos o procedimientos formales: sucede cuando las unidades
aceptan una determinada jerarquización de valores (lo bueno o instituciones dedicadas a la evaluación recurren a una técnica
y lo malo, lo superior y lo inferior, etc.) surgen las normas (aun- generalizada (como una teoría reconocida), y definida en forma
que en una organización social, pueden ser definidas impositi- legal u oficial.
vamente, por ley).
• Métodos ad hoc (convicción íntima): sucede cuando las institu-
ciones o unidades evaluadoras adaptan sus técnicas al caso
• Criterio de eficiencia: logro de objetivos al menor costo posible.
específico en el que se ocupan, sin que haya un procedimiento
• Criterio de eficacia: logro de objetivos concretos.
riguroso y general que cumplirse.
• Criterio de igualdad: mismo tratamiento a todos los sectores
sociales, aunque éstos se encuentren en situación desigual.
• Criterio de equidad: busca eliminar la injusticia al favorecer
explícitamente a los sectores marginados; se preocupa en par-
ticular por las situaciones de desigualdad social, para lo cual
integra consideraciones distributivas.
• Criterio de pertinencia o adecuación: se refiere a la capacidad
de responder de manera satisfactoria a las necesidades o de-
mandas sociales.

• Criterios endógenos: definidos a partir de las metas propuestas

por los diseñadores de la política en cuestión, por lo que son
congruentes con los criterios internos de la institución involu-
crada.
• Criterios exógenos: provienen de consideraciones externas a las
que norman y justifican la política pública evaluada.
• Evaluación interna: elaborada por instancias que son depen-
dientes de la organización que aplica la política.
• Evaluación externa: llevada a cabo por un organismo que no
114
115