Curso de Capacitacin a Distancia

En Programas y Proyectos de Cooperacin para el Desarrollo

Diseo Metodolgico de Lneas de Base

Curso de Capacitacin a Distancia

Diseo Metodolgico de Lneas de Base

En Programas y Proyectos de Cooperacin para el Desarrollo

MANUAL DEL PARTICIPANTE

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

NDICE
Pgina Bienvenida al Curso Introduccin Objetivos Metodologa Actividades Bibliografa Complementaria Orientaciones para el Participante Requisitos Tecnolgicos Plataforma de Capacitacin UNIDAD I.- Marco Conceptual de las Lneas de Base 1.1 Evaluacin de Proyectos Sociales A. Qu es la Evaluacin? B. Propsitos de la Evaluacin C. Tipos y Momentos de una Evaluacin D. Etapas de un Proceso de Evaluacin E. La Evaluacin de Programas y Proyectos Sociales 1.2 Indicadores de Evaluacin A. El Marco Lgico B. Los Indicadores de Evaluacin C. Atributos de los Indicadores D. Criterios de Seleccin de Indicadores E. Tipos de Indicadores F. Formulacin de Indicadores Los Estudios de Lnea de Base A. La Lnea de Base B. Diferencias entre Lnea de Base y Diagnstico C. Etapas de una Lnea de Base 03 04 04 05 06 07 07 07 08 12 12 12 13 14 18 20 22 22 28 29 35 38 42 45 45 49 50 60 60 60 63 64 64 66 67 68 68 70 70 71

1.3

UNIDAD II.- Diseo Metodolgico de una Lnea de Base 2.1 Identificacin de Variables y Subindicadores de Evaluacin A. La Matriz de Consistencia B. Identificacin de Variables C. Identificacin de Subindicadores D. Identificacin de Tcnicas e Instrumentos de Recojo de Informacin E. Errores comunes en los Marcos Lgicos F. Correccin de Indicadores mal diseados 2.2 El Marco Metodolgico del Estudio A. Tipos de Estudio B. mbito y Poblacin Objetivo C. Unidades de Anlisis D. El Marco Muestral

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

2.3

Construccin de Instrumentos de Recojo de Informacin A. Tcnicas e Instrumentos de Recojo de Informacin B. La Entrevista C. La Encuesta D. La Observacin E. El Grupo Focal La Validacin de Instrumentos de Recojo de Informacin A. La Validacin Tcnica B. La Validacin de Campo C. Tcnicas de Validacin El Plan de Trabajo A. Estructura de un Plan de Trabajo B. Cronograma C. Presupuesto

76 76 78 81 86 89 91 91 93 93 97 97 98 99 102 102 103 103 104 105 107 108 109 109 110 110 110 113 115

2.4

2.5

UNIDAD III.- Marco Operativo para la Implementacin de una Lnea de Base 3.1 El Trabajo de Campo A. Identificacin del mbito de Estudio B. Capacitacin a Encuestadores C. Capacitacin a Facilitadores D. La Supervisin E. La Organizacin de la Informacin 3.2 El Procesamiento de la Informacin y Anlisis de Resultados A. Consistencia: Critica y Codificacin de la Informacin B. Sistematizacin de la Informacin C. Elaboracin de Cuadros y Grficos D. Anlisis de la Informacin E. Reporte de la Informacin F. Comunicacin de los Resultados

BIBLIOGRAFA

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Estimado Participante

Felicitamos la decisin que ha tomado de seguir una actualizacin y perfeccionamiento profesional e inscribirse en el Curso de Capacitacin a Distancia Diseo Metodolgico de Lneas de Base en Programas y Proyectos de Cooperacin para el Desarrollo que ofrece nuestra institucin. El presente curso es el resultado del esfuerzo que hemos invertido para poder implementar tecnologas de informacin y comunicacin en nuestros sistemas y as poder brindar mayores oportunidades acadmicas a aquellos profesionales que por sus actividades diarias o las distancias no pueden participar de cursos presenciales. El tema que tratamos en el curso, es muy importante y necesario para una adecuada gestin de programas y proyectos de cooperacin para el desarrollo; hoy en da las diferentes organizaciones vienen tomando importancia a sus procesos de evaluacin, principalmente a los estudios de lnea de base, razn por la cual el presente proceso de capacitacin ofrece una mirada completa a su metodologa, lo cual permitir articular sus iniciativas y esfuerzos en el planteamiento de estudios basales coherentes que permitan recoger informacin que corresponda a los indicadores iniciales de sus proyectos. El presente curso ha sido diseado exclusivamente bajo la metodologa de enseanza virtual, utilizando herramientas adecuadas para que los participantes puedan organizar su propio ritmo y horario de estudio; en tal sentido puedan desarrollar su aprendizaje desde el lugar donde se encuentren. Nosotros brindaremos una asistencia permanente durante todo el ciclo del curso a travs del dilogo virtual, utilizando para ello los foros, chat y correos electrnicos. Desendote xitos en el emprendimiento que has tomado, te damos una clida bienvenida a este curso.

Cordialmente,

REDINFOR

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

INTRODUCCIN
El presente manual, pretende orientar a los participantes del curso en el desarrollo de su aprendizaje, razn por la cual utilizamos un lenguaje sencillo y libre de trminos tcnicos complicados, esperando que no solo sea de utilidad para el desarrollo de la presente capacitacin, sino tambin proporcionar una visin de todo lo que supone planificar la puesta en marcha de un determinado proceso de desarrollo de capacidades, transferencia tecnolgica o sensibilizacin en poblaciones rurales del pas, desde un enfoque prctico y operativo. Un estudio de Lnea de Base, no solo permite advertir a los gestores de proyectos acerca de los indicadores iniciales de un proyecto, sino tambin proporcionar informacin de las principales dificultades y limitaciones que pueden aparecer dentro del ciclo del proyecto, poniendo en riesgo los objetivos del mismo; un estudio de esta naturaleza tambin es un instrumento de aprendizaje, dado que permite correlacionar diferentes variables asociadas, permitiendo con ello identificar nuevas caractersticas de una poblacin, con las cuales se podran plantear futuros proyectos o estrategias para proyectos paralelos. En ese sentido, considerando la inversin y esfuerzo que realizan diferentes organizaciones de desarrollo en la lucha contra la pobreza en el pas, es importante que los profesionales involucrados en ellas, manejen las tcnicas y metodologas para el diseo de lneas basales de manera adecuada, con la finalidad que puedan ser utilizados como instrumentos de gestin para el logro de sus objetivos.

OBJETIVOS
Objetivo General Lograr que los participantes conozcan y apliquen adecuadamente la metodologa para disear estudios de Lnea de base para proyectos sociales. Objetivos Especficos a) Permitir que los participantes reconozcan los pasos necesarios para disear una Lnea de Base. b) Lograr que los participantes puedan identificar adecuadamente las variables de evaluacin y planteen subindicadores correspondientes a ellas. c) Lograr que los participantes puedan identificar y construir adecuadamente los instrumentos de recojo de informacin. d) Lograr que los participantes puedan poner en marcha adecuadamente un estudio de Lnea Base. e) Lograr que los participantes puedan establecer los criterios necesarios para el procesamiento y anlisis de la informacin.

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

METODOLOGA
El presente curso ofrece formacin bajo la modalidad exclusivamente a distancia, la cual se desarrollar a travs de la Plataforma de Capacitacin de REDINFOR y contar con el apoyo de materiales y medios especialmente diseados para facilitar el autoaprendizaje, complementado con el constante apoyo u asistencia del facilitador del curso. El participante deber dedicar como mnimo aproximadamente 02 horas diarias de estudio durante el desarrollo del curso, las cuales podrn ser distribuidas segn su propio ritmo de aprendizaje y disponibilidad de tiempo. La metodologa del curso ha incorporado elementos de estudio de casos, utilizando para ello proyectos desarrollados y existentes, aplicaciones tcnicas con ejemplos prcticos, combinando el trabajo individual con el grupal o colectivo, aprovechando los recursos de tcnicas e-learning que ofrece el entorno virtual. Sin embargo, cada una de las unidades del curso utiliza, dentro de esta variedad, estrategias metodolgicas adecuadas segn las caractersticas de los temas a tratar. Dentro del marco de aprendizaje del curso, podemos sealar algunas caractersticas del modelo de aprendizaje que se seguir: Estudio Personal: Cada uno de los participantes es responsable de su propio proceso de aprendizaje, para ello el curso facilita todas las condiciones necesarias para su aprovechamiento, por ello es importante la iniciativa y los niveles de organizacin que puedan tener los participantes. Flexibilidad en el Aprendizaje: Cada uno de los participantes es libre de elegir el tiempo que ms le conviene para estudiar, pero sin olvidar que existen plazos para cumplir de manera adecuada y oportuna con los trabajos y ejercicios prcticos que se establecen en cada una de las unidades. Retroalimentacin: El facilitador del curso informar a cada participante de manera permanente sobre su desempeo a lo largo de todo el proceso de aprendizaje, de manera personal o grupal a travs del correo electrnico. As mismo, la metodologa de capacitacin del presente curso, incluye la calificacin vigesimal, a partir de la cual a aquellos que obtengan promedios ponderados iguales o mayores a 14 se les otorgar un Certificado de Aprobacin y a aquellos que obtengan promedios ponderados menores a 14, se les otorgar un Certificado de Participacin.

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

ACTIVIDADES
Durante el desarrollo del presente curso se ha previsto la elaboracin de trabajos grupales e individuales; as como el de actividades en lnea como los foros de discusin, sesiones de chat, lecturas individuales y lecciones audiovisuales, con la finalidad de facilitar los procesos de autoaprendizaje de los participantes. Foros de Discusin: Los foros constituyen un espacio nico de opinin y de pensamiento, que permite la libre discusin sobre temas especficos a tratar en cada una de las unidades; en cada unidad del curso se culmina con el planteamiento de una pregunta, sobre la cual necesariamente todos los participantes deben responder, derivando de ello las orientaciones del facilitador y fomentando con ello los comentarios reflexivos que permitan afianzar y mejorar el proceso de aprendizaje. Sesiones Chat: El chat es una herramienta virtual que permite la comunicacin on-line entre los participantes y el facilitador en un determinado momento, posibilitando la solucin de dudas y dificultades de manera inmediata; as mismo permite el intercambio de opiniones. Para el curso se ha previsto cuatro (04) sesiones chat, las cules no son obligatorias y se realizarn en el horario de 8 a 10 de la noche segn las fechas fijadas en el programa. Lecturas Individuales: Al finalizar cada una de las lecciones audiovisuales se proporciona a los participantes material de lectura que permita reforzar las ideas y explicaciones observadas en la leccin audiovisual, la cual junto con los ejemplos prcticos obtenidos de proyectos reales, permitirn mejorar el proceso de aprendizaje de los participantes. Lecciones Audiovisuales: Las lecciones audiovisuales son videos editados por el facilitador y que se encuentran disponibles en la plataforma de capacitacin, as como dentro de los materiales que los participantes han recibido; los cuales explican cada una de las diapositivas del curso, las preguntas y dudas que tengan los participantes debern ser canalizadas va correo electrnico y a travs de los foros. Exmenes en Lnea: Los exmenes en lnea son cuestionarios con un conjunto de preguntas relacionadas a los temas revisados en las lecciones tratadas previamente; las preguntas ofrecen alternativas de respuesta, con la finalidad de facilitar el proceso de la evaluacin. Ejercicios Individuales: Son situaciones extradas de casos reales, puntuales y que deben ser resueltas a partir de los conocimientos previos obtenidos en el desarrollo del curso; cada participante recibir retroalimentacin a sus respuestas. Trabajos Grupales: Resume la aplicacin de todo lo aprendido en una determinada unidad del curso; se plantea la elaboracin de productos especficos, componentes importantes dentro del desarrollo de competencias del curso; cada grupo recibir retroalimentacin a sus trabajos.

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

BIBLIOGRAFA COMPLEMENTARIA
El presente curso de capacitacin a distancia tambin incluye complementariamente un conjunto de archivos en formato digital con informacin complementaria relacionada al tema del diseo metodolgico de lneas de base, entre los cuales se encuentran libros, monografas, presentaciones power point, manuales y guas; material que permitir no solo el reforzamiento de los aprendizajes, sino tambin constituirn en material que permita guiar y orientar sus procesos de diseo de capacitaciones.

ORIENTACIONES
Para poder mejorar el proceso de aprendizaje de los participantes se recomienda seguir las siguientes orientaciones: 1. 2. 3. 4. 5. 6. Revisar el material de estudio, segn las fechas del programa. Tomar atencin de los videos audiovisuales y anotar sus dudas y consultas. Remitir las dudas y consultas al facilitador del curso va correo electrnico Revisar las lecturas seleccionadas por el curso. Repasar las diapositivas junto con sus notas y comentarios recibidos por el facilitador. Realizar las actividades que se solicitan segn las fechas del programa.

REQUISITOS TECNOLGICOS
Los participantes debern tener acceso a una computadora con conexin a internet, desde cualquier lugar donde se encuentren o hayan decidido seguir sus lecciones de aprendizaje. Los requerimientos tcnicos mnimos que deben de tener son:
Requisitos Mnimos - Pentium II - Memoria RAM 64 MB - Resolucin de Monitor: 800 x 600 pixeles - Modem 56Kbps - Tarjeta de Sonido - Windows 98 - Navegadores: Microsoft Internet Explorer 5.0 Netscape Navigator 6. - Adobe Reader 6.0 - Macromedia Flash Player 7. - Reproductor de Windows Media 9.0 Requisitos Recomendados - Pentium IV - Memoria RAM 512 MB - Resolucin de Monitor: 1024 x768 pixeles - Conexin ADSL o lnea dedicada - Tarjeta de Sonido. - Windows XP o superior - Navegadores: Microsoft Internet Explorer 8.0 Mozilla Firefox 2. - Adobe Reader 9.0 - Adobe Flash Player 9. - Reproductor de Windows Media 11.0

Hardware

Software

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

PLATAFORMA DE CAPACITACIN
La Plataforma de Capacitacin de REDINFOR es un medio virtual que se soporta a travs del programa moodle, el cual es muy sencillo de utilizar, dado que se presenta como una pgina web y cuenta con recursos adaptados para seguir un proceso de autocapacitacin.

DIRECCIN WEB DE LA PLATAFORMA DE CAPACITACIN DE REDINFOR http://www.redinfor.com.pe/moodle

Al ingresar a la Plataforma de Capacitacin hacer CLICK en Entrar tal y como figura en la siguiente fotografa:

Hacer Click en Entrar

Inmediatamente le aparecer una pgina que le pedir que ingrese su Nombre de Usuario y Contrasea; los cules le sern proporcionados por REDINFOR das previos al inicio del curso. Cercirese que haya colocado correctamente su contrasea, dado que se reconocen maysculas y minsculas. Coloque su Nombre de Usuario Coloque su Contrasea

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Una vez que usted haya ingresado los datos correctos podr ingresar a la pgina de la plataforma de capacitacin, la cual presenta la Bienvenida y en la parte final de la misma el curso o cursos en los cuales el participante se encuentra suscrito. Deber hacer Click sobre el nombre del curso en el cual usted se encuentra suscrito.

Haga Click Aqu Para ingresar al Curso

Una vez que haya ingresado a la pgina del curso, ah usted podr encontrar todo el curso y sus unidades correspondientes, las cules irn apareciendo progresivamente, en la medida que el curso avance. Revise las unidades de acuerdo a las fechas que el programa del curso establece.

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Si presenta alguna dificultad para descargar alguno de los recursos que el curso utiliza, por problemas de conexin a internet u otras limitaciones, dentro de los discos que se le ha facilitado junto con el presente manual se encuentran todos los materiales, de tal manera que evite retrasar su proceso de aprendizaje. En la misma pgina se encuentran cargado todos los recursos de capacitacin; cada una de las unidades comienza con un enlace hacia las diapositivas, las cules no tienen audio y sirven bsicamente para el repaso de la leccin; para poder acceder a las diapositivas solo necesita hacer Click sobre ellas. En cada unidad existen lecciones, las cules son parte de las diapositivas y van siendo explicadas con mayor detalle, para poder acceder a los videos solo tiene que hacer Click sobre la misma y se abrir un enlace hacia una pgina donde se encuentran cargados los videos, en caso de tener dificultades para ver los videos, los mismos se encuentran disponibles en el disco de materiales de capacitacin.

Haga Click Aqu Para ver las Diapositivas

Haga Click Aqu Para ver los videos

Debajo de cada una de las lecciones siempre encontrar lecturas para reforzar el tema analizado, as como ejemplos prcticos obtenidos de proyectos reales y un foro de discusin donde se plantea una pregunta y a partir de ella analizar el tema tratado.

Haga Click Aqu Para revisar las Lecturas

10

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Al finalizar, en algunas lecciones usted encontrar un ejercicio prctico que deber resolverlo de manera individual. As mismo, al finalizar alguna de las Unidades, encontrar un Trabajo Grupal, los grupos sern conformados por el facilitador y les ser comunicado a todos los participantes antes del inicio del curso para que los participantes puedan ir organizndose. Tanto los trabajos individuales como los grupales debern ser cargados en la misma plataforma, segn las indicaciones del facilitador.

Haga Click Aqu Para ver las indicaciones del TRABAJO INDIVIDUAL y cargar su trabajo al sistema

Haga Click Aqu Para ver las indicaciones del TRABAJO GRUPAL y cargar su trabajo al sistema

Para ingresar a los foros de discusin, solo tiene que hacer Click en FORO e inmediatamente ingresar a la pgina del foro, ah podr encontrar el mensaje que ha dejado el facilitador y la gua de preguntas a la que deben de responder.

Haga Click Aqu Para ingresar al FORO

11

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

UNIDAD I MARCO CONCEPTUAL DE LAS LNEAS DE BASE

1.1 Evaluacin de Proyectos Sociales
A. Qu es la Evaluacin? La Real Academia de la Lengua Espaola (2010) indica que la evaluacin consiste en la accin y efecto de evaluar y que evaluar significa estimar, apreciar, calcular el valor de algo. En acepciones de tipo lxico, son muchas las palabras relacionadas con el trmino de evaluacin. Algunas de ellos: verificar, medir, valorar, comprender, aprender, conocer, juzgar, comparar, constatar, apreciar, decir, ayudar, cifrar, interpretar, estimar, experimentar, posicionar, expresar. Las ideas de medir con precisin, hacer juicios evaluativos y aproximativos sobre una realidad y servir de ayuda y apoyo, surgen de manera natural a partir de los distintos significados de evaluacin. En realidad, la palabra evaluar proviene del Latn valere, que significa tener valor; en s, la mayora de los diccionarios tanto de lengua castellana como inglesa atribuyen la evaluacin a su etimologa y la asocian al valor. En ese sentido, en virtud de las definiciones podemos afirmar que todo proceso de evaluacin involucra un juicio o una decisin sobre la bondad o el mrito, donde los estndares y criterios de juicio para evaluar son fundamentales. Si cada decisin se vinculara con un solo criterio o un solo estndar de decisin, quizs la evaluacin sera un proceso exclusivamente tcnico. Sin embargo, la evaluacin de iniciativas pblicas nos obliga a considerar mltiples estndares y mltiples criterios. Frecuentemente, las conclusiones que se obtendrn con respecto al valor seran unas segn un conjunto de criterios y otras (quizs contradictorias) segn otro estndar. Algunas caractersticas de la evaluacin son: Se ha de evaluar siempre con alguna finalidad Evaluar es valorar Supone un proceso sistemtico de recogida y anlisis de informacin Integra una descripcin de la realidad para la emisin de juicios sobre su adecuacin a un patrn establecido La evaluacin es la base de la toma de decisiones A partir de estas reflexiones podramos definir a la evaluacin como un proceso sistemtico de recogida y anlisis de informacin relevante, destinado a describir la realidad y emitir juicios de valor sobre su adecuacin a un patrn o criterio de referencia establecido; la cual se utilizar para reconducir, si fuera necesario, las situaciones que puedan mejorarse y servir de base para la toma de decisiones. Se constata que evaluar consiste en comparar la informacin que se recoge con criterios previamente establecidos y de ah la existencia de un juicio valorativo.

12

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

En un proceso de evaluacin se ha de determinar el grado de eficacia y eficiencia, con que se emplean los recursos destinados a alcanzar los objetivos previstos, posibilitando la determinacin de las desviaciones y la adopcin de medidas correctivas que garanticen el cumplimiento adecuado de las metas propuestas. La evaluacin se debe aplicar antes, durante, y despus de la implementacin de las tareas y actividades que formen parte del programa o proyecto a ejecutarse; y debe ser: a) Reflexiva, es decir, llevarse a cabo con sinceridad y responsabilidad; b) Sistemtica y Rigurosa, que permita la indagacin sobre la realidad, para lo cual debe ser realizada con un cierto orden y secuencia planeados de antemano, para no caer en la improvisacin que nos lleve a emitir juicios equivocados, utilizando las tcnicas adecuadas segn las variables que se pretendan evaluar y establecer criterios y normas que han de ser conocidas, para que se comprenda por qu se ha emitido tal o cual juicio de valor; y c) Continua e Integral: que permita demostrar los niveles de avance, retraso o retroceso que se tiene en el camino hacia la bsqueda de los objetivos, luego ha de hacerse presente en cada etapa, de ah la necesidad de que sea permanente. Conviene insistir en que toda tarea o actividad, en cualquier momento, nos interesa que sea registrada y evaluada posteriormente. Es a travs de los detalles aparentemente simples como se construyen los grandes panoramas. La evaluacin no es nunca un fin en s misma, engloba tanto procesos cuantitativos como cualitativos. Es por lo tanto un proceso controlado, luego es imprescindible plantearse el cundo se hace y cmo se hace? B. Propsitos de la Evaluacin La evaluacin es un proceso sistemtico de anlisis y reflexin sobre la accin que se produce en el marco de los proyectos o experiencias de desarrollo similares que, en trminos generales, persigue los siguientes propsitos: a) Legitimar La evaluacin generalmente se utiliza frente a aportadores de recursos econmicos e instancias superiores con el fin de dar relevancia y respaldar la inversin de recursos en proyectos. b) Controlar La evaluacin se constituye en un instrumento de poder mediante el cual se garantiza que las actividades reales y los recursos asignados correspondan a las actividades y recursos proyectados. c) Reflexionar La evaluacin es un instrumento para desarrollar y mejorar la calidad y el profesionalismo de un equipo de trabajo frente a un proyecto determinado

13

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Como se puede apreciar, la evaluacin concentra su esfuerzo de anlisis en el cambio y en las acciones llevadas a cabo para producirlo, y para ello utiliza la comparacin. Toda evaluacin consiste en comparar lo alcanzado con la ejecucin de los proyectos con referentes que se definen en el momento de diseo y en las etapas de inicio de las acciones. El referente inicial es una valoracin del estado o situacin de la poblacin objetivo de los proyectos, el contexto en que se ejecutan y los indicadores definidos para su gestin, antes de que la ejecucin empiece a producir cambios. Es un estudio de base cuyos resultados sern comparados con los resultados de las evaluaciones posteriores. El referente final est compuesto por los objetivos o resultados esperados. Se definen en el proceso de planificacin y traducen las intenciones de cambio que estn detrs de todo proyecto. La idea de estos referentes es comparar los resultados que progresivamente se van alcanzando con la ejecucin, con los resultados previstos. En trminos muy concretos, la evaluacin permite dar cuenta (comunicar resultados a otros) y darse cuenta (producir aprendizajes colectivos dentro del proyecto) de los cambios que se producen, identificar potencialidades y limitaciones en la accin, y utilizar los aprendizajes sobre lo hecho haya sido acertado o errneo para introducir correcciones. C. Tipos y Momentos de una Evaluacin El desarrollo de distintos enfoques de anlisis de evaluacin se enmarca en el contexto de tipologas que responden a criterios especficos, ya sea en el momento en que se haga la evaluacin dentro del ciclo de vida del proyecto, o de los objetivos que tenga la evaluacin. En general, al revisar la bibliografa existente es posible encontrar algunas diferencias de definiciones que responden a la complejidad del tema, de modo que es posible constatar la existencia de distintas perspectivas que responden a las diversas disciplinas que han trabajado en evaluacin. Es relevante sealar entonces que ello, influye de forma determinante en esta dispersin conceptual, as como la multiplicidad de experiencias prcticas en el rea. Con el propsito de esclarecer la orientacin y el contenido de la evaluacin, se ha desarrollado tericamente en el presente manual una tipologa del proceso de evaluacin. Considerando la premisa de que evaluacin es fundamentalmente un proceso que busca medir y generar de informacin para su aplicacin, se ha desarrollado una tipologa que responde por un lado a criterios especficos considerando los objetivos que persigue, y por otro, de acuerdo al tiempo o momento en que se realiza la evaluacin respecto del ciclo de vida del proyecto Durante el Diseo del Proyecto a) El Diagnstico En s misma, no es una evaluacin, porque responde a un estudio que permite caracterizar un lugar o una poblacin determinada antes del diseo

14

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

o formulacin de un proyecto; sin embargo con la finalidad de marcar diferencias con ella, la hemos considerado dentro de sta etapa. El diagnstico es la fase inicial de todo proyecto, una buena identificacin de las necesidades principales, as como de las capacidades y potencialidades requiere de la realizacin de un diagnstico participativo que caracterice a la poblacin con la que vamos a trabajar y "tome la radiografa" de la situacin en la que se encuentra. Para ello hay mltiples herramientas: Las propias del Marco Lgico, el Diagnstico Rural Participativo - DRP, como los "Mapas parlantes", la lluvia de ideas, dinmicas grupales, entrevistas, etc. El objetivo del diagnstico es la identificacin de factores o variables crticas o claves en funcin de problemas, necesidades, demandas e iniciativas presentes, la cual debera realizarse tomando en consideracin el mximo de variables que intervienen en funcin del contexto global. Podramos definir el diagnstico como una investigacin, cuyo objetivo central es descubrir las caractersticas fundamentales de la realidad. No debera transformarse en un ejercicio extremadamente largo, minucioso y menos terico, es decir, se trata de realizar un diagnstico operativo y prctico. Al final, la idea es contar con un instrumento que realmente sirva a nuestro propsito de planificar. El diagnstico servir para la determinacin de objetivos en funcin de los factores crticos que se descubran, nos puede entregar adems elementos de juicio de orden cualitativo y cuantitativo que nos servirn para la fundamentacin o justificacin del proyecto. El diagnstico, constituye una herramienta fundamental para la toma de decisiones. Las situaciones presentes en la realidad no poseen una nica forma de tratamiento, una frmula nica, rgida y menos universal de ser abordadas. Es por ello que si hacemos el ejercicio de intentar una aproximacin participativa e integral, estaremos en condiciones de generar mayores posibilidades de xito en nuestra gestin de los procesos de desarrollo cultural local. En funcin de construir una aproximacin desde mltiples puntos de vista de validez, para la elaboracin de proyectos resultar entonces fundamental la realizacin de diagnsticos que nos permitan lograr una caracterizacin lo ms completa posible de la realidad, para esto, debemos tomar en consideracin el mximo de factores y variables que entran en juego. En la perspectiva de enfrentar adecuadamente esta necesidad inicial bsica adems compleja que se nos presenta, nuestra propuesta consiste en realizar un ejercicio de diagnstico tratando de alcanzar la globalidad del sistema. b) Evaluacin Ex-Ante La evaluacin ex-ante trata de simular el efecto de un proyecto antes de que este se ponga en prctica o entre en operacin. El objetivo de la evaluacin ex-ante es proporcionar elementos de juicio para determinar cul es el proyecto o la combinacin de proyectos que ms conviene a la

15

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

poblacin en trminos del cambio de las condiciones de vida de los beneficiarios. Este tipo de evaluacin tiene por finalidad proporcionar informacin y establecer criterios racionales para decidir sobre la conveniencia tcnica de la implementacin de un proyecto, esto es, determinar la viabilidad tcnica de un proyecto y, a su vez, jerarquizar los proyectos elegibles. Se evala la posibilidad de alcanzar los objetivos propuestos en un programa con los recursos existentes, estimando y comparando los costos presentes y futuros de las diferentes alternativas.

Durante el Ciclo de Vida del Proyecto a) Lnea de Base Antes de iniciar cualquier intervencin o proyecto, o al efectuar un cambio de estrategia u orientacin de un programa, es conveniente contar con una Lnea de Base. La Lnea de Base, tambin denominada Estudio Basal o Lnea Basal, consiste en determinar la situacin de la poblacin objetivo en relacin con las dimensiones o problemas que se desea afrontar al inicio de la intervencin. En otras palabras, la lnea de base permite establecer el punto de partida del proyecto o intervencin. La lnea de base, adems recoge, datos ms precisos sobre la poblacin objetivo, lo que permitir una mejor formulacin del proyecto o programa. Por tanto, contar con un buen estudio de base facilita lo siguiente: Obtener informacin ms precisa de la poblacin objetivo y del problema o dimensin que se pretende atender con la intervencin. Establecer el punto de partida para comparar los resultados de la intervencin durante la evaluacin de resultados y de impacto. Una tentacin frecuente, en especial cuando existe abundante informacin estadstica sobre la zona, poblacin o problema, es acumular informacin sin priorizarla o estimar su calidad. La relacin entre cantidad de datos y calidad de los mismos no es lineal. La relevancia de la informacin tiende a aumentar con el acceso a nuevos datos; pero, llegado un punto, la ley de retornos decrecientes determina que la relevancia de los mismos tiende a disminuir a medida que stos se acumulan. Asimismo, es frecuente que los datos encontrados sean contradictorios entre s, en cuyo caso, si no es posible revisar la definicin, el mtodo de recoleccin y la calidad de la fuente, debe anotarse esta discrepancia y verificarse durante el estudio de base. La informacin primaria puede obtenerse por entrevistas a informantes calificados o encuestas por muestreo de los distintos tipos que ya han sido presentados. Sin embargo, debe tenerse en cuenta que la precisin del

16

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

estudio basal depender del tipo de intervencin o problema que el proyecto o programa plantee. As, por ejemplo, en intervenciones para mejorar la nutricin, disminuir la morbilidad, aumentar los ingresos y otras que impliquen cambios precisos en variables cuantitativas, la lnea basal debe elaborarse sobre muestras probabilsticas que permitan estimados precisos del punto de partida. De lo contrario, ser imposible estimar los resultados de la intervencin. Resumiendo, sin lnea de base ser muy difcil medir los resultados y el impacto del proyecto y, por lo tanto, aprender de errores y aciertos. La lnea de base debe ser un componente de toda intervencin social.

b) Evaluacin Intermedia Tambin denominada Lnea de Corte o de Medio Trmino, se realiza durante el perodo de ejecucin del proyecto. Permite revisar la implementacin o desarrollo de una determinada accin (Programa o Proyecto), con el propsito de analizar su eficiencia operacional de tal modo de poder programar o reprogramar de acuerdo a los resultados del anlisis. Su nfasis se centra en los procesos que forman su dinmica global y tambin en los factores que facilitan o dificultan el desarrollo y funcionamiento del proyecto. Este tipo de evaluacin se hace cargo de la hiptesis de que todo conjunto social es modificado cuando se estimula externamente, de all que sea necesario lograr tener un cmulo de informacin suficientemente poderosa como para cambiar el proyecto de acuerdo a las necesidades que el conjunto social intervenido va requiriendo. La desventaja de este tipo de evaluacin es que en general se debe contar con mucho recursos tanto para el monitoreo como para modificar el proyecto inicial y por otro lado, suele suceder que el proyecto final resulta muy distinto del proyecto inicial que en general, y que no es posible cuantificar sus resultados, pero por otro lado, no es posible hacer ningn tipo de apreciacin que no sea que el proyecto implementado respondi a las necesidades detectadas en la poblacin objetivo.

c) Evaluacin Final Tambin llamada Evaluacin de Cierre, Fin de Proyecto o Terminal; se realiza al concluir la ejecucin o antes de iniciar una fase complementaria del proyecto. Sus finalidades son: Valorar el logro de los resultados generales del proyecto en trminos de eficiencia, productos, efectos e impacto; y Obtener enseanzas aplicables en la planificacin futura, es decir, para el diseo o formulacin, la evaluacin ex ante, la ejecucin y el seguimiento o evaluacin de futuros proyectos.

17

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Despus del Fin del Proyecto a) Evaluacin Ex-Post Tambin denominada Evaluacin de Impacto, se realiza algunos aos despus de terminado el proyecto, cuando se prev que sus actividades habrn producido todo su impacto. Las finalidades son: Valorar el logro de los resultados generales del proyecto, en trminos de eficiencia, productos, efectos e impacto, y Obtener enseanzas aplicables en la planificacin futura, es decir, para el diseo o formulacin, la evaluacin ex ante, la ejecucin y el seguimiento y evaluacin de las actividades de desarrollo por realizarse en el futuro Hay al menos dos razones importantes para realizar evaluaciones ex post: muchas de las repercusiones duraderas no sern visibles cuando se concluya el proyecto, y los impactos detectados en la evaluacin final pueden haber resultado transitorios.
Tipos y Momentos de una Evaluacin

D. Etapas de un Proceso de Evaluacin Todo proceso de evaluacin trascurre por cuatro fases o etapas, en las cules se va definiendo la metodologa, las tcnicas e instrumentos a utilizarse, la planificacin operativa y la mejor manera de comunicar los resultados; proceso que tambin define el detalle que debe considerar todo plan de trabajo, dependiendo del tipo de evaluacin al cual nos enfrentamos.

18

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

a) Inicial o Preparatoria Tambin conocida como Gabinete, es la etapa en la cual se define la metodologa que se seguir para realizar una determinada evaluacin; esta etapa es especialmente importante cuando se trata de una Lnea de Base, dado que siendo la evaluacin inicial, la que define el estado situacional de los indicadores de un proyecto, es la que marca la metodologa sobre la cual las dems evaluaciones que se realicen en el mismo programa o proyecto debern seguir. Una de las caractersticas de todo proceso de evaluacin es su rigurosidad cientfica, razn por la cual para poder obtener datos confiables y comparables, estos deben ser obtenidos bajo las mismas condiciones metodolgicas. En esta etapa tambin se define las tcnicas e instrumentos a utilizar en el recojo de informacin; tambin se construyen y validan los instrumentos seleccionados, dejando todo listo y previsto para el trabajo de campo. La capacitacin de los encuestadores y/o facilitadores que se utilicen para la aplicacin de los instrumentos de recojo de informacin, tambin es incluida en esta etapa, tomando mucho cuidado en ello, por lo cual se debe plantear los tiempos necesarios para que dichos procesos de capacitacin puedan realmente transferir los conocimientos necesarios para el recojo de la informacin, tomando en consideracin que lo ms valioso dentro de todo proceso de evaluacin es la calidad de la informacin que recogemos. b) Trabajo de Campo La cual consiste bsicamente en la aplicacin de las tcnicas e instrumentos a la poblacin objetivo de un proyecto. Es la etapa ms importante de todas, porque es un momento que no se podr repetir, principalmente por los costos en esfuerzo y econmicos que representa un trabajo de campo; en ese sentido, la operacionalizacin de la metodologa disea para el proceso de evaluacin debe estar correctamente planificada, inclusive considerando imprevistos que siempre ocurren en la implementacin de cualquier trabajo. En esta etapa es importante la supervisin del equipo evaluador, as como a los encuestadores y/o facilitadores contratados para la aplicacin de los instrumentos; debemos cuidar que los datos que se recojan sean puros y libres de cualquier contaminacin o sesgo en la informacin, por ello reiteramos que la capacitacin de los encuestadores y/o facilitadores es importante, as como la vigilancia y control durante todo el proceso de recoleccin de datos. c) Procesamiento y Anlisis de la Informacin Es la etapa en la cual los datos recogidos en campo sufren un proceso de digitalizacin, sistematizacin y procesamiento, utilizando para ello el apoyo generalmente de un software; sta fase es tambin de mucho cuidado, porque implica la revisin de todos los datos, su estandarizacin y clculo, afn de poder obtener los valores correspondientes a cada uno de los indicadores de un programa o proyecto.

19

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

En esta etapa se definen las correlaciones entre las diferentes variables identificadas, as como la generacin de cuadros y grficos que permitirn el posterior anlisis de los resultados. d) Presentacin y Comunicacin de Resultados Una vez obtenido los resultados y realizado el anlisis de los mismos, es conveniente no solo realizar el reporte a las instancias que demandan dicha informacin, sino tambin comunicarlo hacia los propios participantes de un programa o proyecto, con la finalidad de que ellos tambin puedan sentirse involucrados en el proceso y reconocer su estado inicial, si se tratase de una Lnea de Base, o su estado de avance, si se tratase de alguna evaluacin intermedia, final o de impacto. E. La Evaluacin de Programas y Proyectos Sociales La evaluacin de Programas y Proyectos se est configurando desde hace varias dcadas como un campo profesional y acadmico de primer orden y de clara utilidad prctica, reconocindose la necesidad de valorar las intervenciones con el fin no slo de conocer mejor la propia accin, sino tambin para mejorar los programas y las polticas, rendir cuentas sobre los mismos y dar luz sobre acciones futuras. El considerable volumen econmico que impulsan los programas de accin ha convertido a la Evaluacin de Programas y Proyectos en un componente de total relevancia dentro de todo ciclo de intervencin social. Se han trasladado los conocimientos adquiridos en el laboratorio al mbito social, implementndolos en la prctica con rigor metodolgico y comprobndose la validez de tales hallazgos. La evaluacin trata de contribuir a la resolucin de problemas sociales, sintetizando los logros de programas anteriores, ofreciendo retroalimentacin para mejorar las operaciones del programa y probando ideas para nuevos programas o nuevos aspectos que puedan ser aadidos a los programas ya existentes. La evaluacin es claramente multisectorial y multidisciplinar, aunque se refiere principalmente a programas de bienestar social. Un programa se halla formado por un conjunto heterogneo de acciones, a veces con una estructura difusa, cuyo objetivo es el de resolver algn problema que incumbe a los sujetos (usuarios o beneficiarios) y, una vez fijadas las necesidades a cubrir mediante un anlisis de necesidades, la evaluacin de programas consiste en una aplicacin de procedimientos de investigacin social para el enjuiciamiento o anlisis sobre el mrito, valor o eficacia de acciones humanas concretas implantadas en la realidad social . La evaluacin de programas implica una cadena de toma de decisiones que se inicia con el inters por los objetivos establecidos basndose en las necesidades detectadas y evaluadas de acuerdo con alguno de los modelos existentes al efecto y se concreta con la supuesta relevancia del impacto esperado de las actividades programadas, de forma que se produzca un cambio efectivo en la direccin deseada con el mnimo costo posible. Entre los nfasis ms recientes se destaca que en el diseo de los proyectos se tenga en cuenta su evaluabilidad posterior y se desarrollan metodologas especficas con este fin. Se resalta tambin la conveniencia de adoptar enfoques

20

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

metodolgicos multidimensionales, que tengan en cuenta todos los datos disponibles y el conocimiento, las perspectivas y los valores de todos los involucrados. La Evaluacin de Programas y Proyectos se encuentra en pleno proceso de expansin, lo cual queda demostrado por el hecho de su veloz crecimiento e inters despertado, como se puede comprobar en la gran cantidad de publicaciones e incluso monografas peridicas, la organizacin de congresos de mbito nacional e internacional, la imparticin de programas de diplomados, maestras y doctorado especficos, la constitucin de redes y sociedades; as como la puesta en marcha de proyectos de gran envergadura respaldados por instituciones pblicas y privadas de los pases ms desarrollados. Aunque este campo se ha desarrollado ms en otros pases, en la actualidad y de forma creciente se reconoce su necesidad y su utilidad, y se est demandando actividad especializada en la mayora de los sectores. Sin embargo, como en todo mbito incipiente, todava existe una falta de profesionales, equipos y unidades tcnicas especializadas. La evaluacin es el proceso de determinar si los programas o proyectos, o ciertos aspectos de los programas o proyectos, son apropiados, adecuados, efectivos y eficientes y, si no, cmo hacerlos as. Adems, la evaluacin muestra si los programas o proyectos tienen beneficios inesperados o si crean problemas inesperados. La evaluacin es mucho ms fcil de lo que se cree. Como en muchas tareas, la clave del xito es la preparacin. Los logros de un proyecto, y la facilidad con la que se pueden evaluar, dependen directamente del esfuerzo puesto en el diseo y puesta en marcha del proyecto. En resumen, tanto el por qu se evala (intenciones) como el para qu se evala (uso de los resultados) determinarn el tipo de evaluacin que se utilice. Alguna de las respuestas a las cuestiones planteadas son: Para aprender a mejorar en los procesos (desarrollo) Para comprobar si se han conseguido los objetivos planteados (eficacia) Para saber si el uso de los recursos humanos y materiales es el adecuado (eficiencia) Para sacar conclusiones y mejorar (decisin y mejora) Adems evaluar un programa o proyecto implica: Tener en cuenta a los destinatarios de todos los proyectos. Tener claros los objetivos que han de conseguirse. Necesidad de saber lo que sucede, se ha de hacer visible para hacer su seguimiento. Tener preocupacin por los costos, tanto humanos como materiales, que conlleva un proyecto

21

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

1.2 Indicadores de Evaluacin

Los indicadores son un elemento clave en la construccin del objeto de evaluacin. Muchas de las dimensiones y preguntas que se utilizan en evaluacin derivan en indicadores especficos que permiten la observacin de los hechos a los que esas dimensiones y preguntas hacen referencia. Una operacin importante, que tambin forma parte del proceso de construccin del objeto de evaluacin, es la revisin de los indicadores inscritos en el diseo de los proyectos. Esta revisin debe girar en torno a interrogantes como las siguientes: en qu medida lo que se hace (prctica real) corresponde a lo previsto en objetivos (propsitos / resultados) y estrategias (acciones)? De ser as, los indicadores formulados permiten observar integralmente los cambios y las acciones previstas?, es necesario reformularlos, al menos parcialmente?, es necesario complementarlos con la formulacin de otros indicadores? De no ser as, cules de los indicadores formulados resultan an pertinentes?, qu nuevos indicadores se tendra que formular?, para qu hechos o dimensiones? Lo que se debe buscar es un nivel de coherencia entre las dimensiones priorizadas para la observacin de los hechos y las preguntas e indicadores formulados para realizar esa observacin. A. El Marco Lgico La Metodologa del Marco Lgico es una de las principales herramientas ms difundidas y utilizadas en el diseo de proyectos de desarrollo, resaltando su importancia en la gestin de cualquier proyecto; sta metodologa fue desarrollada a comienzos de los aos setenta por Leon Rossenberg y Lawrence Posner para la Agencia de Estados Unidos para el Desarrollo Internacional (USAID) y permite una clara e integral identificacin y formulacin de proyectos, al mismo tiempo que tambin permite un adecuado monitoreo y evaluacin de los mismos; sta metodologa, en principio, es una simple tabla de doble entrada, que se presenta como una matriz de cuatro columnas por cuatro filas y que permite el registro de 16 proposiciones primordiales sobre un proyecto predeterminado; ofreciendo, por lo tanto, un resumen grfico del contenido de un proyecto. Las razones fundamentales que dieron origen al Marco Lgico se encuentran relacionadas a tres importantes problemas que normalmente se reconocan en los proyectos de desarrollo: Una Planificacin con muchas Imprecisiones; en donde se poda observar proyectos con mltiples objetivos, incluyendo resultados que no se relacionaban claramente con sus propias actividades; la carencia de una visin clara de los objetivos y metas que el proyecto debera lograr, desencadenando como consecuencia muchas limitaciones y dificultades a los evaluadores en el momento de realizar mediciones objetivas. Una Ambigua Responsabilidad Gerencial; en donde comnmente muchos gerentes de programas y proyectos se basan en la premisa de que todo se justifica en funcin de los beneficios entregados a la poblacin, tambin se observa la resistencia a ser considerados responsables del impacto del proyecto, encontrando dificultades para diferenciar de aquello de lo que son directamente responsables de aquellos factores del entorno socioeconmico,

22

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

poltico y natural con potenciales repercusiones sobre el desempeo del proyecto. Una Evaluacin Controvertida; en el sentido de evidenciar la carencia de metas precisas y los frecuentes desacuerdos acerca de lo que en realidad es el proyecto, donde normalmente afectan los criterios que deben utilizar los evaluadores, ocasionando por consiguiente que utilicen sus propios criterios para diferenciar los aspectos positivos y negativos. Una de las grandes ventajas que ofrece el Marco Lgico es que permite satisfacer tres caractersticas bsicas de calidad para todo proyecto de desarrollo: Consistencia, Viabilidad y Evaluabilidad; ofreciendo as mismo: El aporte de una terminologa homognea que facilita la comunicacin y reduce las ambigedades; El aporte de un formato que permita llegar a acuerdos precisos acerca de la naturaleza y propsito de un proyecto, bajo la mirada de todos sus actores (entidad financiadora, el beneficiario y el ejecutor). El aporte de elementos de anlisis comunes a todos los actores de un proyecto, que permita la formulacin del mismo, as como la elaboracin de informes. El aporte de un enfoque tcnico de trabajo, en todos sus aspectos, lo cual permite reducir los documentos y mejorar la calidad de los mismos. El aporte de informacin para organizar y construir de manera acertada y coherente el plan operativo y financiero del proyecto. El aporte de informacin bsica para un adecuado monitoreo y evaluacin del proyecto. El aporte de una estructura bsica, que resume y consolida en una sola matriz, informacin precisa de un determinado proyecto. La metodologa ofrece una adecuada organizacin de la informacin de un proyecto, as como la consolidacin de sus diferentes componentes en una misma matriz; dentro del cual, los recursos humanos y materiales forman parte de los insumos bsicos para la ejecucin de las actividades y tareas, los cuales tendrn sus efectos sobre determinados resultados; hasta ah constituye el proyecto en s y se encuentra bajo el control y responsabilidad de los ejecutores. Los resultados alcanzados tendrn sus efectos sobre la poblacin directamente beneficiada, los cuales son detallados en el propsito y la finalidad del proyecto. Evolucin Histrica La trascendencia alcanzada por la USAID a partir de 1969, al desarrollar una cartera de proyectos exitosos a partir de la utilizacin de la metodologa del Marco Lgico, promovi su utilizacin por otras agencias financieras de desarrollo, como fue el caso de la Agencia Alemana de Cooperacin Tcnica (GTZ), quines en los

23

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

aos setenta, pusieron en marcha la adopcin de la metodologa del Marco Lgico en una determinada cartera de proyectos. Hacia el ao 1981, tomando en consideracin la experiencia exitosa alcanzada en sus proyectos, la GTZ realiz una fase piloto a partir de las lecciones aprendidas, para lo cual desarroll el mtodo ZOPP, cuyo significado en espaol es Planificacin de Proyectos Orientada a Objetivos, utilizando como base la matriz del marco lgico. Formalmente, el ZOPP fue introducido provisionalmente en 1983 y en 1987 como norma obligatoria y parte integral del ciclo de sus proyectos. La Metodologa ZOPP incorpor nuevos elementos, como los anlisis de participantes, anlisis de problemas, anlisis de objetivos y anlisis de alternativas; su difusin fue realizada bajo la dinmica de talleres con participacin de equipos multidisciplinarios donde tomaban parte GTZ, las organizaciones contrapartes y los grupos beneficiarios, lo que ms tarde constituy una metodologa participativa de diseo de proyectos. Luego de la adopcin del Marco Lgico y su mejoramiento a travs de su versin llamada ZOPP, por parte de GTZ, sta metodologa se difundi ampliamente por todo el mundo, siendo adoptado por la mayora de las agencias del sistema de las Naciones Unidas (OIT, PNUD, OPS, OMS, FAO, etc.) y la Unin Europea. Sin embargo, hacia la segunda mitad de los aos 90, an algunas instituciones internacionales como el Banco Interamericano de Desarrollo (BID), no adoptaban el enfoque del Marco Lgico; sin embargo fue por el ao 1996, frente a una evaluacin institucional a raz de una necesaria reposicin de su capital social, donde debi incorporar el enfoque del Marco Lgico como un instrumentos de gestin de sus ciclos de proyectos. Es as, que desde ese momento todos los proyectos financiados por el BID son formulados y evaluados en base a dicha metodologa. Desde Agosto de 1977, tambin el Banco Mundial, uno de los ms grandes financiadores de proyectos sociales del mundo, incorpor el Marco Lgico en sus procesos de preparacin, monitoreo y evaluacin de proyectos. Matriz de Marco Lgico El Marco Lgico es presentado como una matriz de doble entrada: una tabla de cuatro columnas y cuatro filas.

24

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

ESTRUCTURA DEL MARCO LGICO

Resumen Narrativo de Objetivos FIN El Fin es una definicin de cmo el proyecto o programa contribuir a la solucin del problema (o problemas) del sector.

Indicadores Verificables Objetivamente Los indicadores a nivel de Fin miden el impacto general que tendr el proyecto. Son especficas en trminos de cantidad, calidad y tiempo. (grupo social y lugar, si es relevante).

Medios de Verificacin

Supuestos

Los medios de verificacin son las fuentes de informacin que se pueden utilizar para verificar que los objetivos se lograron. Pueden incluir material publicado, inspeccin visual, encuestas por muestreo, etc. Los medios de verificacin son las fuentes que el ejecutor y el evaluador pueden consultar para ver si los objetivos se estn logrando. Pueden indicar que existe un problema y sugieren la necesidad de cambios en los componentes del proyecto. Pueden incluir material publicado, inspeccin visual, encuestas por muestreo, etc.

Los supuestos indican los acontecimientos, las condiciones o las decisiones importantes necesarias para la "sustentabilidad" (continuidad en el tiempo) de los beneficios generados por el proyecto.

PROPSITO El Propsito es el impacto directo a ser logrado como resultado de la utilizacin de los Rsultados producidos por el proyecto. Es una hiptesis sobre el impacto o beneficio que se desea lograr.

Los indicadores a nivel de Propsito describen el impacto logrado al final del proyecto. Deben incluir metas que reflejen la situacin al finalizar el proyecto. Cada indicador especifica cantidad, calidad y tiempo de los resultados por alcanzar.

Los supuestos indican los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que el proyecto contribuya significativamente al logro del Fin.

RESULTADOS Los Resultados son las obras, servicios, y capacitacin que se requiere que complete el ejecutor del proyecto de acuerdo con el contrato. Estos deben expresarse en trabajo terminado (sistemas instalados, gente capacitada, etc.) ACTIVIDADES Las Actividades son las tareas que el ejecutor debe cumplir para completar cada uno de los Resultados del proyecto y que implican costos. Se hace una lista de actividades en orden cronolgico para cada Componente.

Los indicadores de los Resultados son descripciones breves, pero claras de cada uno de los Resultados que tiene que terminarse durante la ejecucin. Cada uno debe especificar cantidad, calidad y oportunidad de las obras, servicios, etc., que debern entregarse.

Este casillero indica dnde el evaluador puede encontrar las fuentes de informacin para verificar que los resultados que han sido contratados han sido producidos. Las fuentes pueden incluir inspeccin del sitio, informes del auditor, etc.

Los supuestos son los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que los Resultados del proyecto alcancen el Propsito para el cual se llevaron a cabo.

Este casillero contiene el presupuesto para cada Resultado a ser producido por el proyecto.

Este casillero indica donde un evaluador puede obtener informacin para verificar si el presupuesto se gast como estaba planeado. Normalmente constituye el registro contable de la unidad ejecutora.

Los supuestos son los acontecimientos, condiciones o decisiones (fuera del control del gerente de proyecto) que tienen que suceder para completar los Resultados del proyecto.

25

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Principio Fundamental del Marco Lgico La Metodologa del Marco Lgico se fundamenta en la relacin de causa a efecto, base de la lgica y como ella existe desde que Aristteles estableciera sus cimientos filosficos y cientficos. El establecimiento ms estrecho de los vnculos de causa a efecto entre los objetivos y entre stos y los dems componentes ofrece una mayor seguridad de la lgica coherente de un proyecto; por ello, cada proyecto que se desarrolle empleando la metodologa del marco lgico debe explicar claramente la relacin de causa a efecto comprendida en l. As tenemos que: Las relaciones de causa y efecto entre los distintos niveles de objetivos (relaciones de Actividades con Resultados, de Resultados con el Propsito y de Propsito con el Fin) describen una de las condiciones necesarias para que un proyecto sea exitoso. Las relaciones de causa y efecto entre los objetivos y los supuestos aclaran la probabilidad de que el proyecto tenga xito, bajo un contexto social y general dados. En el contexto de la metodologa del Marco Lgico, para la obtencin de un determinado objetivo existen dos tipos de condiciones: Las condiciones necesarias, que se establecen a lo largo de la columna de objetivos. Las condiciones suficientes, que se establecen en la columna de supuestos. As, por ejemplo, para el mejoramiento del ingreso de los agricultores se requiere, por un lado, un incremento de la productividad agropecuaria (condicin necesaria) y, por otro, la evolucin favorable del mercado de consumo de productos agropecuarios (condicin suficiente). La primera condicin, en el Marco Lgico, aparecer en la columna de objetivos; en tanto que la segunda ser parte de la columna de supuestos. El marco lgico permite una visin rpida de las principales hiptesis de cambio que sustentan un proyecto expresadas en las relaciones de causalidad que existen entre los distintos casilleros de la matriz. Lgica Vertical El Marco Lgico permite apreciar la causa y el efecto entre los distintos niveles de objetivos del proyecto, sta es su lgica vertical, como tal debe observarse que: Las Actividades especificadas para cada Resultado son las necesarias para producir el Resultado; Todos y cada uno de los Resultados son necesarios para alcanzar el Propsito del proyecto; No falta ninguno de los Resultados necesarios para lograr el Propsito del proyecto; Si se logra el Propsito, el proyecto contribuir al logro del Fin;

26

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

El Fin es una respuesta a un problema importante en el mbito del proyecto.

La Lgica Vertical, sin embargo, no implica necesariamente que un solo proyecto incluya todos los Resultados necesarios para alcanzar determinados propsitos. Generalmente la obtencin de un objetivo requiere de muchos resultados, los cuales no pueden ser incluidos totalmente en un solo proyecto. En tal caso, los resultados no incluidos en el proyecto, se asumen como supuestos, en el entendido de que ellos sern incorporados en los proyectos de otras entidades. Lgica Horizontal El Marco Lgico, por otro lado, permite establecer las relaciones de causa a efecto entre los objetivos del proyecto y los factores del entorno siendo, stos por definicin de carcter no controlable, de modo que se garantice una adecuada evaluacin de la viabilidad del proyecto, sta es su lgica horizontal. Mientras la lgica vertical garantiza la coherencia interna del proyecto, la lgica horizontal asegura su viabilidad en el contexto global del mbito pertinente del proyecto.

27

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Los supuestos son proposiciones en las que se establecen los factores externos que deben existir para lograr el prximo nivel de la jerarqua de objetivos. Cuanto menor sea la incertidumbre de que ciertos supuestos sean vlidos, mayor ser la probabilidad de xito. Sin embargo, dado que slo despus de ejecutado el proyecto quedarn despejadas todas las dudas respecto a la validez del mecanismo de solucin al problema social implcito en el proyecto, a dicho silogismo se le llama con propiedad argumento o hiptesis de desarrollo. Adicionalmente, por debajo de las actividades, suelen considerarse a las condiciones previas (previas al desembolso de fondos por parte de la entidad financiadora del proyecto), que junto con los insumos deben permitir la realizacin de las actividades del proyecto. B. Los Indicadores de Evaluacin Un indicador es una representacin cuantitativa que mide el cambio de una variable con respecto a otra y que comparada con periodos anteriores, productos similares o una meta o compromiso, permite valorar el desempeo. Es por medio de indicadores que se captura, procesa y analiza la informacin necesaria para monitorear los avances y retrocesos en el logro de los objetos de un proyecto. Razn por la cual, todos los objetivos deben tener asociado al menos un indicador que de cuenta de su cumplimiento. Un indicador es una declaracin medible de los objetivos y actividades de un programa o proyecto. Una vez que se han definido los objetivos y actividades del mismo, se construyen indicadores (mediciones para cada objetivo y actividad). Algunos proyectos pueden tener un indicador nico, otros mltiples indicadores; sin embargo, es preferible incluir varios indicadores para capturar mltiples dimensiones del proyecto; as mismo, se debe seleccionar cuidadosamente un nmero manejable de indicadores que reflejen verazmente los objetivos y actividades del proyecto, y las prioridades de la evaluacin. Los indicadores se pueden expresar de diversas formas. Los indicadores numricos se expresan en conteos, porcentajes, proporciones, tasas o promedios. Para efectos de evaluacin, comnmente es mucho ms informativo generar indicadores como porcentajes, coeficientes y proporciones. Estas medidas permiten ver lo que se logr en relacin al nmero total posible, mientras los conteos simplemente dan una idea del nmero de eventos que ocurrieron, o el nmero de personas alcanzadas, sin indicar el nmero total posible. Los indicadores no numricos se expresan en palabras. Tambin se les llama cualitativos o categricos. Estos indicadores usualmente indican la presencia o ausencia de un evento o criterio. Los indicadores no numricos tambin se pueden usar para resumir descripciones o evaluar calidad o cobertura. Esto se puede hacer creando un ndice que consiste en una lista de asuntos a los que se le asigna un nmero a cada uno, que luego se suman para obtener una puntuacin. Los indicadores resumen la informacin necesaria para efectuar la comparacin entre lo planeado y lo ejecutado, y hacen que esta comparacin sea objetiva. Despus de haber fijado los objetivos, el siguiente paso es identificar los indicadores relevantes y establecer las metas.

28

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Dado que rara vez un objetivo puede ser medido cabalmente a travs de un solo indicador, por lo general se requieren varios indicadores, tanto intermedios como finales, para medir el alcance en el logro de un objetivo. A este respecto, cabe clarificar la relacin conceptual entre los objetivos, los indicadores y las metas: Los objetivos son formulados en trminos cualitativos con expresiones tales como: eliminar la pobreza extrema; mejorar el nivel de habilidades empresariales, generar nuevos puestos de trabajo, elevar el nivel de ingresos, etc. Los indicadores son las variables que se utilizan para medir el progreso hacia el logro de los objetivos. Son su unidad de medida. Por ejemplo, el avance en la erradicacin de la pobreza extrema podra medirse a travs del nmero de personas con necesidades bsicas insatisfechas o del nmero de personas con un ingreso menor a 1 dlar diario. Las metas son los niveles cuantificables de los indicadores que una organizacin o un pas desea alcanzar en un momento dado. Son los valores a alcanzar con la intervencin: representan en trminos cuantitativos la situacin con proyecto. Por ejemplo: reducir la tasa de analfabetismo al 3% en el 2005. C. Atributos de los Indicadores La mayora de los sistemas de monitoreo y evaluacin de programas y proyectos sociales, como son la matriz de marco lgico, anlisis costo efectividad y otras alternativas, se basan en la formulacin de indicadores ya sean de proceso, resultados, impactos y otras nomenclaturas posibles de considerar. Del mismo modo, la definicin de indicadores es una herramienta que se utiliza frecuentemente para el control de la gestin de los programas sociales. En otras palabras, si bien los indicadores no constituyen de por s solos el sistema de monitoreo y evaluacin de los programas y proyectos sociales, en la prctica, los mecanismos de evaluacin suelen basarse en agrupaciones de indicadores o constituyen la primera etapa del sistema de evaluacin. Por lo tanto, es importante reconocer cules son los atributos bsicos que todo buen indicador debe tener: La Calidad se refiere a la variable empleada; por ejemplo, tasa de mortalidad infantil, ingreso per cpita, tasa de analfabetismo, hectreas de tierra reforestada, casos de violencia familiar atendida, etc. La Cantidad se refiere a la magnitud del objetivo que se espera alcanzar, por ejemplo reduccin de la tasa de mortalidad infantil del 40 por mil al 20 por mil; incremento del ingreso per-cpita en 10%; reduccin de la tasa de analfabetismo del 8% al 5%; etc. El Tiempo se refiere al periodo en el cual se espera alcanzar el objetivo, y usualmente est vinculado a la duracin del proyecto. Por otra parte, no todos los indicadores tienen el mismo valor. En teora, ello depende de su capacidad de reflejar lo mejor posible la realidad, ms o menos compleja, que se quiere conocer; se deber llegar posiblemente a un compromiso segn la dificultad que se encuentre en establecerlas.

29

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Los indicadores se caracterizan normalmente por un determinado nmero de propiedades que permiten apreciar este valor, por lo menos en un contexto dado. Es evidente que no todos presentan todas las propiedades de un buen indicador, por lo que, al hacer la seleccin, se deber decidir a cules dar prioridad. Caractersticas Intrnsecas a) Validez: es evidentemente la ms importante. Requiere que el indicador proporcione correctamente una medida real y la ms directa posible del fenmeno considerado. En el plano conceptual, depende sobre todo de que se haya definido o no claramente el fenmeno que se trata de medir y de la capacidad de medirlo de forma directa. Es esencial que haya un consenso entre los usuarios sobre lo que se quiere que un indicador diga o no diga. Esto plantea problemas debido a que el aspecto que se trata de caracterizar deriva de un concepto pluridimensional, difcil de medir de una manera global. Es necesario sobre todo que haya consenso sobre el nivel y el significado de los posibles puntos de corte de la clasificacin. La pertinencia en el contexto de la utilizacin prevista debe basarse en este caso en un anlisis local ampliamente compartido por las diversas partes interesadas. Por otra parte, si bien el indicador describe correctamente un fenmeno, cualquier sesgo sistemtico en la recopilacin de la informacin correspondiente, a causa de los mtodos o los instrumentos de medicin utilizados, afectar a su validez. b) Objetividad: corresponde a la capacidad del indicador de no ser influenciado por la persona o el instrumento que mide los datos, de modo que el valor obtenido ser el mismo cualquiera que sea el operador, el lugar o el instrumento de medicin. Toda imprecisin debida a los mtodos de medicin, as como toda variabilidad de un da para otro de un mismo fenmeno, pueden mermar la objetividad del indicador. Ello determinar un aumento de la varianza y la necesidad de trabajar sobre muestras ms grandes para detectar correctamente el nivel del indicador y sus variaciones en el tiempo. El sesgo de subjetividad representa un riesgo tpico de los indicadores que derivan de encuestas cualitativas, respecto de los comportamientos o las opiniones de los hogares, por ejemplo, ya que la personalidad o la tcnica de la persona que realiza la encuesta puede influenciar la naturaleza de las respuestas. Por otra parte, las personas que responden a un cuestionario o a una observacin pueden tener la tentacin de modificar espontneamente sus respuestas o sus comportamientos con arreglo al sentido normativo. La objetividad garantiza la posibilidad de reproducir de forma comparable la medicin del indicador a intervalos repetidos, lo cual es esencial para una evaluacin o un seguimiento de la situacin. c) Sensibilidad: indica la capacidad de localizar a todas las personas o grupos afectados por un riesgo o una determinada caracterstica. Una caracterstica complementaria es la especificidad, que se refiere a la capacidad de localizar a las personas no afectadas por el riesgo o la caracterstica en cuestin.

30

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

La sensibilidad se mide concretamente por la relacin de las personas seleccionadas por el indicador respecto al conjunto de personas que son objeto de la caracterizacin; la especificidad se mide en cambio por la relacin de las personas no seleccionadas por el indicador respecto al conjunto de personas que no poseen la caracterstica que se trata de poner en evidencia. La sensibilidad da as una idea del grado de buena o mala clasificacin en relacin con la utilizacin de un determinado indicador. No todos los indicadores se prestan a una medicin de la sensibilidad. Tal medicin se aplica fundamentalmente a los indicadores que se basan en variables con umbrales. Es necesario disponer adems de un indicador de referencia (Gold Standard). No siempre es posible disponer de elementos que permitan calcular rpidamente estos parmetros (sensibilidad, especificidad); en la prctica, se hace referencia a los datos publicados en la literatura para encontrar aqullos que ms se acercan a los umbrales elegidos y a las prevalencias previstas. Un aspecto particular de la sensibilidad es la capacidad de un indicador de sealar el cambio, no ya para describir o identificar como objetivo una categora particular de personas como se ha hecho antes, sino para detectar todo mnimo cambio producido en el fenmeno descrito, de manera significativa. Si, en general, la sensibilidad es importante, a la hora de elegir los indicadores, para establecer una lnea de base y determinar los grupos destinatarios a los cuales dirigir las actividades, esta capacidad de sealar el cambio es fundamental para toda evaluacin o seguimiento de las tendencias. Caractersticas Operativas a) Disponibilidad: es un aspecto que se ha de considerar en primer lugar. Representa la posibilidad prctica de disponer del indicador en cuestin, sea que se elabore de forma habitual o que se haga recopilar concretamente los datos correspondientes. Ello requiere ante todo la posibilidad de recopilar dichos datos por un medio cualquiera: hay, de hecho, indicadores descritos como ideales, pero que nadie sabe en la prctica cmo recopilar. Por el contrario, como resultado de conferencias internacionales importantes y de los programas que han derivado de ellos en los dos ltimos decenios, muchos de los indicadores requeridos se recopilan ya de forma sistemtica y regular en el marco de tales programas, por lo que puede disponerse de ellos muy fcilmente. b) Fiabilidad: depende de la calidad de las fuentes de informacin, es decir, de la exactitud y precisin de los datos y de su representatividad (muestreo) para la poblacin destinataria. Afecta a la utilizacin del indicador no solamente en la fase de descripcin, sino tambin en la de seguimiento de la situacin. Es esencial, a este respecto, para determinar la fiabilidad, una indicacin de la calidad de las medidas, del muestreo y del intervalo de confianza del resultado. c) Simplicidad de recopilar los datos necesarios para obtener el indicador. De ello depende, en parte, la rapidez y la frecuencia con las cuales se podr medir regularmente este indicador.

31

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

El problema del costo no se plantea en realidad cuando se dispone normalmente de los datos correspondientes recopilados habitualmente por un servicio. Pero cuando hay que ir expresamente a recoger los datos necesarios para la elaboracin del indicador para fines de evaluacin o seguimiento, hay que considerar el aspecto del costo; ste depender de la dificultad y de la complejidad de las mediciones, de la accesibilidad de los objetos o las personas objeto de la medicin, de la frecuencia de la recopilacin y de la complejidad del anlisis posterior. Es necesario examinar a fondo la importancia de un indicador antes de decidir la recopilacin regular de los datos en cuestin y considerar el costo correspondiente; pero deber considerarse tambin en relacin con el costo de la no-recopilacin para el proyecto. Rara vez se dispone, sin embargo, de informacin sobre los costos de recopilacin de datos correspondientes a un indicador para cada situacin, y son, por otra parte, difciles de determinar. Las estimaciones se basan generalmente en el costo de diferentes tipos de encuestas realizadas en el pas, teniendo en cuenta que una encuesta permite a menudo recoger al mismo tiempo datos sobre varios indicadores. Fuentes de Informacin Los indicadores se pueden clasificar esquemticamente, segn el mbito en el que se establecen o se disponen, de la siguiente manera: a) Indicadores disponibles a Nivel Central: Pueden consistir en primer lugar en datos recogidos habitualmente de forma continua por los diferentes servicios administrativos o tcnicos para su propio uso o en el marco de sistemas de informacin. Estos indicadores se elaboran a partir de datos transmitidos por los servicios pblicos a este nivel; son a menudo representativos a nivel nacional, pero poco desglosados generalmente, en el mejor de los casos por regin, sector urbano/rural, o por sexo. Incluyen tanto indicadores de funcionamiento de los servicios como indicadores de la situacin o de los resultados de las medidas aplicables. Son en general fcilmente accesibles en los servicios competentes; estas fuentes disponen generalmente de series temporales muy tiles para deducir las tendencias a medio y largo plazo. No obstante, no siempre es posible realizar cruzamientos estadsticos entre estos indicadores, debido a que no provienen necesariamente de las mismas bases de datos y no son accesibles sino en forma relativamente agregada. Por otra parte, es tambin difcil de verificar la calidad de los datos originales. Por ltimo, aun cuando los datos se recopilen sobre una base frecuente (por ejemplo, informes mensuales), los tiempos de recuperacin y de anlisis pueden ser demasiado prolongados. Pueden consistir en indicadores establecidos a partir de datos recogidos peridicamente, de manera exhaustiva o sobre una amplia muestra representativa (por ejemplo, censo de la poblacin, encuestas nacionales sobre la situacin nutricional, y encuestas nacionales de ingresos y gastos de los hogares, etc.).

32

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Estos indicadores no son en general inmediatamente accesibles salvo en forma sinttica, no obstante, es bastante fcil programar nuevos anlisis de los datos correspondientes con los servicios competentes, con el fin de realizar cruzamientos estadsticos entre las numerosas variables recopiladas en un mismo momento en la misma muestra y elaborar as los indicadores complementarios o ms apropiados. Si bien estas encuestas se realizan en el mejor de los casos a intervalos muy distantes, pueden actualizarse mediante proyecciones razonables, sobre todo si se dispone adems de informacin sobre las tendencias en los sectores de inters, basada en datos recogidos habitualmente. Una categora particular es la que deriva de encuestas realizadas por organismos internacionales para diversos fines: encuestas demogrficas y de salud, sobre el nivel de vida de los hogares, sobre las dimensiones sociales del ajuste, sobre el seguimiento de la Cumbre Mundial para la Infancia, etc. Estas encuestas transversales se realizan directamente a nivel de hogares sobre muestras representativas a nivel nacional, pero de tamao variable; comprenden una amplia variedad de indicadores (en nmero, objetivos y calidades) y se repiten ahora con frecuencia. Si bien se realizan en zonas perifricas, se dispone y se utilizan generalmente a nivel central. Estas fuentes, que en principio son bastante fiables, se benefician de un nivel de anlisis avanzado que permite derivar elementos de vnculos causales relacionando los indicadores relativos al hogar entre s y con los indicadores individuales, sobre todo los relativos al estado nutricional. Constituye sin duda una fuente importante para el establecimiento de una lnea de base y el anlisis causal antes de emprender las intervenciones. b) Indicadores disponibles a Nivel Intermedio Estos indicadores se elaboran fundamentalmente a partir de datos recogidos habitualmente (de servicios administrativos locales, de autoridades de comunidades locales). Se transmiten generalmente (indicadores o datos brutos) a un rgano central y se remiten luego, despus de analizarlos, a las dependencias descentralizadas, con un grado de regularidad variable. A menudo se desglosan por distrito o municipio, pero no siempre son representativos, puesto que se refieren a menudo solamente a los usuarios de los servicios en cuestin. Se agrupan generalmente en las administraciones centrales de las regiones o de los distritos. Son sobre todo indicadores que se refieren a actividades que se prestan a una observacin regular, sea porque registran las actividades (indicadores de funcionamiento, de prestacin de un servicio), sea porque son necesarios para la adopcin de decisiones (previsin de cosechas, tasas de desempleo), o para fines de control (precios de los productos bsicos en los mercados, nmero de casos de enfermedades, etc.). No incluyen necesariamente indicadores de causas de los fenmenos registrados, ni son en principio indicadores cualitativos. Los indicadores recopilados en mbitos descentralizados deberan responder tanto a las necesidades de los usuarios de estos mbitos como de los usuarios del mbito central para la aplicacin y el seguimiento de programas. Si estos indicadores compilados regularmente no tienen ninguna utilizacin efectiva a nivel local y se destinan nicamente al mbito central nacional y, en

33

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

consecuencia, se corre el riesgo de que se degraden a lo largo del tiempo por falta de suficiente motivacin de los encargados de la recopilacin y transmisin. De hecho, las series de datos disponibles presentan a menudo lagunas, pero son, con todo, insustituibles para obtener una visin clara de la situacin a nivel regional o de distritos, as como de las tendencias a plazo medio. En general, su limitacin reside en su reducido grado de integracin de datos de diferentes sectores. c) Indicadores disponibles a Nivel Perifrico Algunos indicadores, particularmente los que se refieren a la vida de las comunidades o de los hogares y no afectan a las actividades de diferentes servicios del Estado, no son establecidos por tales servicios y, en cualquier caso, no se remiten a los servicios regionales o centrales. Provienen a veces de datos recopilados a intervalos irregulares por los servicios municipales o, ms a menudo, por organizaciones no gubernamentales para fines especficos relativos a sus esferas de actividad: salud, higiene, asistencia social, sector agrcola, etc. Las capacidades analticas fallan a menudo a este nivel, y puede que los datos brutos disponibles no hayan dado lugar a la produccin de indicadores tiles. Ser necesario por tanto fortalecer las capacidades analticas o realizar peridicamente encuestas por sondeo sobre estos datos para elaborar indicadores. Conviene tener un buen conocimiento de los registros locales y de su calidad para evitar prdidas de tiempo. A menudo ser necesario introducir nuevos procedimientos de recopilacin por los servicios perifricos, cuidando de no sobrecargarlos o desviarlos de su propio trabajo, o bien convendr proceder a realizar una recopilacin especfica de datos pertinentes por medio de encuestas en comunidades de aldea seleccionadas para el anlisis o la intervencin. Estas encuestas son indispensables para conocer la situacin y el comportamiento de las personas y de los hogares y evaluar su relacin con las polticas establecidas. En general, ofrecen una visin integrada de los problemas. Pueden tener el la finalidad de proporcionar elementos relativos a la situacin y el anlisis locales, destinados a confirmar el consenso de la poblacin y de los responsables respecto de la situacin y las medidas que han de adoptarse, y permitir tambin una evaluacin de sus efectos. Debiera hacerse hincapi en el aspecto participativo ms que en la precisin o la complejidad de los datos. Si se utilizan datos ya recogidos o si se realiza una nueva encuesta para fines de utilizacin a un nivel superior, es necesario comprobar el tamao y la representatividad de la muestra, y asegurarse de que los datos puedan vincularse a un conjunto ms general a partir de indicadores comunes recopilados en las mismas condiciones (metodologa, perodo de tiempo, etc.) y asegurarse de que permitirn en su caso un seguimiento regular (viabilidad de la recopilacin, transmisin regular de datos). Un aspecto fundamental a este respecto es la verificacin de la calidad de los datos.

34

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Antes de emprender una recopilacin especfica de datos, conviene elaborar una lista de indicadores (y/o de los datos brutos correspondientes) que puedan ser utilizados por los servicios a todos los niveles; no es raro constatar que se hubieran podido evitar determinadas encuestas si se hubieran conocido mejor los datos que hay ya a disposicin en diversas fuentes. Para encontrar esas fuentes de informacin tiles y valorar la calidad de los datos disponibles y su nivel de desglose, es oportuno a menudo conocer a fondo la gnesis y el funcionamiento del sistema de informacin subyacente. D. Criterios de Seleccin de Indicadores Los indicadores son mltiples y de caractersticas diferentes, y no siempre se puede asegurar la disponibilidad de datos correspondientes, y cualquier recopilacin activa est sujeta a restricciones. Es necesario hacer una seleccin de indicadores adaptada a las necesidades efectivas de los usuarios, los responsables de proyectos o los planificadores. Ello requiere disponer de un mtodo. Los elementos principales que orientarn la seleccin son: El uso de un modelo conceptual permanente que sirva para relacionar entre s la situacin, las intervenciones y los efectos previstos; Las caractersticas de los indicadores: cualidades y fuentes a disposicin; y La disponibilidad de una lnea de base.

a) Utilidad de un Marco Conceptual

Cualquier aplicacin de medidas se basa en principio en un anlisis de la situacin, en la comprensin de los factores que la determinan y en la formulacin de hiptesis sobre los programas y proyectos que pueden contribuir a mejorarla. La utilidad de elaborar tal modelo, aparte de ofrecer un cuadro de la concatenacin de fenmenos que determinan dicha situacin, est en que permite expresar en trminos cuantificables conceptos generales que, debido a su complejidad, no siempre se definen claramente. Por ejemplo, no basta caracterizar la seguridad alimentaria; sino que es necesario precisar a cul de las definiciones existentes se refiere, cules son los aspectos que interesan y los parmetros correspondientes. Evidentemente, no es tanto el diagrama final la cuestin importante sino el proceso por el que se ha elaborado. En la medida en que las relaciones entre todos los eslabones de la cadena de acontecimientos (o los elementos del flujo de datos segn el tipo de representacin) se hayan examinado paso a paso y argumentado con hechos que los respalden, la reflexin se adaptar a la situacin local y pasar a ser operativa. Se han elaborado metodologas para que este proceso resulte eficaz en el contexto de la planificacin, como en el caso del mtodo de planificacin por objetivos, que comprende varias fases: el anlisis de los problemas a partir de estudios anteriores, con el fin de identificar claramente el contexto inicial de los programas; la identificacin de opciones de intervencin posibles; la determinacin de los objetivos ms especficos de los programas; y, por ltimo, la elaboracin final de un marco lgico de conjunto que sirva de modelo de referencia para todas las partes interesadas. Durante este proceso de planificacin, se identificarn sucesivamente todas las actividades de los

35

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

asociados correspondientes, los medios necesarios y los indicadores de aplicacin y de evaluacin de los resultados. En trminos operativos, el establecimiento de un modelo conceptual permite determinar de manera coherente los diferentes tipos de indicadores utilizables a cada nivel. Tras determinar las actividades que habrn de emprenderse, se especifican los indicadores de situacin (grupo destinatario) o las causas que sern o no modificadas por estas actividades; se establecen luego los indicadores que reflejan el nivel o la calidad de las actividades realizadas. Por ltimo, se seleccionan los indicadores que reflejan los cambios obtenidos, sean o no resultados debidos al programa o proyecto. La identificacin de objetivos precisos permite seguir la evolucin de los indicadores de resultados no solamente con relacin a la situacin inicial sino tambin en trminos de consecucin de los objetivos establecidos.

b) Las Caractersticas de los Indicadores

Validez: es la primera caracterstica que ha detenerse en cuenta. Sucede muy a menudo que no se disponga del indicador ideal correspondiente o que sea difcil de recopilar. Ser necesario en tal caso buscar un indicador parecido, a menudo indirecto, y verificar atentamente el grado de su validez en el contexto en cuestin. Ello depender del objetivo preciso que se persigue. Se puede disponer a veces de estudios de validez localmente; en caso contrario se podr proceder a la realizacin de estudios especficos. La relacin entre dos variables, que permita basar un indicador sobre una de ellas ms que sobre la otra, puede variar en el curso del tiempo o en funcin de la aplicacin de un proyecto, lo cual se ha de tener en cuenta. Comparabilidad: debern tenerse en cuenta los aspectos de la contabilidad. Lo ideal sera utilizar los mismos indicadores siempre y en todas partes para poder beneficiarse de la experiencia comn respecto de la recopilacin y al anlisis, y realizar comparaciones directas. En la prctica, sin embargo, los conceptos sobre los indicadores ms idneos evolucionan constantemente con el progreso de los conocimientos, teniendo que confrontarse en consecuencia con el dilema sea de no poder realizar comparaciones con series ms antiguas de indicadores sea de no poder compararlos con los que se ha realizado en otras partes. La comparabilidad en el tiempo es evidentemente la caracterstica ms importante por lo que respecta a una evaluacin o seguimiento. De hecho, se prefieren los indicadores que, aunque no sean perfectamente idnticos, son comparables, es decir, proporcionan una informacin del mismo orden. No hay que ignorar, por tanto, el valor de los indicadores innovadores y potencialmente prometedores que poseen excelentes cualidades intrnsecas cuando los indicadores tradicionales no parezcan idneos o suficientes para captar la realidad que nos interesa. Es importante asegurarse de que hayan sido validados para circunstancias anlogas a las que son objeto de estudio. Ser necesario, la mayora de las veces, recoger activamente los datos, sobre todo a nivel de comunidad. La decisin de la seleccin de estos indicadores innovadores depende a menudo de su

36

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

viabilidad tcnica, que es la garanta de la sostenibilidad de la recopilacin de los datos correspondientes. Se prefieren indicadores dinmicos ms que estticos, que permitan medir las tendencias, es decir, que registren los fenmenos que pueden evolucionar ms o menos rpidamente por efecto de los cambios socioeconmicos o de programas de intervencin; y en particular si aportan un cuadro de previsin. Simplicidad y Bajo Costo: las cualidades operativas, particularmente la simplicidad y el bajo costo de la recopilacin, orientarn en gran medida la seleccin. La lentitud en la recopilacin y en poner los datos a disposicin de los usuarios son factores importantes que han de tenerse en cuenta; muchos sistemas de informacin quedan paralizados por este problema, por lo que se requiere una informacin frecuente y oportuna para la toma de decisiones o para ajustar los programas o las intervenciones (sobre todo en sistemas de alerta temprana). Desde este punto de vista, la naturaleza de las fuentes potenciales de datos para estos indicadores o la disponibilidad directa de estos indicadores al nivel adecuado de adopcin de decisiones podrn constituir elementos determinantes de la seleccin.

c) Utilidad de una Lnea De Base

Es necesario a menudo confrontar los datos recopilados para la elaboracin de indicadores con un valor de referencia o un valor umbral, que podr basarse en un consenso internacional de la comunidad cientfica o del mundo poltico, lo cual permite evitar polmicas sobre la interpretacin y realizar extrapolaciones regionales o comparaciones entre pases. No obstante, no siempre la informacin suele ser suficiente; por otra parte, no existen tampoco tales umbrales internacionales para muchas categoras de indicadores. En estos casos, se hace referencia ms bien a un valor de la misma variable correspondiente a una fecha anterior. Ser, pues, una medida necesaria en caso de evaluacin. La interpretacin de la evolucin de un indicador no puede realizarse sino sobre la base de nuestro conocimiento de la situacin inicial, por lo que el conocimiento de una lnea de base forma parte del valor informativo de algunos indicadores. Se tomar en consideracin la existencia de una serie cronolgica en relacin con un indicador cuando haya que elegir entre varios indicadores, ya que tal serie permite realizar una rpida interpretacin de los efectos respecto de la tendencia. Cuando los datos anteriores son antiguos, se procura evaluar su nivel actual mediante una proyeccin, como se suele hacer para importantes indicadores demogrficos o econmicos.

37

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

E. Tipos de Indicadores Existen diversas tipologas para clasificar a los indicadores; sin embargo dos de las ms conocidas son las de: Enfoque (cuantitativo y cualitativo) y Nivel de resultado (proceso, producto, efecto e impacto). Ambas tipologas pueden combinarse ya que se puede tener indicadores con enfoque cuantitativo y cualitativo en los cuatro niveles de resultado mencionado. Es importante precisar que no existen unas tipologas correctas y otras incorrectas. Las tipologas slo ordenan elementos en categoras para una presentacin ms clara del men de formas en que podemos presentar los indicadores. Las tipologas nos clarifican sobre los elementos que podemos seleccionar para expresarnos en trminos de indicadores. a) Indicadores de Enfoque Cuantitativo y Cualitativo En trminos conceptuales se suele hacer la diferenciacin entre indicadores cualitativos y cuantitativos. Los indicadores cualitativos se identifican con temas como empoderamiento, autoestima, etc., y los indicadores cuantitativos con aspectos como personas capacitadas, obras entregadas, personas que adoptan nuevos comportamientos, tasas de enfermedades, etc. En trminos de tcnicas de recoleccin los indicadores cualitativos utilizan tcnicas como entrevistas con preguntas abiertas, grupos focales, etc.; y los indicadores cuantitativos tcnicas como encuestas, mediciones con instrumental tcnico, etc. Esta diferenciacin es til en trminos conceptales en tanto nos recuerda que hay dos grandes entradas para ver el desarrollo humano: una fcil de visualizar y una segunda ms compleja de captar. Pero la distincin puede ser engaosa. Tanto los indicadores de tipo cuantitativo como los cualitativos son susceptibles de medicin, aunque el grado de precisin pueda variar. De hecho, la definicin del concepto de indicador plantea que una condicin bsica de un indicador es que permita la medicin entre un momento X y un segundo momento X1. En este sentido, algunos autores prefieren hacer mencin de los indicadores de aplicacin como indicadores mixtos. Indicadores Cuantitativos Sus principales caractersticas son las siguientes: Expresan cantidad (cunto/as) y frecuencia. Las unidades de medida son el nmero y el porcentaje. Los principales mtodos e instrumentos utilizados para verificarlos son los censos, las encuestas, las entrevistas estructuradas, los modelos matemticos y los modelos economtricos.

38

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Indicadores Cualitativos Sus principales caractersticas son las siguientes: Expresan cualidades, caractersticas o fenmenos intangibles. Se refieren a percepciones, prcticas, opiniones, habilidades o hechos. Describen, entre otras cosas, la situacin y condiciones de vida de las personas; las relaciones de poder y desigualdad; los cambios en la sensacin, satisfaccin y comprensin de las personas sobre algn hecho. Por lo general, las unidades de verificacin de los indicadores cualitativos son: tipo, grado y nivel. Para su formulacin se requiere la definicin de escalas. En general, los indicadores cualitativos son particularmente tiles para comprender el punto de vista, los intereses y las prioridades de los actores del proyecto. Cuando el cambio esperado se refiere a variaciones en conocimientos, actitudes y prcticas (capacidades) de las personas para desarrollar sus potencialidades y superar la pobreza, la aplicacin de este tipo de indicadores es relevante y necesaria durante y despus de la implementacin del proyecto. Las principales tcnicas para verificar los indicadores cualitativos son: la observacin participante y no participante; las historias de vida, las entrevistas semi-estructuradas tanto individuales como grupales, y otras tcnicas grupales como los grupos focales, los talleres y las reuniones de la comunidad. Las fotografas, testimonios, vdeos y grabaciones son tambin instrumentos adecuados para registrar indicadores cualitativos. Existen resultados cualitativos referidos al empoderamiento, participacin, autoestima, entre otros, cuya verificacin por medio de indicadores representa hoy un desafo. Esto en la medida en que no existen definiciones de consenso o estndares que permitan identificar fcil y concretamente qu aspectos (o variables) incluira los indicadores. Por todo ello, es importante precisar, en el marco de los objetivos y estrategia de cada proyecto, qu aspectos del empoderamiento, la participacin y la autoestima sern los que se abordarn para, sobre esta base, construir los indicadores. As, por ejemplo, el empoderamiento, como fenmeno multidimensional, est asociado con el autofortalecimiento, el control, el incremento del poder, la autoconfianza y la vida digna (de acuerdo con valores propios); adems, con la capacidad para exigir el cumplimiento de derechos, para tomar decisiones propias, para ejercer ciudadana, entre otros aspectos. En un sentido amplio, se define empoderamiento como la expansin de la libertad de escoger, actuar y tomar decisiones. Similar es el caso del concepto de participacin. Aunque tampoco existe una definicin estndar, es aceptado que el nivel mximo de participacin est asociado a la toma de decisiones al ms alto nivel, a acceder a posiciones de liderazgo y representacin, entre otros.

39

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Indicadores Mixtos Son aquellos que permiten verificar cambios cualitativos y, al mismo tiempo, determinar en cuntos individuos, organizaciones o instancias se presentan esos cambios. Por lo anterior, en los indicadores mixtos siempre se presenta una unidad de medida (nmero o porcentaje) y una unidad de verificacin (tipo, grado o nivel). Por ejemplo: Nmero (cantidad) de mujeres segn grado (cualidad) de participacin en la toma de decisiones en la gestin de microempresas. Nmero (cantidad) y tipo (cualidad) de microempresas dirigidas por mujeres y dirigidas por hombres. Los indicadores mixtos son particularmente importantes en la evaluacin, ya que permiten verificar tanto la magnitud o profundidad de los cambios obtenidos cuanto la amplitud con que se presentan, lo que hace posible una mayor comprensin acerca de la obtencin de los resultados esperados. Existen dos tipos de escalas: de nivel y de grado. Para la verificacin de los aspectos cualitativos en la formulacin de las escalas de los indicadores mixtos es importante diferenciar cundo se requieren formular escalas de nivel y cundo escalas de grado. Aqu algunos lineamientos: Se formulan escalas de nivel: Cuando los aspectos que las conforman son acumulativos y secuenciales: la primera posicin de la escala representa la situacin inicial, y la posicin mxima el nivel ms alto que se quiere lograr. Las escalas se formulan de menor a mayor. Las escalas de nivel permiten afinar las estrategias para el logro secuencial de los resultados. En la formulacin de las escalas es importante tener en cuenta el contexto y las condiciones especficas de cada proyecto. Los indicadores de nivel permiten conocer cuntas personas y organizaciones se encuentran en cada paso de la escala. Se formulan escalas de grado: Cuando los aspectos que las conforman no son acumulativos ni necesariamente secuenciales. Cuando indican un orden de prioridades para el proyecto. Cuando el orden de prioridades va de menor a mayor. Es importante tener en cuenta el contexto y las condiciones especficas de cada proyecto en la formulacin de las escalas de los indicadores. Los indicadores de grado permiten medir cuntas organizaciones se encuentran en cada paso de la escala. Para asegurar la comprensin de los indicadores y su apropiacin por los actores y, por consiguiente, su aplicacin y uso durante la ejecucin de los proyectos, es importante que su construccin forme parte de un proceso

40

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

participativo. La formulacin participativa es particularmente relevante para los indicadores cualitativos y mixtos que usan escalas, ya que estas expresan las prioridades y enfoques del proyecto. Los indicadores mixtos representan una gua importante para la estrategia de intervencin (secuencia de logros parciales) y para el seguimiento y evaluacin del proyecto. Esto en virtud de que las escalas permiten evidenciar y clarificar los avances hacia la obtencin de los resultados esperados. La construccin participativa de los indicadores garantiza, adems, una mayor apropiacin y compromiso de los actores respecto de los cambios que se desea lograr, y su adecuacin a las condiciones y al contexto particular de cada proyecto. b) Indicadores por Nivel de Resultado La segunda clasificacin hace referencia a los indicadores que acompaan a la cadena lgica de intervencin. Se trata de medir en cuanto nos acercamos a los efectos e impactos esperados que es la razn de ser de todo proyecto de desarrollo social. Recordamos que la cadena lgica comprende la relacin insumos actividades, productos efectos impacto y se espera un cumplimiento de esta secuencia en trminos de proceso (insumos actividades productos) que permite lograr los cambios deseados en primera instancia (efectos) y a su vez estos hacia el impacto. Los indicadores son los medios para poder saber si estamos alcanzando las metas trazadas, operativizan la formulacin de la jerarqua de objetivos a medios verificables y medibles. Los indicadores se formulan necesariamente despus de haber desarrollado la cadena lgica. Es importante precisar que si bien uno puede identificar en la literatura mltiples ejemplos e incluso listado de indicadores; estos deben ser considerados slo como ejemplos. Los indicadores se deben seleccionar en relacin directa a cada actividad, producto, efecto o impacto que se desea medir. Indicadores de impacto. Son las medidas de desempeo para los objetivos del nivel ms alto a los cuales apunta un proyecto. Miden los efectos de largo plazo, vinculados por lo general a cambios duraderos y perdurables en la situacin de los beneficiarios. Por este motivo, los indicadores de este nivel pueden ir ms all del alcance del proyecto. Indicadores de efecto. Estos indicadores muy a menudo definen el cambio en el comportamiento de los beneficiarios del proyecto o el cambio en la manera en que funcionan las instituciones como resultado del proyecto. Miden los resultados intermedios o de mediano plazo, vinculados por lo general a cambios relativamente directos e inmediatos generados por los proyectos en el comportamiento o situacin de los beneficiarios. Indicadores de producto. Se refieren a los bienes y servicios entregados por el proyecto a los beneficiarios. Establecen los marcos de referencia para la

41

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

evaluacin de resultados del proyecto, ya que corresponde a la institucin ejecutora entregar determinados bienes y/o servicios contemplados en la estructura del proyecto. Los indicadores de producto reflejan cuantitativamente los resultados inmediatos que emergen como consecuencia de la ejecucin de las actividades del proyecto. Indicadores de proceso. Son los indicadores a nivel de actividades y que generalmente se asocian a recursos programados para el proyecto o indicadores de insumo. En proyectos complejos, ningn indicador es por s solo suficiente. En ocasiones, tambin se hace alusin a dos tipos adicionales de indicadores vinculados al marco lgico: indicadores de insumos e indicadores del entorno. Los primeros se refieren a los recursos fsicos y/o monetarios requeridos para llevar a cabo las actividades; en tanto que los indicadores del entorno se refieren a aquellos que permitiran hacer un seguimiento de los supuestos claves del proyecto. F. Formulacin de Indicadores En trminos generales, todo indicador est conformado por dos elementos bsicos: variable objetivo y construccin estadstica: La variable objetivo viene a ser la variable objeto de medicin y estudio, por lo general asociada a una determinada hiptesis de desarrollo. Son variables objetivo, por ejemplo, la poblacin econmicamente activa, el producto bruto interno y los precios al consumidor, as como tambin la PEA ocupada, el ingreso promedio, y las exportaciones. La construccin estadstica, que viene a ser la operacin matemtica que permite pasar de un indicador simple a otro relativamente complejo. Ejemplo de construcciones estadsticas son las siguientes: tasa de crecimiento de la poblacin, densidad demogrfica, ndice de precios al consumidor, tasa de mortalidad infantil, tasa de analfabetismo e ndice de pobreza. Los indicadores deben verse siempre en su relacin con otros dos elementos: los objetivos y las metas. La clave para la formulacin de objetivos es la claridad y no la profusin; la clave para la formulacin de indicadores es la pertinencia de los mismos respecto a los objetivos que pretenden medir; y, finalmente, la clave para la formulacin de las metas en cada indicador es el realismo. Objetivos, indicadores y metas estn indisolublemente unidos. Reglas para la Formulacin de Indicadores: Regla N 01: Todas las variables proposicionales deben tener por lo menos un indicador. Regla N 02: Los indicadores deben ser pertinentes. Los indicadores deben estar relacionados con el objetivo o cambio que pretenden medir.

42

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Regla N 03: Establecer indicadores acordes con la jerarqua de objetivos. Deben seleccionarse indicadores correspondientes al nivel de impacto, efecto o producto, segn corresponda. Regla N 04: Establecer indicadores verificables. Los indicadores deben ser verificables a costo y en tiempo razonables. Regla N 05: No confundir indicadores y objetivos. Los indicadores deben expresarse en forma de una variable mensurable, que refleje cuantitativamente el grado de cumplimiento del objetivo del Plan. No debe expresarse como el cambio esperado en la poblacin beneficiaria. Regla N 06: No confundir indicadores y actividades. Distinguir los indicadores de las actividades tomando en cuenta que, mientras stas se refieren a proceso, aqullos se refieren a mediciones que por lo general toman la forma de metas fsicas. Regla N 07: Establecer metas para cada indicador. La meta es el valor a alcanzar en un determinado periodo de tiempo. La confusin puede evitarse estableciendo metas e indicadores por separado. Regla N 08: Un indicador operacionaliza slo una variable. Las intervenciones tienen variables independientes y dependientes, organizadas en cuatro niveles: actividades, productos, propsito y fin. Un indicador no debe utilizarse en ms de un objetivo ni en diferentes niveles de la jerarqua de objetivos. Regla N 09: No se deben fusionar indicadores. Se deben seleccionar los indicadores ms representativos y no agrupar varios indicadores en una frase extensa. Si los indicadores son independientes, entonces deben expresarse por separado. Regla N 10: No se deben seleccionar demasiados indicadores. Si se disponen de demasiados indicadores y todos parecen ser apropiados, entonces se debe priorizar y seleccionar aquellos cuyo monitoreo no tenga un costo alto y que permita una evaluacin efectiva. Etapas de la Formulacin de Indicadores Definida la estructura que debe tener un indicador (Calidad, Cantidad y Tiempo), se da inicio a su construccin. Este proceso se puede dar partiendo de tres pasos como mnimo: a) Identificacin del Tipo de Indicador: El primer paso es, a partir del objetivo del proyecto, identificar que es lo que se quiere cuantificar; la adquisicin de insumos, la realizacin de actividades, la provisin de un bien o un servicio, o los efectos percibidos en el corto, mediano o largo plazo. Esto depende del nivel desde el cual se haya definido el objetivo del proyecto. Es importante tomar en consideracin, la relacin de los diferentes tipos de indicadores, ya que de acuerdo a la disponibilidad de informacin puede no ser posible definir un indicador al mismo nivel del objetivo del proyecto, por lo cual es recomendable buscar un indicador en el nivel inmediatamente anterior y no en niveles superiores; ello garantiza un mayor nivel de precisin y pertinencia en la evaluacin de dichos objetivos.

43

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

b) Seleccin del mejor Indicador: Los objetivos de un proyecto pueden tener asociados ms de un indicador que cumpla con las condiciones en el primer paso de formulacin. Razn por la cual, es necesario realizar una seleccin que permita tener el mejor indicador. Este sera el que a partir de una cuantificacin numrica pueda medir el avance en el cumplimiento del objetivo y cumpliera con los criterios de relevancia, objetividad y adecuacin. En este sentido, es preciso tomar el grupo de indicadores y realizar la revisin con el fin de seleccionar, teniendo en cuenta estos criterios, el mejor indicador que permita cuantificar los avances del objeto de seguimiento. c) Ficha Tcnica del Indicador: Una vez elegido el indicador, es necesario adelantar el registro de informacin complementaria para facilitar su anlisis y actualizacin en el tiempo. Para ello se deben definir unos campos mnimos de informacin bsica y complementaria para registro de informacin por cada indicador.

FICHA TCNICA DE INDICADORES Enunciado Se enuncia el indicador. Se puede hacer referencia al objetivo o resultado que corresponde. Se debe establecer que mide, que permite observar, que expresa. Se debe definir aquellos trminos o conceptos que se empleen en el enunciado del indicador o en la definicin y que sean centrales para aclarar su sentido. Identifica reas, variables, factores, sobre los cuales se va a obtener informacin que permita posteriormente valorar la situacin. Establece la manera como se combina los datos obtenidos para producir la valoracin de la situacin. Se identifican las fuentes en donde se captar la informacin, que normalmente son de dos tipos: documentarias y personales (secundarias y primarias). Se identifica el instrumento que se emplear como medio para recolectar la informacin contenida en las fuentes. Se establecen las condiciones de recoleccin y procesamiento de informacin: Cundo, plazos, cmo, quin. Se establece los procesos de difusin y destino de la informacin (denominacin de los formatos de registro y reporte).

Definicin Trminos o Conceptos Importantes

Campos de Observacin

Forma de Clculo o Valoracin

Fuente de Informacin

Instrumento

Forma de Recoleccin

Difusin / Destino

44

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

1.3 Los Estudios de Lnea de Base

La lnea de base refleja la situacin de la poblacin objetivo de un proyecto en relacin con las dimensiones o problemas que se pretende abordar. Es la medida inicial de las variables y procesos que se esperan modificar con la intervencin, pero incluye, adems, la primera medida de las variables de contexto que enmarcan los procesos que se quieren modificar. Es el punto de partida de la intervencin y, por lo general, recoge datos tanto de carcter agregado como de tipo especfico sobre la poblacin objetivo. En este sentido, es la primera contribucin hacia la precisin del diseo de la intervencin y hacia las decisiones de procedimiento de la intervencin. La lnea base se nutre de fuentes secundarias de informacin (censos, encuestas anteriores, estadsticas oficiales, estudios previos y otras) en su contenido agregado (contexto general y dimensin territorial). En su contenido ms especfico o cuando no existe informacin secundaria o esta no es confiable, se recurre a fuentes primarias como entrevistas a informantes calificados o encuestas por muestreo. A. La Lnea de Base: La lnea base es un conjunto de indicadores que sirven como marco de referencia cualitativo y cuantitativo para poder verificar, analizar, monitorear, dar seguimiento y evaluar los resultados, impactos y cambios a nivel biofsico, socioeconmico y ambiental, relacionados con la implementacin de actividades de un plan, un proyecto o un programa. Las Lneas de Base ofrecen un conjunto de evidencias y apreciaciones sobre la situacin inicial de la poblacin objetivo de un proyecto, as como de la dinmica del contexto en que interviene, para que esa informacin pueda compararse con mediciones posteriores de los cambios logrados. Por tanto, son un tipo de investigacin aplicada dirigida a obtener los referentes bsicos de la evaluabilidad del proyecto y contribuir as a una mejor toma de decisiones. En sntesis, representan una primera evaluacin, cuya metodologa ha de replicarse al menos a la mitad y al final del ciclo del proyecto, por lo que han de ser muy precisos para facilitar la medicin exacta de los cambios. Su objeto especfico es determinar la situacin de inicio de los indicadores de efecto e impacto del proyecto, levantando su primer valor mediante tcnicas como las encuestas, cuestionarios y otras formas de medicin de carcter cuantitativo. Las Lneas de Base deben mostrar adems evidencias cualitativas de la situacin de la poblacin objetivo al inicio de la intervencin, recogidas a travs de entrevistas, talleres, grupos focales y reuniones de la comunidad, quedando registradas mediante textos, grabaciones, vdeos y fotografas. En general, al tratar con proyectos, muchos de ellos de carcter multidimensional como la pobreza rural, sus cambios deben apreciarse y registrarse mediante indicadores cuantificables referidos a malnutricin en la niez, nivel de ingresos y activos y seguridad alimentaria, entre otros; y tambin desde dimensiones cualitativas como el grado de capacidad de hombres y mujeres para gestionar recursos, el nivel de consolidacin de grupos comunitarios, la forma en que hacen valer sus derechos, la aptitud de las redes locales para llegar al mercado, cmo se manejan los recursos naturales, cmo se toman las decisiones, qu tecnologas se adoptan y por qu, etc. Ello a fin de conocer lo necesario para crear capacidades y empoderar a los grupos ms pobres y excluidos.

45

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

En ese sentido, una Lnea de Base debe generar informacin cuantitativa y cualitativa que permita analizar y mostrar: Caracterizacin de la poblacin objetivo antes de la intervencin. La dinmica del contexto y su relacin con la situacin de la poblacin objetivo. Anlisis de las oportunidades y riesgos del entorno que afectaran el logro de los resultados (supuestos del Marco Lgico). El primer valor (punto de partida) de los indicadores de efecto e impacto. Complementariamente, se puede analizar la situacin inicial de otros indicadores de efecto e impacto propios del proyecto, mediante cuestionarios, entrevistas, grupos focales e informacin secundaria. Todo ello segn las caractersticas y posibilidades del proyecto. La dinmica del contexto y su relacin con la poblacin objetivo es analizada por las lneas de base para examinar el entorno institucional (rol de los gobiernos locales en la promocin econmica, el tipo y cantidad de instituciones que prestan asistencia tcnica y las modalidades de servicios de crdito existentes), al igual que las caractersticas de las organizaciones de productores de la zona y otros tems ligados a las causas subyacentes de la problemtica de la poblacin. Para establecer los supuestos de los factores de riesgo no controlables que afectan el impacto (supuestos que se encuentran en la matriz del marco lgico) se debe levantar informacin relacionada con aspectos tales como medidas de poltica pblica, legislacin y factores medio ambientales y culturales. Es necesario hacer seguimiento a tales factores para capitalizar las oportunidades del entorno o en su defecto definir estrategias para aminorar y/o frenar sus posibles influencias negativas. Finalmente, los primeros valores de los indicadores de efecto e impacto (tambin conocidos como lnea de base) son importantes pues dan apoyo a la gestin del proyecto en la toma de decisiones y ofrecen informacin relevante para los reportes anuales, quedando incorporados a la base de datos del sistema de Monitoreo y Evaluacin. En sntesis, la idea fundamental a tener en cuenta es que las Lneas de Base son muy focalizados, pues slo recogen informacin que pueda ser comparada posteriormente con los resultados del proyecto, para determinar el antes y el despus. Como se sabe, un principio inherente a la evaluacin es la posibilidad de establecer comparaciones, disponiendo de valores y valoraciones iniciales respecto a los indicadores de evaluacin. Por ello, la informacin al respecto debe estar estrechamente vinculada a los indicadores de efecto e impacto del proyecto, puesto que el mismo anlisis ha de repetirse en las evaluaciones de mitad de periodo y al final. Es conveniente sealar que la realizacin de las Lneas de Base ofrece grandes ventajas para el xito de una gestin orientada al impacto y al aprendizaje, mientras que su ausencia o deficiencia afecta la evaluabilidad del proyecto. En resumen, el uso adecuado de las Lneas de Base permite: Establecer la base de los indicadores de un Sistema de Monitoreo y Evaluacin. Afinar las estrategias y ajustar los indicadores de efecto e impacto.

46

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Definir resultados y metas realistas dados los recursos y tiempos trazados. Mayor conocimiento del equipo tcnico en los problemas de la poblacin objetivo abordados por el proyecto. Desarrollar el compromiso y la participacin de los diferentes grupos de actores en la ejecucin del proyecto. Qu NO son las Lneas de Base? Resulta clave precisar qu son y qu no son las Lneas de Base, pues suelen producirse errores conceptuales y metodolgicos que dejan al proyecto sin elementos comparadores eficaces para la atribucin del impacto. As, la revisin de Lneas de Base, por lo general evidencia problemas como: La formulacin de los objetivos (generalmente establecidos de manera incorrecta). El tipo de informacin recogida (muchos se asemejan a diagnsticos iniciales, con abundantes, detallados e innecesarios datos). Su estructura (suelen presentarse slo como listados de valores iniciales de los indicadores o lnea de base). El enfoque (algunos proyectos los abordan como Evaluaciones Ex Ante). El uso de las herramientas (muchas veces se asocia a las Lneas de Base slo a la realizacin de encuestas). Existen errores comunes en la formulacin de los objetivos, en el sentido de que unos los entienden como si pertenecieran a investigaciones generales de tipo acadmico, mientras otros se equivocan al determinar su foco, que no es otro que establecer los primeros referentes y favorecer la evaluabilidad del proyecto. En el siguiente ejemplo se contrasta una formulacin correcta de los objetivos de una Lnea de Base con otra incorrecta.

Formulacin Correcta Establecer un punto de partida a travs de una caracterizacin integral (cuantitativa y cualitativa) de las condiciones socioeconmicas, culturales, institucionales y agroecolgicas propias del rea de influencia del proyecto, as como de las instituciones relacionadas con la intervencin del mismo, que sirva de referencia en futuras evaluaciones para mostrar en el transcurso del tiempo los cambios, efectos e impactos debidos a la intervencin del Programa Formulacin Incorrecta Determinar las condiciones sociodemogrficas y econmicas existentes en las unidades familiares del rea de influencia del Proyecto, recopilando, procesando e interpretando la informacin de manera diferenciada, que responda a un enfoque de gnero

Otro problema frecuente en la elaboracin de las Lneas de Base radica en tomarlos como diagnsticos iniciales o como actualizaciones y/o ampliaciones de una evaluacin Ex Ante. Es necesario aclarar que los diagnsticos son descripciones amplias y generales de una potencial zona de intervencin,

47

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

realizados para identificar problemas, necesidades y soluciones, de modo que no se limitan a la poblacin objetivo, sino que incluyen a la poblacin total o a una parte significativa de ella. Por el contrario, las Lneas de Base tienen como objetivo a la poblacin objetivo de un proyecto y se circunscriben a la misma, describindola con relacin a los efectos e impactos esperados del proyecto. As como no son un diagnstico inicial, los estudios de base tampoco se reducen a un listado con el primer valor de los indicadores de efectos e impactos, contemplados en el marco lgico del proyecto. Dicho listado cuantifica indicadores, resumiendo situaciones, pero no las explica ni permite ver su conexin con otros fenmenos. Asimismo, en algunos proyectos las Lneas de Base son tratados como Evaluaciones Ex Ante, que son anlisis costo-beneficio y de costo-efectividad elaborados para evaluar la viabilidad, pertinencia y eficacia de un proyecto, a fin de decidir si se lleva a cabo o no. Por ello, la Evaluacin ex ante presenta una descripcin breve del contexto y de las caractersticas generales de la poblacin, como sustento previo a los impactos del proyecto, mientras que las Lneas de Base se desarrollan despus de formulado el proyecto y contienen informacin a partir de sus resultados esperados, no para determinar su conveniencia, sino para permitir su evaluabilidad. Por consiguiente, la Evaluacin ex ante difiere sustantivamente de las Lneas de Base, tanto en objetivos como en contenido. Respecto a las encuestas, cabe sealar que constituyen una importante tcnica aplicada por las Lneas de Base, pero tampoco son la nica, puesto que igualmente se pueden realizar grupos focales, talleres y entrevistas, como ya se ha indicado anteriormente. Las Lneas de Base en los Sistemas de Monitoreo y Evaluacin Un Sistema de Monitoreo y Evaluacin es una herramienta utilizada por la gestin del proyecto para recolectar y procesar datos que permitan analizar y comunicar informacin sobre los cambios atribuibles a una intervencin para el desarrollo. En este marco, el sistema es un medio para aprender de los problemas y errores, as como de las buenas prcticas y aciertos en la ejecucin del proyecto. Su objetivo son los cambios esperados, de modo que las Lneas de Base (al ser el primer referente de esos cambios) tienen un rol clave en la planificacin, monitoreo, evaluacin y sistematizacin. Este rol se consolida cuando la gestin orientada al impacto exige contar con informacin oportuna para verificar y apreciar los resultados. Para ello es necesario garantizar criterios de comparacin homogneos y rigurosos entre el marco lgico del proyecto, la Lnea de Base y las posteriores evaluaciones. Caractersticas de las Lneas de Base: Ocurre al inicio del proyecto. Incluye la recoleccin de informacin cuantitativa y/o cualitativa. Los principales instrumentos utilizados incluyen encuestas y entrevistas, as como guas de observacin. Los principales informantes son la poblacin objetivo del proyecto y otros actores involucrados en el mismo.

48

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

La Lnea de Base es fundamentalmente de uso prctico, es decir, est orientada a proporcionar informacin con fines concretos. Generalmente, la Lnea de Base se circunscribe a un rea geogrfica definida. Su carcter prctico NO debe entenderse como falta de rigurosidad metodolgica. En algunos casos, la Lnea de Base involucra a la entidad ejecutora del proyecto en actividades tales como la bsqueda e identificacin de contactos, la presentacin de los objetivos del estudio a las autoridades locales y la poblacin, etc. Utilidad de las Lneas de Base: Permite identificar a la poblacin beneficiaria. Conocer sus caractersticas y las de las familias Diagnosticar los determinantes y consecuencias de la problemtica del proyecto. Conocer la potencialidad de la comunidad Recolectar informacin del contexto Identificar posibles alianzas estratgicas Informar a las dems etapas del ciclo del proyecto: diseo, seguimiento y evaluacin. Servir como referencia para el sistema de monitoreo y evaluacin. Contrastar informacin y evaluar impacto/cambios a lo largo del tiempo. Determinacin de Objetivos: En toda lnea de base debe definirse claramente los objetivos que se persigue, debiendo responder a la pregunta qu se desea obtener? Los objetivos deben quedar muy bien detallados en tanto determinan el alcance de la lnea de base. Objetivos Generales: Son los que indican en forma no precisa el alcance del estudio, se queda en el sealamiento del problema sin ahondar en la seleccin del conjunto de variables que a juicio del evaluador define toda la problemtica deseada. Objetivos Especficos: Estos incursionan en las entraas del problema y definen las variables objeto de estudio. B. Diferencias entre Lnea de Base y Diagnstico La lnea de base se construye a partir del recuento de las caractersticas iniciales de la poblacin objetivo, es decir, antes de la implementacin de la intervencin social, su enumeracin y su especificacin, es crucial puesto que sern los indicadores que permitirn la construccin de dimensiones, susceptibles de ser confrontadas con la lnea de comparacin. Es necesario aclarar que en no pocas veces se confunde la Lnea de Base con el diagnstico. En efecto, la Lnea de Base es distinta a un diagnstico an cuando en ocasiones algunos elementos del diagnstico podran ser utilizados como indicadores de lnea base.

49

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Diferencias entre Lnea de Base y Diagnstico Lnea de Base 1. Se realizan slo a partir de un proyecto ya formulado. 2. Muestran la situacin inicial de la poblacin objetivo, su zona de influencia y contexto. 3. Se enfocan en la poblacin objetivo, o sea la que rene los requisitos sealados en el proyecto. 4. Entregan informacin para valorar los cambios atribuibles al proyecto. 5. Aportan elementos metodolgicos para revisar o redisear el sistema de M&E. Diagnstico 1. Son previos a la formulacin del proyecto: ayudan a definir su estrategia. 2. Describen y explican en forma general una potencial zona de intervencin. 3. Trabajan con una poblacin amplia, que no se limita a la probable poblacin objetivo. 4. Tratan problemas, necesidades y soluciones. 5. Definen qu hacer, cmo y con qu. 6. Caracterizan a la poblacin objetivo desde la poblacin general.

C. Etapas de una Lnea de Base Las Lneas de Base cumplirn los propsitos previstos si son elaborados cuando ya estn dadas algunas situaciones clave, como por ejemplo: Contar con una caracterizacin adecuada de la poblacin objetivo y la zona de influencia del proyecto (focalizacin). Estar en el primer ao de ejecucin y disponer de personal tcnico en nmero suficiente y con capacidades para llevar a cabo el estudio. Tener clara la estrategia de intervencin y los objetivos del proyecto. Contar con el proyecto planificado y tener avanzado su sistema de Monitoreo y Evaluacin. Se observa con frecuencia que para caracterizar a la poblacin objetivo, en algunas Lneas de Base se levantan datos sobre poblaciones que no pertenecen al grupo de beneficiarios directos del proyecto, ya sea porque ello se hizo muy al inicio de la intervencin o porque la estrategia no termin de definirse y experiment muchos cambios. En una situacin como sta, resulta difcil cumplir con el propsito de facilitar las evaluaciones posteriores. Por ello, es fundamental que las Lneas de Base respondan a la pregunta de si la poblacin objetivo est correctamente identificada, y de no ser as, proceder a focalizarla. Es necesario planificar la elaboracin de las Lneas de Base a partir de la revisin de los resultados esperados del proyecto, efectuando las enmiendas necesarias a la matriz del marco lgico y ajustando los indicadores para cimentar la medicin de los resultados.

50

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

51

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

52

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

a) FASE PREPARATORIA Actualizar la Cadena de Cambios e Indicadores La cual consiste en realizar una revisin del Marco Lgico del proyecto, con la finalidad de identificar los posibles errores en la identificacin de indicadores y los supuestos. La matriz del Marco Lgico no es un formato esttico, sino un proceso dinmico sujeto a permanente actualizacin e interpretacin, por lo cual debe revisarse el contenido de sus objetivos, indicadores, medios de verificacin y supuestos. Sin embargo, ello no supone rehacer dicha matriz o sustituirla por una radicalmente distinta; porque dicho proceso, frente a un proyecto ya aprobado debera seguir un conjunto de procedimientos para poder modificarla, lo cual puede desencadenar algunos cuestionamientos frente a la entidad financiera del proyecto o limitaciones y retrasos para el inicio del proyecto, en ambos casos resulta engorroso y perjudicial hacer modificaciones en el marco lgico, porque ello traera tambin como consecuencia cambios en el mismo proyecto; en ese sentido, es mejor realizar los cambios a partir del diseo del estudio de la Lnea de Base, es decir a nivel de la Matriz de Consistencia. El resultado de la revisin incorpora una mejor definicin de los indicadores e identificacin de las variables adecuadas para la medicin. Esta etapa es necesariamente reflexiva, este proceso implica facilitacin, dilogo grupal y construccin de consenso, as como contar con el concurso de todos los gestores del proyecto y de ser posible los beneficiarios directos. Revisar y hacer correcciones a los indicadores del Marco Lgico cuando elaboremos la Matriz de Consistencia de la Lnea de Base, nos permitir: Ajustar los indicadores de efecto e impacto, precisar sus definiciones y mtodo de clculo. Incluir indicadores y variables ms apropiadas para los objetivos que busca el proyecto. Actualizar los medios de verificacin y los supuestos. Determinar los objetivos, contenidos y el Plan de Trabajo El segundo paso para disear una Lnea de Base consiste en definir sus objetivos. Unos objetivos bien elegidos y redactados permitirn tener claro para qu hacer las Lneas de Base, qu informacin se va a levantar y qu usos se dar a esa informacin. Los objetivos de una Lnea de base no tienen por qu ser muy diferentes de un proyecto a otro, pues enuncian propsitos metodolgicos comunes a varios de ellos, como los siguientes: Generar informacin sobre la poblacin objetivo del proyecto, la zona de influencia del mismo, la dinmica del contexto en que se inserta y los supuestos con los que se trabaja, en articulacin con el marco lgico. Obtener informacin mixta (cualitativa y cuantitativa) confiable y suficiente sobre los indicadores de efecto e impacto del proyecto, con la

53

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

finalidad de establecer el primer referente de comparacin (primer valor de los indicadores en el momento inicial de la intervencin). Usar la informacin para ajustar las estrategias de intervencin del proyecto. Sentar las bases del Sistema de Monitoreo y Evaluacin del proyecto. La pregunta qu resultados del proyecto vamos a evaluar? conduce a los temas de contenido que formar parte del estudio de la Lnea de Base, en tanto que la pregunta con qu evidencias vamos a evaluar? lleva a establecer sus indicadores y medios de verificacin. Un espacio de dilogo y reflexin con los gestores del proyecto, suele ser el origen de las mejores respuestas a tales preguntas, de modo que teniendo como referente el Marco Lgico del proyecto, junto a la previa definicin de los objetivos de la Lnea de Base, es posible establecer el contenido de estos estudios y delimitar su campo de accin El desarrollo de las Lneas de Base gira alrededor de cuatro grandes temas, los mismos que deben figurar y detallarse (al lado de otros tems) en el Informe Final. Caracterizacin de la Poblacin Objetivo: Es esencial contar con una buena caracterizacin, que resee clara y concretamente su situacin inicial respecto a los resultados esperados del proyecto. Tambin es muy importante asegurarse de que esta caracterizacin se gue por una estrategia de focalizacin adecuada. Dinmica del Contexto: Analizar la dinmica del contexto significa examinar el rol de las instituciones (municipios, dependencias del estado y otras entidades privadas) as como de las organizaciones locales y regionales que puedan tener injerencia sobre los resultados del proyecto. Es vital tener en cuenta que la informacin sobre el contexto debe estar muy ligada a la situacin inicial de los indicadores de efecto e impacto del proyecto, para que el mismo anlisis pueda replicarse puntualmente y sus resultados ser comparados en las evaluaciones de mitad de periodo y al final. Supuestos de los Factores de Riesgo No Controlables: Estos supuestos, que se encuentran establecidos en la matriz del Marco Lgico, suponen recabar informacin relativa a medidas de poltica pblica, legislacin y otros factores que puedan gravitar sobre las dimensiones del impacto. Es necesario hacer seguimiento a tales factores para capitalizar las oportunidades del entorno o en su defecto para definir estrategias que reduzcan o frenen sus influencias negativas. Igualmente, estos supuestos deben articularse a las dimensiones y variables relacionadas con el impacto. Situacin Inicial de los Indicadores: Es fundamental establecer los valores iniciales de los indicadores de efecto e impacto del proyecto, a travs de informacin mixta (cualitativa y cuantitativa) que permita contar con los primeros referentes de comparacin. Este valor inicial de los indicadores puede presentarse en grficos y tablas, en torno a lo cual habr de hacerse un anlisis somero de los hallazgos y las tendencias.

54

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

A partir de todo este anlisis previo se procede a construir el plan de trabajo que incluir todos los aspectos metodolgicos, operativos y de tratamiento de la informacin. Elaborar los Trminos de Referencia (TdR) para la Lnea de Base Los Trminos de Referencia (TdR) detallan los alcances del trabajo a efectuarse por el o los consultores contratados para llevar a cabo todo o parte de los estudios de Lnea de Base. Incluye las actividades que tendr que desarrollar, las tcnicas sugeridas y los productos que se esperan de su labor, adems de contemplar el perfil del equipo que ejecutar los estudios y los aspectos organizativos, econmicos y los plazos del mismo. Un esquema de TdR comnmente utilizado en diferentes convocatorias o licitaciones es: Antecedentes Descripcin del proyecto (incluye el Marco Lgico) Descripcin del trabajo de consultora Productos esperados Insumos que proporcionar el proyecto Caractersticas del consultor o entidad a contratar Aprobacin de tcnicas, instrumentos e informes Programa de entrega de propuestas y productos Condiciones de Pago Contenido y formato de las propuestas Criterios para la evaluacin y seleccin de propuestas Elaborar la Matriz de Diseo y Anlisis Tambin conocidas como Matriz de Consistencia, es una herramienta de planificacin dirigida a presentar de manera visual la coherencia entre las distintas tcnicas y elementos de la cual se compone una Lnea de Base. Toman como insumo la matriz de ML del proyecto, respondiendo concretamente a la pregunta: cmo se verificarn y medirn los indicadores? En la siguiente unidad se explicar detalladamente su construccin. Formular la Estrategia Metodolgica La cual consiste en seleccionar el modelo estadstico que le proporcione al estudio de Lnea de Base el fundamento cientfico necesario para conducir adecuadamente el recojo, procesamiento y anlisis de la informacin. Es un aspecto importante y vital dentro de todo el proceso de elaboracin de una Lnea de Base. Igualmente en la siguiente unidad se abordar con mayor detalle la definicin del marco metodolgico de una Lnea de Base.

55

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Identificacin de tcnicas y construccin de Instrumentos de recojo de informacin La Matriz de Consistencia permitir finalmente identificar qu tcnicas o qu instrumentos ser necesario tener en cuenta para el recojo de la informacin; en tal sentido, en esta parte del proceso se seleccionan las tcnicas ms adecuadas para el tratamiento de cada una de las variables bajo estudio, as como los instrumentos ms adecuados para obtener datos que permitan alimentar un determinado indicador. Las tcnicas son un conjunto de procedimientos, reglas o protocolos que tienen como objetivo obtener un resultado determinado; por lo cual requiere de personal especializado para aplicarlo; por ejemplo, para recoger informacin antropomtrica (talla y peso de nios) es necesario contar con personal de salud estandarizado; es decir personas que han pasado por un proceso de capacitacin y los errores que cometen cuando tallan y pesan a un nio son mnimos o nulos. Igualmente los instrumentos son confeccionados por profesionales especializados en la temtica que aborde el estudio de Lnea de Base y determinan la profundidad en la que se tratarn los temas y cmo se recoger dicha informacin, dependiendo del tipo de instrumento identificado en la Matriz de Consistencia. Validacin Tcnica Una vez que se ha definido la Matriz de Consistencia y se ha identificado las tcnicas y construido los instrumentos de recoleccin de datos, toda esta informacin es sometida a una revisin, la cual puede ser establecida por la propia entidad ejecutora o en su defecto a travs de un juicio de expertos; quines emiten un reporte indicando sus observaciones y comentarios. Este proceso es conocido como la Validacin Tcnica y juega un papel importante, porque permite confrontar las ideas y opiniones de quines estn planificando la aplicacin de la Lnea de Base y quines vienen gestionando el proyecto o profesionales expertos en el tema; sta confrontacin finalmente permite estandarizar y homogenizar los criterios metodolgicos y dejar listo la Lnea de Base para su aplicacin. Capacitacin del Personal Luego de haber completado todos los aspectos preliminares para la elaboracin de la Lnea de Base, se realiza la capacitacin del personal que estar involucrado en el proceso de recojo de informacin, como los facilitadores que se encargaran de las entrevistas, grupos focales o aplicaciones de pruebas, test, etc.; as como a los encuestadores, quienes sern los encargados de recoger toda la data cuantitativa. La capacitacin se realiza con la finalidad de que todos los involucrados puedan tener los mismos conocimientos de la metodologa, tcnicas e instrumentos a utilizarse; as como tambin para uniformizar los criterios y

56

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

comprensin de todo el proceso, obteniendo con ello que exista una uniformidad en el recojo de la informacin, evitando sesgos o supuestos mal establecidos por alguno de los involucrados. b) FASE DE RECOLECCIN DE DATOS Validacin de Campo Una segunda validacin dentro del proceso de aplicacin de una Lnea de Base es la que se realiza en campo; es decir la confrontacin de los instrumentos con un grupo poblacional de caractersticas similares a las de la poblacin objetivo, con la finalidad de reconocer errores o problemas en la aplicacin de dichos instrumentos, como por ejemplo el lenguaje utilizado; que en ciertas regiones algunas palabras pueden tener una connotacin diferente. Esta aplicacin se realiza das previos a la aplicacin de los instrumentos en la poblacin objetivo, por lo cual es importante que se tome cuidado y los encuestadores puedan registrar todos los problemas que puedan tener los entrevistados al momento de aplicarles alguno de los instrumentos elaborados. Preparacin de la Logstica Una vez finalizado la validacin de campo, se realizan las correcciones que sean necesarias hacer y se procede con los multicopiados de los instrumentos a utilizarse, as como la preparacin de todos los recursos logsticos para la conduccin del recojo de informacin en el mbito de intervencin; es importante que das previos a la salida a campo, estn previstos los medios de transporte, tanto para los facilitadores como para los encuestadores; los equipos que se utilizarn para el recojo de informacin deben estar revisados y calibrados; los insumos que se utilizarn de igual modo deben estar organizados y distribuidos a quines lo utilizarn. Realizar encuestas, talleres, reuniones con la comunidad, etc. Corresponde al recojo de informacin propiamente dicho, en el cual se realiza la aplicacin de las tcnicas y de los instrumentos previamente elaborados; es el momento ms importante dentro de todo el proceso de aplicacin de la Lnea de Base, porque es un momento que no se podr volver a repetir, de ella depende la calidad de la informacin que se obtendr; si no se toma especial cuidado en la supervisin, podemos obtener datos errados y por consiguiente todo el estudio podra afectarse. Verificar la calidad de los datos Inmediatamente recogida la informacin en campo, se realiza un trabajo de verificacin de la informacin con los mismos facilitadores y encuestadores; dando con ello la posibilidad de corregir algunos errores de escritura, interpretacin o conversin de unidades.

57

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Por otro lado, tambin esta verificacin permite revisar que la codificacin, principalmente de los instrumentos cuantitativos se haya realizado de acuerdo a los cdigos predefinidos inicialmente, de tal manera que ello permita que el ingreso de la data a los sistemas de procesamiento se realice sin mayores inconvenientes. c) FASE DE ANLISIS DE DATOS Codificar y ordenar los datos Es el proceso que se realiza al momento de recibir los instrumentos con la informacin recogida en campo; para ello comnmente se utilizan software que facilitan el tratamiento de la informacin; por ello es necesario que toda la informacin se encuentre codificada, dado que estos software solo trabajan con nmeros; en ese sentido, los encargados del procesamiento de la informacin son los que se encargan de establecer plantillas para el llenado de las bases de datos y su ordenamiento. En esta fase se realiza la revisin y contrastacin (cruce de variables) con la finalidad de verificar la veracidad de las respuestas; a partir de filtros establecidos en el los propios software se puede realizar correcciones a los datos y de no ser posible su eliminacin para que no afecte o contamine a toda la base de datos. Integracin de la Informacin Se refiere a las bases de datos corregidas y estandarizadas; a partir de las cuales se realizan los diferentes tratamientos predefinidos por la metodologa elegida; en la cual se prepara las correlaciones necesarias para explicar los resultados obtenidos. En esta fase se realizan la elaboracin de cuadros y grficos necesarios para la presentacin de los resultados. Presentacin de Resultados Hace referencia a la entrega de los primeros resultados de la Lnea de Base; a partir de las cules se puede ampliar o detallar la informacin segn los intereses de los gestores del proyecto. d) FASE DE COMUNICACIN Y USO DE RESULTADOS Audiencias y Usos Una vez obtenido los resultados de la Lnea de Base, por lo general se establece una agenda de reuniones en las cuales se presenta los resultados alcanzados, a diferentes instancias o grupos de profesionales interesados en el estudio, con quines se va discutiendo los alcances obtenidos y las formas de anlisis de la informacin.

58

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

A partir de estas reuniones se van obteniendo observaciones y comentarios, con las cules se realizan las correcciones necesarias para una presentacin final de los resultados. Redaccin del Informe Final Una vez que los resultados han sido analizados y discutidos; as mismo se han levantado todas las observaciones sealadas, se procede a la redaccin del informe final. Uso y Comunicacin Finalmente, una vez obtenido el informe final de los resultados de la Lnea de Base, se inicia un proceso de comunicacin, la cual no solo est dirigida a las entidades financieras o institucionales; sino tambin a la propia poblacin beneficiaria. No es muy comn que las Lneas de Base sean difundidas a la poblacin beneficiaria; sin embargo sirve de mucho para que ellos mismos se sientan involucrados en el proceso y constituyan sus propios puntos de partida.

59

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

UNIDAD II DISEO METODOLGICO DE UNA LNEA DE BASE

2.1 Identificacin de Variables y Subindicadores de Evaluacin
A. La Matriz de Consistencia Es un instrumento muy til, que permite analizar la relacin Causa - Efecto que debe existir entre los objetivos que busca un determinado proyecto, sus indicadores, las variables de evaluacin, los subindicadores de evaluacin y los procedimientos o tcnicas de recoleccin de la informacin. La Matriz de Consistencia es una herramienta de planificacin dirigida a presentar de manera visual la coherencia entre las distintas tcnicas y elementos de una Lnea de Base, por lo que se constituye en la parte medular del estudio. Toma como insumo la matriz de Marco Lgico del proyecto, respondiendo concretamente a la pregunta: cmo se verificarn y medirn los indicadores? Este instrumento es completamente flexible y puede incorporar nuevos elementos que permitan afinar el desarrollo metodolgico de la Lnea de Base: a) Objetivos del Proyecto: Son obtenidos de la Matriz del Marco Lgico y representan los objetivos del proyecto que se encuentra en evaluacin; en la Matriz de Consistencia nicamente se recogen el Propsito y los Resultados del proyecto; en algunas oportunidades tambin es posible incluir el Objetivo General o Fin, pero depender de los objetivos de la evaluacin y del propio diseo del proyecto. b) Indicadores: Son obtenidos tambin a partir del Marco Lgico y representan los indicadores de medicin verificables planteados en el diseo del proyecto. En algunas oportunidades se puede incluir una columna que permita definir a los indicadores, donde se aclaren conceptos y trminos sobre la informacin deseada, como el significado de expresiones con carcter difuso (desarrollo de capacidades, empoderamiento, participacin, poblacin pobre, etc.), indicndose la unidad de medida, como por ejemplo, porcentajes en relacin al total de los datos. c) Variables de Evaluacin: Son todas aquellas caractersticas de medicin que se encuentran ligadas a los indicadores del proyecto; definen todos aquellos factores que se encuentran sujetos a cambio o variacin. De manera general, preferiblemente se debe utilizar variables asociadas a indicadores oficiales o los propios indicadores oficiales, con la finalidad de poder aprovechar la comparacin con ellos.

60

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

d) Sub-Indicadores de Evaluacin: Son todos aquellos indicadores elaborados a partir de las variables de evaluacin, que permiten adecuar y correlacionar directamente dichas variables con una determinada tcnica para su recoleccin en campo. e) Tcnicas e Instrumentos de Recoleccin de Informacin: Es el conjunto de instrumentos que se elaboran y adecuan para recoger informacin de fuentes primarias y definen los resultados de una evaluacin. En la columna final de la matriz se indicar la manera de obtener la informacin, considerando en primer lugar las obligatorias como la encuesta y otras tcnicas complementarias como entrevistas, test, pruebas, grupos focales, etc. Las tcnicas a utilizar en las Lneas de Base tienen relacin muy estrecha con los indicadores, preguntas y temas con los que se trabaja, as como con el anlisis de los indicadores especficos de efecto e impacto. En ese sentido, el evaluador o evaluadora puede tomar la decisin de utilizar una u otra tcnica o emplearlas combinadamente, siempre dependiendo de la naturaleza de los hechos a observar y la perspectiva desde la que se desea observar. La seleccin de tcnicas responde a interrogantes como las siguientes: Qu necesidades de informacin tenemos? Qu rutas de anlisis son necesarias para cubrirlas? Qu tcnicas son las ms adecuadas para producir los datos pertinentes? Algunas Matrices de Consistencia tambin incluyen una columna de Informantes y Fuentes antes de la de Tcnicas e Instrumentos de Recoleccin de Informacin que permita responder a las preguntas de Dnde encontrar los datos necesarios? Cmo los podemos obtener? Los informantes son personas entre los actores locales que por sus experiencias tienen conocimiento sobre los contenidos y temas de la Lnea de Base y que por esa razn pueden aportar precisiones valiosas. Por su parte, las fuentes son recipientes de datos (archivos, libros, bibliotecas) que compendian informacin relativa a todos o algunos de los temas. Aspecto importante vinculado a lo anterior es el carcter de los datos existentes. Los datos con que se trabaja en evaluacin son de dos tipos: primarios y secundarios. Los primarios son aquellos que no existen antes de los procesos de observacin, por lo cual se recogen preguntando a las personas vinculadas con las experiencias a ser evaluadas (los informantes). Los secundarios pre-existen a los procesos de observacin, estando almacenados en fuentes como bibliotecas especializadas, bancos de datos, data institucional y pginas web de programas y proyectos. Por tanto, slo deben ser ubicados. Los datos (primarios o secundarios) se convierten en informacin cuando son organizados de alguna manera lgica para los fines de anlisis y valoracin. Desde ese punto de vista, toda informacin supone un sistema de datos particular y cada evaluador puede desarrollar rutas de anlisis particulares, incluso frente a una misma base de datos.

61

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

EJEMPLO DE MATRIZ DE CONSISTENCIA

SUB INDICADORES DE EVALUACIN Nmero total de Nios con prevalencia a IRAs Nmero total de Nios con prevalencia a IRAs TCNICAS / INSTRUMENTOS Encuesta a Hogares Grupo Focal Madres de Familia Entrevista a Profundidad a Madres de Familia Entrevista a Profundidad a Personal Salud MINSA Encuesta a Hogares Grupo Focal Madres de Familia Entrevista a Profundidad a Madres de Familia Entrevista a Profundidad a Personal Salud MINSA Encuesta a Hogares Grupo Focal Madres de Familia Entrevista a Profundidad a Madres de Familia Entrevista a Profundidad a Personal Salud MINSA

OBJETIVOS Mejorar la Seguridad Alimentaria de 43 Comunidades Campesinas de la Microcuenca Huayllahuara.

INDICADORES Al 2008, se redujo en 30% la prevalencia de Enfermedades Respiratorias Agudas (IRAS) en Nios y Nias menores de 03 aos de la Microcuenca Huayllahuara. Al 2008, se redujo en 40% la prevalencia de Enfermedades Diarreicas Agudas (EDAS) en Nios y Nias menores de 03 aos de la Microcuenca Huayllahuara. Al 2008, se redujo en 2% la Tasa de Desnutricin Crnica Infantil en Nios y Nias menores de 03 aos de la Microcuenca Huayllahuara.

VARIABLES Prevalencia de Enfermedades Respiratorias Agudas (IRAS)

Prevalencia de Enfermedades Diarreicas Agudas (EDAS)

Nmero total de Nios con prevalencia a EDAs Nmero total de Nios con prevalencia a EDAs

Tasa de Desnutricin Crnica

Tasa de desnutricin crnica en Nios menores de 03 aos Tasa de desnutricin crnica en Nias menores de 03 aos Media de Z-Score para el indicador talla/edad para Nios Media de Z-Score para el indicador talla/edad para Nias

62

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

B. Identificacin de Variables Una variable es un atributo o propiedad que puede asumir distintos valores. Se le llama variable a todo concepto que esperamos que vare a lo largo de una determinada investigacin. Existen muchas clasificaciones de variables pero, para el tratamiento especfico de una evaluacin, que en nuestro caso es una Lnea de Base, nos interesan principalmente dos: a) Las Variables de Medicin: Son los datos mnimos que se requieren para probar el indicador; es decir son aquellas variables que estn directamente relacionadas con el indicador de verificacin de los objetivos del Marco Lgico y por lo tanto la estimacin de sus valores incidirn directamente en el valor de los indicadores. Las Variables de Medicin ser cuantitativas o cualitativas. Toda variable tiene distintas posibilidades de variacin; por ejemplo la variable Religin tiene como posibles variaciones catlico, evanglico, judo, entre otros. Cuando los valores que puede tomar una variable son caractersticas o cualidades de los individuos, se llamaran Variables Cualitativas. As mismo, otras variables pueden admitir variaciones de otro tipo; como por ejemplo, la variable edad que puede tomar valores como 18 aos, 19 aos, 20 aos, etc. En este caso, los valores son expresados en trminos numricos y, en consecuencia, se les denomina Variables Cuantitativas. Ejemplos de variables cuantitativas son todas aquellas que se pueden expresar a travs de nmeros, como el peso y la altura de un individuo, nmero de hijos, ingreso familiar, entre otros. Depende del evaluador considerar una misma variable como cualitativa o cuantitativa, segn su criterio. Si considera para altura los valores alta, media y baja la estar tomando como cualitativa, mientras que si selecciona los valores 1.60 cm., 1.70, etc., lo har cuantitativamente. El requisito de exactitud, que debe regir toda evaluacin, nos har preferir siempre que se pueda el nivel cuantitativo. b) Variables Explicativas: Son aquellas variables que proporcionan datos relacionados al contexto del indicador; es decir, son aquellas que por su grado de asociacin o relacin con el indicador nos proporcionaran un mejor entendimiento de los valores que nos arrojen las variables de medicin; por ejemplo, si tenemos una variable de medicin denominada desnutricin y cuyos valores para nios es de 45% y para nias 47%; indudablemente ambas nos dicen que los niveles de desnutricin son altos, sin embargo no nos explican porque son altos; en ese sentido una variable explicativa nos permitir responder a la pregunta por qu esos valores se comportan as?, para lo cual se podra incluir variables explicativas como consumo de alimentos separado por sexos, para as saber qu cantidad y qu calidad de alimentos consumen los nios y las nias, ello nos permitir explicar mejor el comportamiento de esa variable de medicin. Las variables explicativas tambin se pueden diferenciar en relevantes y no relevantes. Estas ltimas son las que, a criterio del evaluador, no se asocian o guardan relacin con el indicador que se espera medir, o al menos existen razonables elementos de juicio para eliminarlas.

63

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Las variables relevantes son aquellas que s se consideran en el proceso de evaluacin, ya sea porque son las variables que queremos utilizar, o porque sospechamos que recogen algn tipo de influencia o comportamiento que deseamos medir para explicar mejor un determinado indicador. C. Identificacin de Subindicadores El subindicador de medicin es la descomposicin de la informacin que requiere una determinada variable para poder obtener su valor; es decir son todos aquellos elementos que requerimos para calcular una determinada variable; por ejemplo, si tenemos la variable ingreso neto, los subindicadores correspondientes podran ser volumen de venta en S/. y costos por unidad de produccin, de tal manera que por la diferencia podramos calcular el valor de la variable; es decir saber cunto es el ingreso neto que tiene esa poblacin o grupo. La seleccin de los subindicadores depender de los criterios y forma de clculo que maneje el evaluador; los cuales se encuentran asociados a la metodologa para el procesamiento de los datos; en tal sentido, no siempre los subindicadores sern los mismos para una determinada variable, podrn cambiar de proyecto a proyecto, dependiendo de la mirada metodolgica que tenga cada evaluacin de Lnea de Base que se realice. As mismo, los subindicadores nos permitirn identificar cul es la tcnica o instrumento que se requiere para poder recogerlo adecuadamente; en tal sentido si necesitamos, por ejemplo, estimar el subindicador desnutricin crnica en nios menores de 3 aos, es muy probable que la estimemos a travs de tcnicas antropomtricas como la talla y el peso de los nios; y si necesitamos recoger informacin acerca del subindicador tipo de consumo en nios y nias, es muy probable que la realicemos a travs de un instrumento, que para este caso sera una encuesta. D. Identificacin de Tcnicas e Instrumentos de Recojo de Informacin Una vez que se ha identificado las variables medicin, las variables explicativas; as como sus correspondientes subindicadores, se procede a determinar qu tcnicas y qu instrumentos se utilizarn para recoger la informacin que demanda cada uno de los subindicadores. Algunos criterios generales que se deben de tomar en cuenta para la adecuada seleccin de tcnicas e instrumentos son: Definicin previa de la metodologa y tcnica a utilizar, para ubicar un instrumento que corresponda con stas Seleccin del instrumento de forma que pueda ser manejado por las personas que van a aplicarlo (en trminos de la capacidad y experiencia para ello) Definicin del nivel de precisin necesario en el instrumento, en el sentido de que las preguntas sean claras y sea de fcil comprensin Seleccionar instrumentos de bajo costo en funcin al presupuesto disponible; y Validacin previa del instrumento. El instrumento debe pasar por una prueba piloto para ajustarlo, afirmarlo o descartarlo La recoleccin de datos es un proceso meticuloso y difcil, pues requiere un instrumento de medicin que sirva para obtener la informacin necesaria para

64

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

estudiar un aspecto o el conjunto de aspectos de un conjunto de variables. Para el diseo del instrumento hay que tomar en cuenta: El objetivo de la investigacin: Este determina cuales datos se solicitarn del informante. Permite evitar la inclusin de preguntas innecesarias y establecer otras para efectuar algn tipo de control. Caractersticas del informante: Conocerlas permitir adecuar el contenido y redaccin de las preguntas a su nivel cultural, grado de cooperacin e informacin que est en condiciones de proporcionar. Tiempo disponible para efectuar la recoleccin: El tiempo disponible para efectuar la recoleccin puede influir en la extensin del instrumento y el grado de control que se pueda realizar sobre la calidad de los datos que se obtengan. Para decidir qu instrumento se va a utilizar se consideran tres aspectos fundamentales: a) Fuente de origen de los datos: En relacin con la fuente que suministra los datos, sta puede ser una fuente primaria, si el dato es tomado de su lugar de origen y fuente secundaria, si el dato no es tomado directamente, sino que se aprovechan aquellos previamente recogidos por otras personas; por ejemplo, si interesa el peso de un grupo de personas se puede averiguar el dato pesando a esas personas, en ese caso se utiliza una fuente primaria; si por el contrario, se toma el peso de las personas de su Historia Clnica, se trata de una fuente secundaria. A la hora de seleccionar una fuente de datos es importante evaluar la confiabilidad de ambos tipos. En el caso de tener que utilizar una fuente secundaria y si existen varias fuentes con la misma informacin la seleccin se realiza siguiendo dos criterios: calidad de la informacin y accesibilidad administrativa. b) Tcnica de recoleccin a utilizar Depender del tipo de informacin que se requiere recoger; se tiene muchas tcnicas e instrumentos para el recojo de informacin, las ms utilizadas son: La Observacin La Entrevista a Profundidad Las Encuestas Los Grupos Focales c) Control de los errores que se puedan cometer. Una vez diseado el instrumento de recoleccin de datos, debe ser sometido a prueba de campo con el objeto de hacerle los ajustes necesarios, determinar la duracin de la aplicacin y constatar si es necesaria la preparacin del personal a cargo de la recoleccin de los datos.

65

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Tambin debe ser evaluado tomando en cuenta dos requisitos esenciales: confiabilidad y validez. La confiabilidad se refiere al grado de congruencia con el cual mide el atributo que supuestamente debe medir (Si con una balanza pesamos a una persona y obtenemos un peso de 56 kilogramos e inmediatamente la volvemos a pesar y obtenemos otro valor, se dice que este instrumento no es confiable). Tambin se habla de confiabilidad como la exactitud de la medicin (Un instrumento es confiable si refleja con precisin los valores verdaderos del atributo que mide). La validez, se refiere a la capacidad del instrumento de medir aquello que se desea y proporcionar informacin completa sobre la variable estudiada, es decir, si se desea investigar el grado de conocimiento sobre enfermedades de transmisin sexual y el instrumento aplicado contiene slo preguntas sobre SIDA-VIH, este instrumento no es vlido puesto que existen otras enfermedades de transmisin sexual. E. Errores comunes en los Marcos Lgicos Cuando llevamos un tiempo revisando Marcos Lgicos de diferentes proyectos, observaremos que existen algunos errores regulares que son comunes encontrar: a) A Nivel de los Indicadores Es comn encontrar errores de redaccin en la estructura del indicador, formulndose indicadores como si fueran actividades o en otros casos como si fueran objetivos, olvidando muchas veces que un indicador debe contener tres elementos bsicos: La Cantidad, La Calidad y El Tiempo. As mismo, es comn encontrar errores en la adecuada pertinencia de los indicadores; por ejemplo, un indicador que se defina como 300 Madres de Familia mejoran la Calidad de la Nutricin de sus hijos al finalizar el proyecto, podramos decir que contiene sus tres elementos bsicos; sin embargo, no es un indicador pertinente, porque Calidad de la Nutricin no es una variable que pueda ser medida, porque en ella subyacen criterios subjetivos que sesgaran el anlisis; por lo tanto, dependiendo del objetivo desde el cual se ha determinado dicho indicador, se debera identificar los factores que determinan realmente la calidad de la nutricin y ellas deberan ser las variables de medicin para la Lnea de Base que se desea establecer. b) A Nivel de las Fuentes de Verificacin A este nivel, por lo general los errores son por omisin, dejando de indicar desde dnde se recoger la informacin y a travs de qu instrumentos o que reportes se obtendrn la informacin para verificar si los objetivos se estn alcanzando. Si bien es cierto que la inadecuada identificacin de los medios de verificacin no afectan en s mismo al diseo del proyecto, su correcta identificacin permitira orientar mejor el diseo del Sistema de Monitoreo y Evaluacin del proyecto.

66

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

c) A Nivel de los Supuestos Los errores ms comunes en este nivel es que muchas veces se consideran a los supuestos como un listado de necesidades del proyecto, cuando su propia especificacin seala que son aquellas condiciones externas (no controlables por el proyecto) que son necesarias para que el proyecto pueda ser viable, es decir pueda alcanzar sus objetivos. En ese sentido, no se trata de establecer lo que necesita el proyecto, sino que de por s ya deben existir ciertas condiciones en el medio en el que se desarrollar el proyecto para que ste pueda ser viable. En el caso que dichas condiciones no existan, entonces el proyecto podra estar en peligro y ser declarado como inconveniente o inviable. Para fines de la elaboracin de las Lneas de Base, es importante identificar los supuestos correctos con la finalidad de analizar la necesidad de involucrar a algunos de esos aspectos dentro del proceso de evaluacin; por ejemplo, si un determinado gobierno local es parte de un supuesto de un proyecto, en el cual el proyecto requiere del establecimiento de ciertas normas por parte de ella; probablemente sera necesario incluir alguna variable explicativa asociada a ella para poder fundamentar mejor el comportamiento de las variables de medicin que se encuentran vinculadas con los objetivos dependientes de dicho supuesto. F. Correccin de Indicadores mal Diseados Encontrar errores en las Matrices de Marcos Lgicos de los proyectos es algo que regularmente ocurre; sin embargo, ello no es impedimento para poder llevar a cabo un estudio de Lnea de Base. Estos problemas pueden ser corregidos a nivel de la Matriz de Consistencia, no significa que vayamos a cambiar o modificar el indicador, siempre es mejor dejarlo como est, as evitamos cualquier inconveniente administrativo o financiero con las entidades que apoyan al proyecto; significa que a nivel de la Identificacin de las Variables podamos seleccionar las variables correctas y no aquellas que equivocadamente fueron colocadas dentro del indicador. En ese sentido, retomando el ejemplo del indicador 300 Madres de Familia mejoran la Calidad de la Nutricin de sus hijos al finalizar el proyecto, en donde sealamos que Calidad de la Nutricin no poda ser una variable adecuada para su medicin, a nivel de la columna de Variables en la Matriz de Consistencia deberamos sealar aquellas variables que podran reemplazar a Calidad de la Nutricin, como estamos frente a una variable que busca medir el tipo de alimentacin que reciben los nios y nias de una determinada poblacin, entonces bajo una mirada nutricional podramos elegir las variables: Lactancia Materna Exclusiva: para ser evaluado en nios y nias menores de 06 meses. Consumo de al menos 5 raciones de alimentos slidos al da: para ser evaluado en nios y nias entre 06 y 24 meses. Consumo de al menos una racin de alimentos con contenido de protena animal: para ser evaluado en nios y nias entre 02 y 05 aos de edad.

67

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Est claro, que dichas variables podran ser otras, dependiendo de los criterios de evaluacin y los propsitos de los evaluadores; sin embargo, el ejemplo sirve para darnos cuenta que frente a un error que podamos encontrar en los indicadores, ellos pueden ser fcilmente corregidos en la Matriz de Consistencia, sin necesidad de alterar el Marco Lgico.

2.2 El Marco Metodolgico del Estudio

En un estudio de Lnea de Base la informacin a recoger es selectiva y priorizada en funcin de sus temas centrales, por lo que debe planearse cuidadosamente su metodologa y las estrategias para la seleccin de las tcnicas e instrumentos. En la mayora de los estudios de Lnea de Base, uno de los instrumentos que siempre se utiliza es la encuesta, porque ella nos va a proporcionar la mayor informacin cuantitativa del estudio; de modo que son las herramientas complementarias las que deben elegirse de acuerdo a las necesidades de cada proyecto, procurando siempre que puedan replicarse para permitir comparaciones subsiguientes. A. Tipos de Estudios Todo proceso de evaluacin, desde una Lnea de Base hasta una Evaluacin de Impacto posee sus fundamentos en la investigacin cientfica, la cual le proporciona un nivel de validez y confiabilidad a sus resultados alcanzados; en ese sentido, la seleccin del tipo de estudio es importante para la adecuada medicin de los indicadores de un proyecto; cada tipo de estudio se ajusta a una determinada realidad y contexto que se desee evaluar. Existen numerosas clasificaciones sobre los tipos o diseos de estudios; sin embargo existen dos importantes que son las mayormente utilizadas en estudios de Lnea de Base: a) Segn el Tiempo o Momento del Estudio: Estudios Histricos: El cual busca reconstruir el pasado de la manera ms objetiva y exacta posible, para lo cual, de forma sistemtica recolecta, evala, verifica y sintetiza evidencias que permitan obtener conclusiones vlidas, a menudo derivadas de hiptesis. Estudios Descriptivos: El cual se propone describir de modo sistemtico las caractersticas de una poblacin, situacin o rea de inters. Busca describir situaciones o acontecimientos; bsicamente no est interesado en comprobar explicaciones, probar determinadas hiptesis, o en hacer predicciones. Con relacin al estado de conocimiento alrededor del problema en estudio se ha avanzado en el dominio del rea problema y en la delimitacin del problema mismo, pero el mbito de conocimientos resulta limitado para buscar relaciones entre variables. Los estudios descriptivos siempre se encuentra en la base de la explicativa. Por la forma en que transcurren los estudios descriptivos se clasifican en: Transversales: Aquellas que estudian las variables de forma simultnea en un momento dado.

68

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Longitudinales: Aquellas que estudian las variables a lo largo de un tiempo que puede ser continuo peridico. Los estudios longitudinales a su vez se clasifican en: o o Retrospectivos: Estos estudios se orientan al anlisis de sucesos ya acontecidos. Prospectivos: Estos estudios se orientan al anlisis de sucesos que estn por acontecer.

Estudios Experimentales: El cual fue creado con el propsito de determinar, con la mayor confiabilidad posible, relaciones de causa-efecto, para lo cual uno o ms grupos, llamados experimentales, se exponen a los estmulos experimentales y los comportamientos resultantes se comparan con los comportamientos de ese u otros grupos, llamados de control, que no reciben el tratamiento o estmulo experimental. En este tipo de estudios, el problema est bien identificado y definido y permite avanzar en la bsqueda de relaciones causales., por lo que resulta imprescindible la formulacin de hiptesis que pretenden explicar las causas del problema o eventos que estn relacionados con las mismas. Los estudios Cuasi-Experimentales, son aquellos con los cuales podemos aproximarnos a los resultados de un estudio experimental en situaciones en las que no es posible el control y manipulacin absoluto de las variables. Este tipo de estudio est referido a aquellas investigaciones en que el evaluador no puede manejar el factor de experimentacin para evaluar el comportamiento de los resultados (experimentales), sino que tiene que organizar la observacin de datos de manera que le permite verificar o refutar las hiptesis (observacionales). b) Segn el Uso del Conocimiento: Estudios Bsicos: Denominados tambin puros o fundamentales, buscan el progreso cientfico, acrecentar los conocimientos tericos, sin interesarse directamente en sus posibles aplicaciones o consecuencias prcticas; es ms formal y persigue las generalizaciones con vistas al desarrollo de una teora basada en principios y leyes. Estudios Aplicados: Guarda ntima relacin con la bsica, pues depende de los descubrimientos y avances de los estudios bsicos y se enriquece con ellos, pero se caracteriza por su inters en la aplicacin, utilizacin y consecuencias prcticas de los conocimientos. Los estudios aplicados buscan el conocer para hacer, para actuar, para construir, para modificar Estudios Documentales: Es aquella que se realiza a travs de la consulta de documentos (libros, revistas, peridicos, memorias, anuarios, registros, cdices, constituciones, etc.). Estudios de Campo: Es la que se efecta en el lugar y tiempo en que ocurren los fenmenos objeto de estudio. Estudios Mixtos: Es aquella que participa de la naturaleza de la investigacin documental y de la investigacin de campo.

69

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

B. mbito y Poblacin Objetivo Otro aspecto importante dentro del marco metodolgico es la identificacin del mbito de estudio y la poblacin objetivo sobre la cual se realizar el estudio de Lnea de Base. a) mbito de Estudio: Es importante no confundir el mbito de estudio con el mbito del proyecto; si bien es cierto el mbito de estudio siempre se encontrar dentro del mbito del proyecto, no siempre es todo el mbito del proyecto, porque ello depender del marco muestral y la determinacin especfica sobre qu mbitos se realizar el estudio; por ejemplo, si tenemos que un proyecto se viene realizando en toda una provincia y sta provincia cuenta con 10 distritos, es muy probable que algunos distritos no entren en la muestra, sea por el nmero mnimo de pobladores o porque su participacin en la muestra es poco significativa; en ese sentido, el mbito de estudio debera incluir solo los distritos sobre los cules se realizar la evaluacin; sin embargo si la metodologa de anlisis incluye la determinacin de indicadores a niveles distritales, entonces el mbito de estudio sera todo el mbito del proyecto, es decir todos los distritos de dicha provincia. b) Poblacin Objetivo: Igualmente es el tratamiento de la poblacin objetivo del estudio; se debe identificar a todos aquellos actores que participan de una u otra manera en la ejecucin del proyecto en evaluacin; por ejemplo, si tenemos un proyecto educativo cuya poblacin beneficiaria son los nios y nias menores de 14 aos de una determinada poblacin; el grupo objetivo del estudio, no solo sern los nios y nias, sino tambin los docentes, directivos de la institucin educativa, los padres de familia y otros actores que se encuentren involucrados en el proyecto. C. Unidades de Anlisis La unidad de anlisis corresponde a la entidad mayor o representativa de lo que va a ser objeto especfico de estudio en una determinada Lnea de Base y se refiere al qu o quin es objeto de inters en dicha evaluacin. Las unidades de anlisis pueden corresponder a las siguientes categoras: Personas Grupos humanos Poblaciones completas Unidades geogrficas determinadas Eventos o interacciones sociales (enfermedades, accidentes, casos de infecciones intrahospitalarias, etc.) Entidades intangibles, susceptibles de medir (exmenes, das camas) El tipo de anlisis al que se someter la informacin es determinante para elegir la unidad de anlisis. Por ejemplo, si el objetivo es dar cuenta de la satisfaccin del usuario de un servicio mdico, la unidad de anlisis natural es el paciente atendido, o la persona que se atiende en ese servicio mdico.

70

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

D. El Marco Muestral En muchos procesos de investigacin se requiere informacin acerca de una poblacin determinada, pero indagar a cada uno de los elementos que pertenecen a sta es muy difcil, y en muchos casos imposible, por tanto, se deben buscar estrategias que permitan, utilizando tan solo algunos elementos, inferir y ofrecer resultados vlidos y confiables acerca de las caractersticas de toda la poblacin. En este proceso de bsqueda, la estadstica entra a jugar uno de los papeles ms importantes, pues es por medio de sus tcnicas y procedimientos que se pueden obtener resultados para una poblacin con solo una parte de ella. El muestreo es la tcnica adecuada para resolver el problema, teniendo claro los siguientes aspectos: Objetivos de la investigacin Recursos disponibles Calidad deseada de la informacin El marco muestral es el mecanismo o material que permite delimitar o identificar en forma apropiada los elementos de una poblacin. Es la parte de la poblacin desde donde se selecciona la muestra. Idealmente el marco muestral coincide con la poblacin. Sin embargo, por razones de costo, se suele no considerar una parte de la poblacin, al seleccionar la muestra. Las conclusiones que se obtienen como resultado de un estudio estadstico aplicado a los datos obtenidos de una muestra, se refieren a toda la poblacin, an cuando la muestra haya sido obtenida de un marco muestral que no es toda la poblacin. a) Datos y Unidades Un dato es cada uno de los elementos de informacin que se recoge durante el desarrollo de una evaluacin y en base a los cuales, convenientemente sintetizados, podrn extraerse conclusiones en relacin al proyecto. Cualquier informacin, por ms pequea y fragmentaria que sea, puede considerarse como un dato, siempre y cuando pueda colaborar de algn modo a proporcionar informacin acerca de un proyecto. El valor del dato reside no en su alcance individual, en lo que nos expresa por s mismo, sino en su posibilidad de ser integrado en conjuntos mayores. Cuando agrupamos muchas informaciones de carcter similar, cada dato se hace valioso dentro de una perspectiva ms amplia. Las fuentes de datos pueden ser personas, situaciones o hechos que se observan directamente, o materiales bibliogrficos de diversa naturaleza. Las llamamos unidades de datos y, a su conjunto, a la suma de todas las unidades, se le da el nombre de universo o poblacin. Podramos decir que una poblacin o universo es, entonces, el conjunto de todas las cosas que concuerdan con una determinada serie de especificaciones. En general, toda evaluacin puede considerarse como una bsqueda de los datos apropiados que permitan medir o caracterizar los logros o la caracterizacin inicial de un proyecto. Existen universos que resultan demasiado amplios para el evaluador, pues ste no tiene ni el tiempo ni los recursos para abordar una evaluacin de cada

71

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

una de las unidades que lo componen. Para resolver este inconveniente, se acude a la operacionalizacin del universo mediante la extraccin de muestras. b) Universo y Muestra Una muestra es un conjunto de unidades, una porcin del total, que nos representa la conducta del universo en su conjunto. Una muestra, en un sentido amplio, no es ms que eso, una parte del todo que llamamos universo y que sirve para representarlo. Sin embargo, no todas las muestras resultan tiles para llevar a cabo un trabajo de evaluacin. Lo que se busca al emplear una muestra es que, observando una porcin relativamente reducida de unidades, se obtengan conclusiones semejantes a las que lograramos si estudiramos el universo total. Cuando una muestra cumple con esta condicin, es decir, cuando nos refleja en sus unidades lo que ocurre en el universo, la llamamos muestra representativa. Por lo tanto, una muestra representativa contiene las caractersticas relevantes de la poblacin en las mismas proporciones en que estn incluidas en tal poblacin. Sus conclusiones son susceptibles de ser generalizadas al conjunto del universo, aunque para ello debamos aadir un cierto margen de error en nuestras proyecciones. Las muestras pueden ser clasificadas, en una primera divisin en probabilsticas y no probabilsticas. En las muestras probabilsticas, la caracterstica fundamental es que todo elemento del universo tiene una determinada probabilidad de integrar la muestra, y esa probabilidad puede ser calculada matemticamente con precisin. En las muestras no probabilsticas ocurre lo contrario y el evaluador no tiene idea del error que puede estar introduciendo en sus apreciaciones. Muestras No Probabilsticas: Muestra Accidental: Es aquella que se obtiene sin ningn plan preconcebido; las unidades elegidas resultan producto de circunstancias fortuitas. Si entrevistamos a los primeros 50 transentes que pasan por cierta calle o medimos la profundidad del mar a lo largo de un trayecto entre dos puntos cualesquiera, estaremos en presencia de una muestra accidental; los datos obtenidos podrn o no representar al universo en estudio. El evaluador no puede saber hasta qu punto sus resultados podrn proyectarse, con confiabilidad, hacia el conjunto ms amplio que desea conocer. Muestra por Cuotas: Consiste en predeterminar la cantidad de elementos de cada categora que habrn de integrar la muestra. As podemos asignar una cuota de 50 hombres y 50 mujeres a una muestra de 100 individuos, asumiendo que sa es la distribucin de la poblacin total. Por ms que esa presuncin llegue a ser vlida, no deja de existir cierta arbitrariedad en este modo de proceder, por lo que la rigurosidad estadstica de las muestras por cuotas se reduce. Muestra Intencional: Las unidades se eligen en forma arbitraria, designando a cada unidad segn caractersticas que para el investigador

72

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

resulten de relevancia. Se emplea, por lo tanto, el conocimiento y la opinin personal para identificar aquellos elementos que deben ser incluidos en la muestra. Se basa, primordialmente, en la experiencia de alguien con la poblacin. Estas muestras son muy tiles y se emplean frecuentemente en los estudios de caso, por ms que la posibilidad de generalizar conclusiones a partir de ellas, sea en rigor nula. En algunas oportunidades se usan como gua o muestra tentativa para decidir cmo tomar una muestra aleatoria ms adelante.

Muestras Probabilsticas: Como se ha sealado anteriormente, en ellas cada uno de los elementos del universo tiene una probabilidad determinada y conocida de ser seleccionado. Los procedimientos ms usuales para la obtencin de muestras probabilsticas son: Azar Simple. Este procedimiento se inicia confeccionando una lista de todas las unidades que configuran el universo, numerando correlativamente cada una de ellas. Luego, mediante cualquier sistema (tabla de nmeros al azar, programas de computacin), se van sorteando al azar estos nmeros hasta completar el total de unidades que deseamos que entren en la muestra. De este modo, la probabilidad que cada elemento tienen de aparecer en la muestra es exactamente la misma. Si cada uno de los elementos que integran la poblacin no tiene la misma posibilidad de ser elegido, se habla entonces de una muestra viciada. Este mtodo nos garantiza una seleccin completamente aleatoria, pero resulta muy lento y costoso, pues nos obliga a elaborar listas completas de todas las unidades de inters, lo que a veces es sencillamente imposible. Por este motivo, slo se emplea cuando los universos son relativamente pequeos. Este mtodo no ser adecuado si, por ejemplo, queremos sacar una muestra de todas las personas analfabetas que existen en un pas. En cambio, si nuestra intencin es extraer una muestra del universo de todos los alumnos que ingresan a una universidad en un determinado ao, resultar muy adecuado. Azar Sistemtico: Tambin se requiere de un listado completo de las unidades que integran el universo en estudio. Luego se efectan las siguientes operaciones: Se calcula la constante K, que resulta de dividir el nmero total de unidades que componen el universo por el nmero de unidades que habrn de integrar la muestra: K = N/n Donde: N = nmero total de unidades que componen e universo. n = nmero total de unidades que integrarn la muestra. Se efecta un sorteo para elegir un nmero que sea inferior o igual al valor de K. Como primera unidad para integrar la muestra se elige aquella que, en la lista general, posea idntico nmero de orden al sorteado. Si designamos con A este primer valor, la segunda unidad

73

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

elegida ser la que lleve el nmero A + K, la tercera corresponder a A + 2K y as sucesivamente hasta llegar a A + (n 1)K. Supongamos un universo constituido por 2.800 elementos, del que deseamos obtener una muestra de 70 casos. Tenemos entonces: N = 2.800 n = 70 K = 2.800 / 70 = 40 Ahora, mediante cualquier procedimiento, buscamos al azar un nmero entero cuyo valor figure entre los lmites de 1 y 40. En este caso, el nmero elegido es el 32. Entonces, las unidades que pasarn a formar parte de la muestra sern las que lleven los siguientes nmeros de orden:

1 unidad 2 unidad 3 unidad .... 70 unidad

32 + 40 32 + 80 32 + 2760

32 72 112 2.792

Las ventajas y desventajas de este procedimiento son casi idnticas a la de las muestras al azar simple. Los procedimientos computacionales hacen mucho ms fcil efectuar el sorteo de las unidades y no existe el riesgo de que la muestra quede sesgada por algn tipo de regularidad que no conocemos y que est presente en el universo.

Muestras por Conglomerados: Esta tcnica tiene utilidad cuando el universo que se requiere estudiar admite ser subdividido en universos menores de caractersticas similares a las del universo total. Se procede a subdividir el universo en un nmero finito de conglomerados y, entre ellos, se pasa a elegir algunos que sern los nicos que se investigarn; esta eleccin puede realizarse por el mtodo del azar simple o por el del azar sistemtico. Una vez cumplida esta etapa, puede efectuarse una segunda seleccin, dentro de cada uno de los conglomerados elegidos, para llegar a un nmero an ms reducido de unidades muestrales. La ventaja de esta tcnica es que obvia la tarea de confeccionar el listado de todas las unidades del universo. Su desventaja mayor radica en que, al efectuarse el muestreo en dos etapas, los errores muestrales de cada una se van acumulando, lo que da un error mayor que para los mtodos anteriores. La tcnica de conglomerados suele utilizarse cuando queremos extraer muestras de los habitantes de un conjunto geogrfico amplio, por ejemplo, una gran ciudad o un conjunto de pueblos, por lo que se procede a tomar cada pueblo o grupo de manzanas como un conglomerado independiente; del mismo modo, se la utiliza para conocer las reservas forestales y marinas, para estudiar las estrellas y otros casos semejantes.

74

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Muestras Estratificadas: Este mtodo supone que el universo puede desagregarse en subconjuntos menores, homogneos internamente pero heterogneos entre s. Cada uno de estos estratos se toma luego como un universo particular, de tamao ms reducido, y sobre l se seleccionan muestras segn cualquiera de los procedimientos anteriores. Por ejemplo, si quisiramos estudiar las actitudes polticas de los estudiantes de una universidad, podramos subdividir en estratos de acuerdo con el tipo de estudios que cursen, suponiendo que estas actitudes van a ser diferentes entre quienes siguen Ingeniera, Letras, Medicina u otras carreras. Luego, efectuaramos un muestreo dentro de cada sub universo as definido para, finalmente, realizar un anlisis integrando los resultados de todas las sub muestras. Tanto en el muestreo estratificado como en el de conglomerados, la poblacin se divide en grupos bien definidos. Usamos el muestreo estratificado cuando hay una amplia variacin entre los grupos. Usamos el muestreo por conglomerados en el caso opuesto: cuando hay una variacin considerable dentro de cada grupo, pero los grupos son esencialmente similares entre s. c) Tamao de la Muestra y Error Muestral. Recordemos que la muestra descansa en el principio de que las partes representan al todo y, por tal, refleja las caractersticas que definen a la poblacin de la cual fue extrada, lo cual nos indica que es representativa. Es decir, que para hacer una generalizacin exacta de una poblacin, es necesario tomar una muestra representativa. Por lo tanto, la validez de la generalizacin depende de la validez y tamao de la muestra. Cuando trabajamos con muestras, generalmente se presentan dos tipos de errores: Error Sistemtico: Llamado de distorsin o sesgo de la muestra, se presentan por causas ajenas a la muestra: Situaciones inadecuadas: se presentan, por ejemplo, cuando el encuestador tiene dificultades para obtener la informacin y la sustituye por la que ms fcilmente est a su alcance, que no siempre es la ms confiable. Insuficiencia en la recoleccin de datos: hay distorsin por falta de respuestas, o respuestas inadecuadas, ya sea por ignorancia o falta de datos relativos a los elementos incluidos. Distorsiones del encuestador causadas por prejuicios, inters personal o por fallas en la aplicacin de instrumentos. Errores de cobertura a causa de que no se han incluido elementos importantes y significativos para la investigacin que se realiza. Error de Muestreo o Muestral: Cualquiera sea el procedimiento utilizado y la perfeccin del mtodo empleado, la muestra diferir de la poblacin. A esta diferencia se la denomina error de muestreo. Cuando una muestra es aleatoria o probabilstica, es posible calcular sobre ella el error muestral. Este error indica el porcentaje de incertidumbre, es decir, el riesgo que se corre de que la muestra elegida no sea representativa. Si trabajamos con

75

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

un error calculado en 5%, ello significa que existe un 95% de probabilidades de que el conjunto muestral represente adecuadamente al universo del cual ha sido extrado. A medida que incrementamos el tamao de la muestra, el error muestral tiende a reducirse, pues la muestra va acercndose ms al tamao del universo. Del mismo modo, para una muestra determinada, su error ser menor cuanto ms pequeo sea el universo a partir del cual se la ha seleccionado. As, para un universo de 10.000 casos, una muestra de 200 unidades tendr un error mayor que una de 300; una muestra de 200 casos, por otra parte, tendr un error mayor si el universo tiene 10.000 unidades que si ste posee solamente 2.000. Para fijar el tamao de la muestra adecuado a cada investigacin, es preciso primero determinar el porcentaje de error que estamos dispuestos a admitir. Una vez hecho esto, debern realizarse las operaciones estadsticas correspondientes para poder calcular el tamao de la muestra que nos permite situarnos dentro del margen de error aceptado. A veces, sin embargo, el tamao de la muestra queda determinado previamente por consideraciones prcticas; en tales casos, no hay otra alternativa que aceptar el nivel de error que su magnitud acarree.

2.3 Construccin de Instrumentos de Recojo de Informacin

Seleccionar tcnicas especficas entre un universo mayor es una decisin que depende de los indicadores o preguntas que se formulen, del tipo de informacin que se quiera obtener y de los anlisis que se tenga previsto hacer. Es decir, se trata de una decisin metodolgica sobre la que es necesario tener claridad, as como establecer los recursos humanos y financieros disponibles. A. Tcnicas e Instrumentos de Recojo de Informacin Las tcnicas e instrumentos a utilizar en los estudios de Lnea de Base tienen relacin muy estrecha con los indicadores y con el tipo de anlisis adecuado para el tratamiento de esos indicadores. En ese sentido, se puede tomar la decisin de utilizar una u otra tcnica o instrumento o emplearlas combinadamente, dependiendo de los indicadores elegidos para observar los cambios, tanto en los estudios de Lnea de Base como en evaluaciones posteriores. La decisin tambin depender de la conformacin del equipo y los actores que participen. Algo que definitivamente ayuda a la toma de este tipo de decisiones es conocer el sentido de las tcnicas o instrumentos asociados a una u otra metodologa. Las asociadas a mtodos cuantitativos (encuestas, escalas, pruebas objetivas, entre otras) obedecen a preguntas del tipo cunto? y con qu frecuencia?, midiendo directamente la condicin o el cambio en variables especficas (ya se trate de rendimientos en las cosechas o de variaciones en los ingresos) y proporcionando resultados numricos para un anlisis estadstico. Las asociadas a mtodos cualitativos (entrevistas, grupos focales, talleres, etc.) responden a preguntas como por qu cree que esto ocurri? y cmo cree que le afectar?, y operan con las descripciones que la gente hace de lo que ha observado, hecho o siente, recibiendo un anlisis ms interpretativo.

76

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Ahora bien, es seguro que los hechos a evaluar hagan necesario trabajar en simultneo con mtodos cuantitativos y cualitativos. En los ltimos aos, se combinan metodologas (mixtas) y se asume la diversidad metodolgica como parte de su quehacer. Es fundamental, entonces, conocer los enfoques cualitativos cuantitativos y trabajar con ambos. El uso combinado de mtodos o "triangulacin" es una estrategia metodolgica que el evaluador utiliza para contrastar de manera calificada diversas tcnicas o fuentes de datos, con el fin de compensar el sesgo inherente al uso individual de cada una de ellas. La estrategia permite igualmente verificar la justeza y estabilidad de los datos producidos. Hay cuatro razones fundamentales para recurrir a estrategias de triangulacin en los procesos evaluativos: La naturaleza de los hechos evaluados. La evaluacin de experiencias de desarrollo observa hechos multidimensionales y cambiantes (como la pobreza, por ejemplo) y no existe tcnica o fuente de datos que por s sola sea capaz de capturar la diversidad de sus manifestaciones. Por medio de la triangulacin es posible crear las condiciones para una comprensin ms integral y rica de este tipo de hechos. La necesidad de contrastar los datos recogidos a partir de diferentes tcnicas. Se parte del principio que los datos ms slidos son aquellos que aparecen recurrentemente al observar hechos desde diferentes evidencias recogidas con varios procedimientos metodolgicos. El uso de tcnicas o instrumentos cualitativos. Consiste en aplicar tcnicas o instrumentos cualitativos (entrevistas o grupos focales, por ejemplo) como instancia previa al diseo de una encuesta, para identificar temas relevantes que habrn de incluirse en esta ltima o para adecuar su lenguaje a los usos locales. El uso de tcnicas o instrumentos cualitativos. El uso de entrevistas o grupos de discusin con actores clave sobre los resultados de una encuesta, permite un anlisis ms detallado y explicativo de los fenmenos encontrados en los datos cuantitativos. Recomendaciones para la Recoleccin de Datos Para emprender la tarea de recoger datos es necesario tener en cuenta las siguientes indicaciones: Recoja solamente los datos que va a utilizar, es decir, aquellos asociados con las observacin de los indicadores, preguntas y temas que se maneja en los estudios de Lnea de Base. Recoja solamente aquellos datos que no estn disponibles. Es importante identificar previamente qu datos ya existen y se pueden utilizar, as como verificar su calidad y confiabilidad. Acuerde claramente las responsabilidades en cuanto a la recoleccin de los datos, procesamiento y anlisis de los mismos, as como los momentos en que se llevar a cabo cada una de estas tareas.

77

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Seleccione las tcnicas e instrumentos ms adecuados, teniendo en cuenta las particulares necesidades del anlisis y el hecho que gran parte de estas tcnicas sern utilizadas de seguro con algunos cambios de manera longitudinal en las evaluaciones posteriores. Sea creativo en la seleccin de tcnicas, recordando que hay un abanico amplio que incluye el uso de mapas, videos, fotografas y otras tcnicas no convencionales. El Consentimiento Informado Algunas tcnicas de recojo de informacin requieren de autorizaciones previas denominadas Consentimientos Informados, utilizadas principalmente cuando se requiere realizar algn tipo de intervencin directa en los individuos sujetos de evaluacin; por ejemplo, cuando requerimos realizar pruebas antropomtricas (talla y peso) en nios y nias, requerimos el consentimiento informado de parte de los padres de esos nios, no podemos tocar a los nios sin la autorizacin expresa de sus padres; por lo tanto es necesario redactar un pequeo documento en el cual los padres firmen y coloquen sus huellas digitales autorizando la aplicacin de la prueba y el uso de sus datos para fines de estudio. B. La Entrevista Las entrevistas se utilizan para recabar informacin en forma verbal, a travs de preguntas que propone el evaluador. Quienes responden pueden ser pobladores de una comunidad o autoridades del mbito de estudio, los cuales son parte del proyecto bajo evaluacin, actores claves del mbito de estudio o aquellos que pueden proporcionar informacin o son afectados por el proyecto. El evaluador puede realizar las entrevistas de manera individual o por grupos. Sin embargo, las entrevistas no siempre son la mejor fuente de datos de aplicacin. La entrevista es la tcnica ms significativa y productiva de que dispone el evaluador para recoger informacin. En otras palabras, la entrevista es un intercambio de informacin que se efecta cara a cara. Es un canal de comunicacin entre el evaluador y los actores involucrados en un proyecto; sirve para obtener informacin acerca de las variables que intervienen en un proceso de desarrollo, as como las caractersticas cualitativas que explican ciertos tipos de comportamientos y conductas. a) Preparacin de la Entrevista Determinar a quin se dirige la entrevista. Preparar las preguntas que van a plantearse, y los documentos necesarios. Fijar un lmite de tiempo y preparar la agenda para la entrevista. Elegir un lugar donde se puede conducir la entrevista con la mayor comodidad. Convocar o citar con mucha anticipacin a los entrevistados.

78

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

b) Conduccin de la Entrevista Explicar con toda amplitud el propsito y alcance de la evaluacin. Explicar el carcter confidencial de la entrevista Hacer preguntas especficas para obtener respuestas cuantitativas y cualitativas. Evitar las preguntas que exijan opiniones interesadas, subjetividad y actitudes similares. Evitar el cuchicheo y las frases carentes de sentido. Ser amable en todo momento, abstenindose de emitir juicios de valores. Conservar el control de la entrevista, evitando las divagaciones y los comentarios al margen de la cuestin. Escuchar atentamente lo que se dice, guardndose de anticiparse a las respuestas. c) Recabar datos mediante la Entrevista La entrevista es una forma de conversacin, no de interrogacin, al analizar las caractersticas de los sistemas con personal seleccionado cuidadosamente por sus conocimientos sobre el sistema, los analistas pueden conocer datos que no estn disponibles en ningn otra forma. La informacin cualitativa est relacionada con opinin, poltica y descripciones narrativas de actividades o problemas, mientras que las descripciones cuantitativas tratan con nmeros frecuencia, o cantidades. A menudo las entrevistas pueden ser la mejor fuente de informacin cualitativas, los otros mtodos tiende a ser ms tiles en la recoleccin de datos cuantitativos. d) Determinacin del tipo de Entrevista La estructura de la entrevista vara. Si el objetivo de la entrevista radica en adquirir informacin general, es conveniente elaborar una serie de pregunta sin estructura, con una sesin de preguntas y respuesta libres. Las entrevistas estructuradas utilizan pregunta estandarizada. El formato de respuestas para las preguntas pueden ser abierto o cerrado; las preguntas para respuestas abierta permiten a los entrevistados dar cualquier respuesta que parezca apropiado. Pueden contestar por completo con sus propias palabras. Con las preguntas para respuesta cerradas se proporcionan al usuario un conjunto de respuesta que se pueda seleccionar. Todas las personas que respondes se basan en un mismo conjunto de posibles respuestas. Los evaluadores tambin deben dividir el tiempo entre desarrollar preguntas para entrevistas y analizar respuesta. La entrevista no estructurada no requiere menos tiempos de preparacin, porque no necesita tener por anticipado las palabras precisas de las preguntas. Analizar las respuestas despus de la entrevista lleva ms tiempo que con la entrevista estructuradas. El mayor costo radica en la preparacin, administracin y anlisis de las entrevistas estructuradas para pregunta cerradas.

79

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Realizar entrevistas toma tiempo; por lo tanto no es posible utilizar este mtodo para recopilar toda la informacin que se necesite en la investigacin; incluso el evaluador debe verificar los datos recopilados utilizando unos de los otros mtodos de recoleccin de datos. Diferencias entre Entrevista Estructurada y No Estructurada
ENTREVISTA ESTRUCTURADA Asegura la elaboracin uniforme de las preguntas para todos los que van a responder. Fcil de administrar y evaluar. Evaluacin ms objetiva tanto de quienes responden como de las respuestas a las preguntas. Se necesita un limitado entrenamiento del entrevistador. Resulta en entrevistas ms pequeas. Alto costo de preparacin. Los que responden pueden no aceptar un alto nivel en la estructura y carcter mecnico de las preguntas. Un alto nivel en la estructura puede no ser adecuado para todas las situaciones. El alto nivel en las estructuras reduce responder en forma espontnea, as como la habilidad del entrevistador para continuar con comentarios hacia el entrevistado. ENTREVISTA NO ESTRUCTURADA El entrevistador tiene mayor flexibilidad al realizar las preguntas adecuadas a quien responde. El entrevistador puede explotar reas que surgen espontneamente durante la entrevista. Puede producir informacin sobre rea que se minimizaron o en las que no se pens que fueran importantes.

VENTAJAS

DESVENTAJAS

Puede utilizarse negativamente el tiempo, tanto de quien responde como del entrevistador. Los entrevistadores pueden introducir sus sesgos en las preguntas o al informar de los resultados. Puede recopilarse informacin extraa El anlisis y la interpretacin de los resultados pueden ser largos. Toma tiempo extra recabar los hechos esenciales.

e) Realizacin de Entrevista La habilidad del entrevistador es vital para el xito en la bsqueda de hecho por medio de la entrevista. Una buena entrevista depende del conocimiento del evaluador tanto de la preparacin del objetivo de una entrevista especfica como de las preguntas por realizar a una persona determinada. El tacto, la imparcialidad e incluso la vestimenta apropiada ayudan a asegurar una entrevista exitosa. La falta de estos factores puede reducir cualquier oportunidad de xito.

80

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

A travs de la entrevista, los evaluadores deben preguntarse a s mismo las siguientes preguntas: Qu es lo que me est diciendo la persona? Por qu me lo est diciendo a m? Qu est olvidando? Qu espera est persona que haga yo? C. La Encuesta Es una tcnica cuantitativa que consiste en una investigacin realizada sobre una muestra de sujetos, representativa de un colectivo ms amplio que se lleva a cabo en el contexto de la vida cotidiana, utilizando procedimientos estandarizados de entrevista con el fin de conseguir mediciones cuantitativas sobre una gran cantidad de caractersticas objetivas y subjetivas de la poblacin. Ventajas: Tcnica ms utilizada y que permite obtener informacin de casi cualquier tipo de poblacin. Permite obtener informacin sobre hechos pasados de los encuestados. Gran capacidad para estandarizar datos, lo que permite su tratamiento informtico y el anlisis estadstico. Relativamente barata para la informacin que se obtiene con ello. Inconvenientes: No permite analizar con profundidad temas complejos (recurrir a grupos de discusin). El Cuestionario es el instrumento de la encuesta y es un instrumento de recogida de datos rigurosamente estandarizado que operacionaliza las variables objeto de observacin e investigacin, por ello las preguntas de un cuestionario son los indicadores. a) Tipos de Preguntas: Segn la respuesta que admitan: Abiertas (preguntas que slo formulan las pregunta, sin establecer categoras de respuesta): Se deben utilizar muy poco en las encuestas porque despus de la encuesta hay que cerrarlas y luego estandarizarlas. Cerradas: Dicotmicas (establecen slo 2 alternativas de respuesta, Si o No y a veces Ns/Nc): Se deben utilizar slo para temas muy bien definidos que admiten estas 2 alternativas como respuesta. Categorizadas (adems de la pregunta, establecen las categoras de respuesta): a su vez se subdividen en: o De respuesta espontnea: el encuestador no debe leerle la respuesta al encuestado.

81

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

o De respuesta sugerida: el entrevistador lee las preguntas al encuestado. o De valoracin: el entrevistador lee una escala de intensidad creciente o decreciente de categoras de respuesta. Segn su funcin en el cuestionario: Filtro: Se utilizan mucho en los cuestionarios para eliminar aquellas personas que no les afecten determinadas preguntas, es decir que marcan la realizacin o no de preguntas posteriores. Batera: Todas las preguntas tratan sobre un mismo tema y que siempre deben ir juntas en el cuestionario en forma de batera, empezando por las + sencillas y luego las + complejas. Esto se denomina embudo de preguntas. De Control: Se utilizan para comprobar la veracidad de las respuestas de los encuestados y normalmente lo que se hace en estos casos es colocar la misma pregunta pero redactada de forma distinta en lugares separados una de la otra. Amortiguadoras: Se refieren a que cuando estamos preguntando temas escabrosos o pensamos que sern reticentes a contestar, hay que preguntar suavizando la pregunta y no preguntar de modo brusco y directo. Segn su Contenido: Identificacin: Sitan las condiciones en la estructura social. Ej. Edad, sexo, profesin. Accin: Tratan sobre las acciones de los entrevistados. Ej. Va al cine?fuma?. Intencin: Indagan sobre la intenciones de los encuestados. Ej. Va a votar? Opinin: Tratan sobre la opinin encuestados sobre determinados temas. Ej. Qu piensa sobre...? Informacin: Analizan el grado de conocimiento de los encuestados sobre determinados temas. Motivos: Tratan de saber el porqu de determinadas opiniones o actos. b) Reglas para la Formulacin de Preguntas: No deben ser excesivamente largo, porque en cuestionarios largos (+100 preguntas) disminuye el porcentaje de respuestas. Tiene que ser sencillas y redactadas de tal forma que puedan comprenderse con facilidad (no utilizar trminos tcnicos).

82

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

No deben incorporar trminos morales (juicios de valor). Nunca sugerir la respuesta, incitando a contestar ms en un sentido que en otra. Todas deben referirse a una sola idea. Todas las que estn dentro de un mismo tema deben ir juntas en el cuestionario en forma de batera. No juntar preguntas cuya contestacin a una de ellas influya sobre la contestacin de la otra. c) El Encuestador Es la persona a quin se le confa la importante misin de solicitar y obtener de quien corresponda la informacin verdica y confiable, para ser anotados en las cdulas de la encuesta. Es importante destacar que de la calidad de su trabajo depender, en gran medida, la calidad de la encuesta. Las Funciones del Encuestador son: Estudiar, cumplir y aplicar todas las instrucciones impartidas por los diseadores de la Lnea de Base. Cuidar la integridad de los materiales de trabajo recibidos para la aplicacin de la encuesta. Solicitar cortsmente a los entrevistados la informacin requerida y registrarla tal como corresponde. Revisar la cdula al finalizar cada entrevista, para corregir los posibles errores. Poner en conocimiento del Coordinador de Encuestas los problemas y complicaciones que surgiesen en el desempeo de sus funciones para que sean solucionadas a la brevedad posible. d) La Tcnica de la Entrevista Algunos aspectos importantes que se deben tener en cuenta durante una entrevista son los siguientes: Acceso a la Persona Entrevistada El encuestador y la persona entrevistada no se conocen. Por esta razn la primera impresin de la apariencia del encuestador, sus primeras acciones y palabras que expresa son de vital importancia para ganar la cooperacin del entrevistado. Lo primero que debe hacer el encuestador es presentarse amablemente, indicando el nombre de la institucin para la cual trabaja y lo que desea de la entrevista. El encuestador debe informar a los entrevistados sobre los objetivos de la encuesta antes de resolver el cuestionario. Las explicaciones juegan un rol muy importante en la voluntad de las personas para responder a las preguntas.

83

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Carcter Privado de la Encuesta Es importante que la entrevista se realice en privado con la persona identificada para responder el cuestionario o parte del mismo. La presencia de otras personas puede interferir y en consecuencia, se corre el riesgo de recoger respuestas poco sinceras. Confidencialidad de las Respuestas Antes de hacer la primera pregunta, es importante hacer conocer el carcter secreto de la informacin a todas las personas que sern entrevistadas. El entrevistador debe explicar que no se publicarn nombres de personas en ningn caso y que toda la informacin recopilada se utilizar para preparar un estudio en base a los datos estadsticos. Por ningn motivo se debe mostrar cuestionarios llenos a otros encuestadores o supervisores en presencia del entrevistado u otra persona. Neutralidad Los cuestionarios son diseados cuidadosamente para evitar la posibilidad de sugerir respuestas al entrevistado, por lo tanto, resulta sumamente importante que el encuestador se mantenga NEUTRAL respecto al contenido de la entrevista. Si el encuestador no tiene cuidado en leer la pregunta completa, tal como aparece escrita puede destruir esa neutralidad. Es muy importante por ello, que el encuestador NO CAMBIE la pregunta a una forma que sugiera una respuesta determinada. Por ejemplo, no debe cambiar la pregunta: Es Ud. comunero?, a la forma: "Es Ud. comunero, no?". Cuando el entrevistado responde de manera vaga o imprecisa, el encuestador debe indagar de manera neutral diciendo "Puede explicar un poco ms?", "No pude or bien lo que dijo?", "Podra repetir de nuevo?", "No hay prisa, tmese todo el tiempo para pensar". Por NINGUN MOTIVO, el encuestador debe interpretar lo expresado por el entrevistado. Nunca se debe hacer notar, ya sea con la expresin del rostro o por el tono de la voz, que el entrevistado ha dado una respuesta incorrecta o errnea. Muchas veces el entrevistado puede preguntar al encuestador su opinin o puntos de vista. El encuestador debe sugerirle que "Su opinin es la que tiene valor para la encuesta", pero que despus de la entrevista puede dedicarle algunos minutos para conversar, si as lo desea. Si el entrevistado vacila en responder alguna pregunta o se niega a hacerlo, debe tratar de vencer esa resistencia, explicando una vez ms la naturaleza confidencial o secreta de la informacin y que en la encuesta estn participando personas de su comunidad. Si a pesar de ello, se niega a contestar, colocar la nota "rechazo" junto a la pregunta que no desee contestar y continuar normalmente. Una vez que se ha realizado todas las preguntas, debe tratar de obtener la informacin que falta, cortsmente.

84

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Control de la Entrevista El encuestador es quien dirige la entrevista y por lo tanto, l debe conducirla. Cuando se ponga en duda su autoridad para hacer ciertas preguntas, es conveniente explicar al entrevistado que el encuestador ha sido entrenado para esa tarea y que su labor consiste en hacer preguntas de esa naturaleza. Si el entrevistado da respuesta de temas ajenos o habla de asuntos que no tienen que ver con la entrevista, no es necesario que se le interrumpa; pero en la primera oportunidad con mucho tacto, haga de nuevo la pregunta. Es necesario mantener un buen ambiente durante la entrevista. Cuando el entrevistado encuentra que el entrevistador es una persona amable, simptica y que no se intimida, el entrevistado estar ms inclinado a responder sin reparos. Tratamiento con las Personas Indecisas En muchas ocasiones el entrevistado responder "no s", dar una respuesta con evasivas, traducir lo que ha dicho anteriormente o rehusar contestar las preguntas. En estos casos, el encuestador tratar de darle ms confianza y hacerle sentir ms cmodo antes de continuar con la siguiente pregunta. e) El Arte de Hacer Preguntas La conduccin de la entrevista y la forma de realizar las preguntas constituyen una mezcla de arte y tcnica, la misma que se adquiere con la prctica, pero observando ciertos aspectos bsicos que sealaremos a continuacin: Hacer las preguntas exactamente como estn escritas en el cuestionario Es importante que el encuestador formule las preguntas exactamente como estn redactadas en las cdulas, con las mismas palabras y en el orden que aparecen en el cuestionario. Si se altera el lenguaje, se puede tambin alterar el significado de la pregunta. Si el entrevistado no ha comprendido la pregunta, debe repetirla despacio y claramente. Si el entrevistado an no parece comprender, debe expresar la pregunta de otra manera, teniendo cuidado de no alterar el sentido de la pregunta original. En todo momento se debe procurar no afectar la neutralidad de la entrevista. Indagar sobre respuestas incompletas o no satisfactorias Puede suceder que ciertas repuestas dadas por el entrevistado no sean satisfactorias desde el punto de vista de la encuesta, puede que sea incompleta o fuera de propsito, o pueda ser que el entrevistado no est capacitado para responder esa pregunta.

85

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

En tales casos, con el fin de obtener una respuesta adecuada, debe realizar algunas preguntas adicionales. Este procedimiento se denomina indagar o sondear. Para ello debe usarse palabras que sean neutrales y no aquellas que invitan a dar respuestas determinadas. No asumir cosas por adelantado Las caractersticas socioeconmicas y sociolgicas de los entrevistados, zona de residencia o condiciones de su vivienda, no deben llevar al encuestador a asumir respuesta o formarse expectativas anticipadas. No debe sugerir respuesta en razn del aparente nivel cultural del entrevistado. Si el cuestionario lo seala, debe hacerse preguntas de "sondeo". Por otro lado es posible que el entrevistado espere que el encuestador se conduzca de una manera determinada y crea que su punto de vista, no va a ser comprendido, o que el encuestador no los va a aprobar. El entrevistador no solo debe evitar hacer conocer sus propias expectativas, sino que adems debe ser sensible al entrevistado. Debe hablar y comportarse de tal manera que el entrevistado se sienta cmodo y no provoque desnimo en las respuestas. No apresurar la entrevista Las preguntas deben ser hechas lentamente para asegurarse que el entrevistado haya comprendido lo que se le est preguntado. Una vez hecha la pregunta debe drsele el tiempo necesario para pensar. Si se le apura o no se le da el tiempo suficiente para formular su propia opinin, es posible que le responda evasivamente. Si el encuestador considera que la persona encuestada est contestando las preguntas sin pensar para terminar pronto, resultar conveniente que le explique que no hay prisa, dado que su respuesta es muy importante para el estudio. Fin de la entrevista Una vez finalizada la entrevista, se repasa el cuestionario por si se haya omitido alguna pregunta o quede incompleta alguna respuesta. De ser el caso, har nuevamente esas preguntas a los entrevistados a fin de completar el cuestionario. Finalmente agradecer la colaboracin prestada y se despedir. D. La Observacin La observacin es un mtodo clsico de investigacin cientfica; adems, es la manera bsica por medio de la cual obtenemos informacin acerca del mundo que nos rodea.

86

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Principios bsicos para realizar una observacin: Debe tener un propsito especfico. Debe ser planeada cuidadosa y sistemticamente. Debe llevarse, por escrito, un control cuidadoso de la misma. Debe especificarse su duracin y frecuencia. Debe seguir los principios bsicos de confiabilidad y validez. Entre las ventajas de la observacin, tenemos que determinada conducta se describe en el momento exacto en que est ocurriendo. Adems, las observaciones se pueden realizar independientemente de que las personas estn dispuestas a cooperar o no, a diferencia de otros mtodos en los que s necesitamos de la cooperacin de las personas para obtener la informacin deseada. En contraposicin, tambin existen algunas desventajas, tales como la dificultad para observar un comportamiento especfico en el momento de efectuar la observacin. Adems, las conductas que se encuentran sujetas a observacin, generalmente son limitadas. Es difcil poder observar la interaccin familiar, por ejemplo, al acostarse o levantarse. La observacin, debido a su utilidad, es un mtodo que se puede utilizar, junto con otros, para recabar informacin. Por ejemplo, se puede emplear la observacin en un estudio exploratorio, y para el estudio final se pueden usar otros mtodos tales como cuestionarios, entrevistas, etc. a) Observacin Participante: Este tipo de observacin est determinado por el hecho de que el observador participa de manera activa dentro del grupo que se est estudiando; se identifica con l de tal manera que el grupo lo considera uno ms de sus miembros. Es decir, el observador tiene una participacin tanto externa, en cuanto a actividades, como interna, en cuanto a sentimientos e inquietudes. Con este tipo de observacin, los investigadores pueden influir en la vida del grupo. Un problema del registro de la observacin es que el observador puede perder su objetividad. Para resolver este problema es conveniente que ms de una persona observe el mismo fenmeno, con el fin de comparar las observaciones realizadas. b) Observacin No participante: En este tipo de observacin el evaluador no participa de manera activa dentro del grupo que observa. Se limita a mirar y a tomar notas sin relacionarse con los miembros del grupo. Dependiendo de los objetivos que persiga la investigacin, se emplear uno u otro tipo de observacin. La observacin participante nos puede dar una idea ms clara acerca de lo que sucede dentro de un grupo, puesto que si los sujetos ven al observador como un miembro ms del grupo se comportarn normalmente. En cambio, aplicando

87

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

la observacin no participante, probablemente no se comportarn normalmente. Por otro lado, es probable que el evaluador, al no participar en la vida del grupo observado, pueda mantener ms fcilmente su objetividad. c) Observacin Libre o No Estructurada: Generalmente se lleva a cabo en un estudio piloto, cuando no se conoce muy bien la muestra que se va a estudiar. Puntos a considerar: La poblacin que vamos a estudiar: quines son, cmo se relacionan entre s, edad, sexo, nivel socioeconmico, etc. Las variables que son relevantes para nuestro estudio, as como la frecuencia y duracin de las mismas. La mejor manera de registrar esta informacin es hacindolo en el momento y situacin en que se est manifestando la conducta, puesto que as tendremos menos prejuicios, seremos menos selectivos y, en general, ms objetivos al registrar la informacin tal y como se presenta en la realidad. Sin embargo, esto no siempre se puede realizar, puesto que al estar tomando notas se puede distorsionar la conducta; adems, las personas pueden comportarse de manera poco diferente cuando saben que las estn observando, y sobre todo si alguien est tomando notas en relacin con su comportamiento. Por otro lado, es difcil tomar notas y observar al mismo tiempo. Si se trata de guardar todo en la memoria, probablemente la observacin no pueda ser muy exacta. Lo que se puede hacer es escribir solamente palabras claves mientras se realiza la observacin. Cuando se redacten los resultados finales, se debe utilizar una forma organizada y sistemtica, como, por ejemplo, una tabla de frecuencias. d) Observacin Estructurada: Es aquella que se lleva a cabo cuando se quiere hacer una descripcin sistemtica de algn evento. Es decir, cuando estamos realizando una evaluacin en el que tenemos un diseo de investigacin. Se diferencia de la observacin no estructurada en el sentido de que en esta ltima slo poseemos una idea vaga acerca de lo que vamos a observar, mientras que en la estructurada ya tenemos ms claramente definidos los objetivos que nos ayudarn a clasificar y concretar el evento en cuestin. En este tipo de observacin nos basamos en tablas de frecuencias. La observacin estructurada presenta menos problemas prcticos en cuanto a la forma de registro y utilizamos formas estandarizadas. Existen menos probabilidades de que los observadores sean subjetivos.

88

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

E. El Grupo Focal Es una tcnica de recojo de informacin; su justificacin y validacin terica se funda sobre un postulado bsico, en el sentido de ser una representacin colectiva a nivel micro de lo que sucede a nivel macro social, toda vez que en el discurso de los participantes, se generan imgenes, conceptos, lugares comunes, etc., de una comunidad o colectivo social. La tcnica de los grupos focales es una reunin con modalidad de entrevista grupal abierta y estructurada, en donde se procura que un grupo de individuos seleccionados por los investigadores discutan y elaboren, desde la experiencia personal, una temtica o hecho social que es objeto de investigacin, por ejemplo, una deteccin de necesidades de capacitacin. a) Definicin de los participantes del Grupo Focal: Un nmero adecuado es entre 6 a 12 participantes. De acuerdo a los objetivos del estudio se debe desarrollar una lista de los atributos o caractersticas predominantes o principales para seleccionar a los participantes. Hay que asumir que algunos de los invitados no aparecern, por esta razn, se recomienda seleccionar adems una poblacin de reemplazo (10% de los invitados originales). Se sugiere que una vez seleccionados los participantes, estos sean invitados oficialmente, reiterndoles los objetivos del estudio, la metodologa de trabajo a seguir, su rol e incentivos por su participacin, si estuviera considerado. b) Preparacin de Preguntas Orientadoras: Deben ser no solo concretas sino tambin orientadoras. Deben ser ampliables y en lo posible hay que llevar la discusin de lo ms general a lo especfico. Evaluar previamente de acuerdo a los participantes que invitar y pregntese: Qu preguntas podran contestar? Se sugiere seleccionar las cinco o seis preguntas ms adecuadas y pertinentes. Posicione las preguntas en una secuencia que sea cmoda para los participantes, movindose desde lo general a lo especfico, de lo ms fcil a lo ms difcil, y de lo positivo a lo negativo. c) Seleccin del Moderador del Grupo Focal Debe ser una persona que no est directamente involucrado con el tema en estudio, puede ser un profesional interno o externo. Es importante que el moderador participe de la planificacin de la reunin y est totalmente al tanto del tema a investigar para que logre un dominio efectivo de la actividad. Debe tener habilidades comunicacionales, como saber escuchar, darse a entender claramente tanto verbal como no verbalmente, saber interpretar

89

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

conductas comunicacionales, manejo de dinmicas de grupos, control eficiente del tiempo, asertividad. Debe poder ocuparse no solo de mantener a los Miembros del grupo atento y concentrado, sino tambin mantener el hilo central de la discusin, y cerciorarse que cada participante participe activamente. Tambin se puede utilizar un equipo de dos personas, donde una persona modera la discusin y la otra lleva la relatora o hace un trabajo de observacin del comportamiento asociado de los asistentes. Durante la reunin el moderador debe promover el debate planteando preguntas que estimulen la participacin demandando y desafiando a los participantes con el objetivo de sacar a flote las diferencias. Algunas veces ser necesario llevar la discusin a los pequeos detalles o si es el caso impulsar la discusin hacia temas ms generales cuando sta ha alcanzado un rumbo equivocado o ambiguo. Debe procurar mantener a los participantes atentos al tema en discusin siendo posible que en ciertas circunstancias, l deba conducir la conversacin hacia sus orgenes con el objetivo de reordenarla. El moderador tambin deber asegurarse que cada uno de los participantes tenga la oportunidad de expresar sus opiniones. Se recomienda que no muestre preferencias o rechazos que influencien a los Participantes a una opinin determinada o a una posicin en particular. d) La Reunin Se recomiendan sitios o lugares "neutrales" que no sean asociados con los Promotores ni con los sujetos del conflicto o con la situacin problema de discusin. Se recomienda que en el saln de reunin los participantes, en lo posible, rodeen al moderador (configuracin en U) y que tenga buena acstica para poder grabar. Planear el desarrollo del taller en un marco de tiempo no mayor a dos horas. Un mnimo de una hora se recomienda porque el proceso requiere un cierto tiempo para las observaciones de la apertura y de cierre del taller, al igual tener en cuenta por lo menos una o dos preguntas introductorias o de induccin. Determinar cules son los equipos ms apropiados para facilitar la sesin de Trabajo. Esto definir si se requiere de grabadora o videocinta. Grabar permite que el equipo de investigacin recupere fcilmente los aportes ms importantes y los comentarios que fueron hechos durante la discusin. La presencia de los aparatos de grabacin debe ser discreta. Si se van a ofrecer refrigerios, es recomendable que sea en un horario determinado y en un saln diferente a la reunin. Se recomiendan tarjetas de identificacin, de un tamao tal, que permitan al moderador identificar fcilmente al participante. e) Interpretacin de la Informacin Obtenida: Resumir inmediatamente la discusin y acuerdos de la reunin. Es ms fcil reconstruir lo sucedido inmediatamente. Transcribir las grabaciones inmediatamente para permitir que se reconstruya no solo la atmsfera de la reunin sino tambin lo tratado.

90

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Analice los relatos, actitudes y opiniones que aparecen reiteradamente o comentarios sorpresivos, conceptos o vocablos que generaron algunas reacciones positivas o negativas de los participantes, etc. Discuta la informacin con su grupo de evaluacin y nalo con las otras herramientas que haya utilizado para levantar informacin.

2.4 La Validacin de Instrumentos de Recojo de Informacin

La validacin de los instrumentos nos permite tener certeza de que lo que se est aplicando nos permitir recoger informacin de calidad y sin elementos de contaminacin o sesgos que puedan alterar los resultados; en ese sentido, se tienen dos tipos de validacin: La Validacin Tcnica y La Validacin de Campo. La validacin se aplica generalmente para los instrumentos cuantitativos, como las encuestas, porque de ellos dependern los datos y el anlisis de los resultados. La validacin persigue tres propsitos: Cerciorarnos si los formatos observan lo que queremos observar con ellas; Si el lenguaje utilizado (preguntas, instrucciones) es claro y entendible para los informantes; y Tener una idea clara del tiempo a emplearse para su aplicacin y de los recursos necesarios para optimizar el proceso. Es preciso mencionar que la validacin de los instrumentos durante el estudio de Lnea de Base es de suma importancia, toda vez que los instrumentos y procedimiento metodolgicos usados sern los mismos a ser aplicados en futuras evaluaciones. A. La Validacin Tcnica Una vez diseado el borrador definitivo, es decir, una vez delimitada la informacin, formuladas las preguntas, definido el nmero de ellas que vamos a incluir en el cuestionario y ordenadas las preguntas, corresponde llevar a cabo la validacin tcnica. La validacin tcnica es la revisin conceptual de los temas y preguntas que involucran la construccin y estructura de un instrumento de recojo de informacin; en tal sentido dicha validacin es por lo general, realizada por expertos en los temas que se van tratando en dicho instrumento. En ese sentido, dado que lo que normalmente se recoge como informacin viene diseado en una escala de medicin que permita tener una puntuacin de un aspecto tratado en el instrumento, la cual permitir compararla de diferentes individuos o la del mismo individuo en diferentes momentos, se debe asegurar que el instrumento de medida sea fiable y vlido. a) Fiabilidad Es el grado en que un instrumento mide con precisin, sin error. Indica la condicin del instrumento de ser fiable, es decir, de ser capaz de ofrecer en su empleo repetido resultados veraces y constantes en condiciones similares de medicin. La fiabilidad de un instrumento de medida se valora a travs de la consistencia, la estabilidad temporal y la concordancia inter-observacionales

91

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Consistencia: Se refiere al nivel en que los diferentes tems o preguntas de una escala estn relacionados entre s. Esta homogeneidad entre los tems nos indica el grado de acuerdo entre los mismos y, por tanto, lo que determinar que stos se puedan acumular y dar una puntuacin global. La consistencia se puede comprobar a travs de diferentes mtodos estadsticos. Estabilidad temporal: Es la concordancia obtenida entre los resultados del test al ser evaluada la misma muestra por el mismo evaluador en dos situaciones distintas (fiabilidad test-retest). Concordancia inter-observacionales: En el anlisis del nivel de acuerdo obtenido al ser evaluada la misma muestra en las mismas condiciones por dos evaluadores distintos, o en diferente tiempo, se obtienen iguales resultados. b) Validez Es el grado en que un instrumento de medida mide aquello que realmente pretende medir o sirve para el propsito para el que ha sido construido. A pesar de que se describen diferentes tipos de validez, sta, sin embargo, es un proceso unitario y es precisamente la validez la que permitir realizar las inferencias e interpretaciones correctas de las puntuaciones que se obtengan al aplicar un cuestionario y establecer la relacin con el constructo/variable que se trata de medir. Validez de Contenido: Se refiere a si el cuestionario elaborado, y por tanto los tems elegidos, son indicadores de lo que se pretende medir. Se trata de someter el cuestionario a la valoracin de investigadores y expertos, que deben juzgar la capacidad de ste para evaluar todas las dimensiones que deseamos medir. No cabe, por tanto, clculo alguno, slo las valoraciones cualitativas que los investigadores expertos deben efectuar. Validez de Constructo: Evala el grado en que el instrumento refleja la teora del fenmeno o del concepto que mide. La validez de construccin garantiza que las medidas que resultan de las respuestas del cuestionario pueden ser consideradas y utilizadas como medicin del fenmeno que queremos medir. Puede ser calculada por diversos mtodos, pero los ms frecuentes son el anlisis factorial y la matriz multirrasgo - multimtodo. Validez de Criterio: Relacin de la puntuacin de cada sujeto con un Gold Standard que tenga garantas de medir lo que deseamos medir. No siempre hay disponibles indicadores de referencia, por lo que, muchas veces, en la prctica se recurre a utilizar instrumentos que han sido respaldados por otros estudios o investigaciones y nos ofrecen garantas de medir lo que deseamos medir. No todos los instrumentos requieren validacin; algunas veces se utiliza formatos previamente validados o que incluyen segmentos o tems que ya lo han sido, de modo que slo exigen una comprobacin parcial.

92

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

B. La Validacin de Campo Es aquella en la que se somete los instrumentos elaborados a una aplicacin directa, sobre una poblacin con caractersticas similares a la del proyecto, con la finalidad de corroborar si dichos instrumentos guardan correspondencia en su sentido de aplicacin, es decir bsicamente para comprobar si el lenguaje utilizado es el correcto y es comprendido, si los dibujos o grficos que se utilicen son pertinentes y no atentan contra la cultura y costumbres de la poblacin, si los colores guardan armona con los de la naturaleza y contexto de la poblacin, etc. La validacin de campo es realizada das previos a la aplicacin de los instrumentos, ello garantiza que cualquier modificacin que se pueda realizar en dichos instrumentos represente una limitacin menos en el recojo de la informacin y finalmente los datos recogidos puedan representar la situacin real de los indicadores bajo medicin. Por lo general, solo son validados en campo los instrumentos cuantitativos, el nmero de personas a quines se aplica dichos instrumentos es relativo y no depende de una muestra; principalmente porque en sta validacin no se busca obtener datos, sino revisar las caractersticas cualitativas de dichos instrumentos. En ese sentido, por es comn realizar la validacin de campo en una sola localidad y con un reducido nmero de pobladores (entre 20 y 50). En dicho ejercicio, quines apliquen los instrumentos deben tomar nota de las limitaciones, confusiones, problemas y cualquier otra incidencia que hayan experimentado en el proceso de aplicacin del instrumento; de tal manera que al finalizar el proceso, todos puedan trasmitir a quines disearon los instrumentos los inconvenientes de su aplicacin; sta informacin servir para realizar ajustes, principalmente de forma, a los instrumentos y ellos puedan quedar afinados y listos para ser aplicados a la poblacin objetivo del estudio de Lnea de Base. C. Tcnicas de Validacin Las tcnicas de validacin son utilizadas principalmente para la Validacin Tcnica de los instrumentos; dado que la validacin de campo consiste en poner a prueba los propios instrumentos de recoleccin de datos. En ese sentido, las tcnicas ms utilizadas para la revisin y anlisis de los instrumentos de recoleccin de datos son: a) Validacin Parcial Es aquella que la realizan los propios gestores del proyecto, o quines encargaron la realizacin del estudio de Lnea de Base; esta validacin es bsicamente una aprobacin y conformidad de lo que vienen realizando los encargados de la elaboracin de dicho estudio; tiene propsitos bsicamente administrativos. La revisin de los instrumentos de recoleccin de datos se realiza en funcin de los temas que abordar el estudio de Lnea de Base; dado que comnmente quines realizan la revisin no son expertos en los temas, su anlisis radica principalmente en cuestionamientos de redaccin ms que conceptuales.

93

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Este tipo de validacin no es conveniente, pero muchas veces por limitaciones presupuestales se realiza; por lo cual quines lo realicen deben tomar cuidado de realizar una revisin bibliogrfica previa para tener mayores elementos de juicio en el entendimiento de los temas y el planteamiento de preguntas. b) Registro de Especificaciones En algunas oportunidades, los interesados en realizar el estudio de Lnea de Base establecen ciertos lineamientos y especificaciones conceptuales y de redaccin para la construccin de instrumentos de recoleccin de datos; en ese sentido, la validacin de los instrumentos se realiza comparndolas con dichos registros de especificaciones, de tal manera que se pueda verificar que dichos parmetros se hayan cumplido. Igualmente, no es una validacin completa, dado que los criterios de validacin recaen solo en algunas especificaciones que muchas veces pueden ser subjetivas y de juicios personales y no tcnicos o de carcter acadmico o conceptual. c) Juicio de Expertos Es una de las tcnicas ms confiables para la validacin de instrumentos de recoleccin de datos. Es el concurso de un grupo de expertos en las diferentes reas temticas que aborda un determinado instrumento, para su revisin anlisis y opinin, entregando un reporte que emite un juicio o valor sobre cada uno de los tems de los que se compone dicho instrumento. Los expertos se pueden pronunciar sobre los errores u omisiones que estiman para cada uno de los instrumentos bajo validacin. Tambin pueden ofrecer sus reflexiones acerca de la influencia de determinados factores sobre el comportamiento de las personas a quines se aplicarn dichos instrumentos, para as reflejar adecuadamente las diferencias entre los valores que se obtendrn y la situacin real que se pretende estudiar. El Proceso Inicialmente, hay que tener una idea clara acerca de qu instrumentos requieren ser validados; dentro de ellos qu tems, porque pueden encontrarse algunos tems que ya han sido validados o podemos estar utilizando tems liberados (tems que pertenecen a fuentes oficiales y han sido publicados para el uso del pblico en general; por ejemplo los tems liberados del INEI para estimar Lnea de Pobreza). Para seguir el proceso se debe seleccionar a los expertos. Pueden encontrarse personas expertas entre quienes desempean el trabajo, formadores, especialistas, directivos y personas del equipo de proyectos y diseo. Para que una persona pueda ser etiquetada como experta debe poseer un conocimiento profundo del tema o temas que ser objeto de anlisis y valoracin. Asimismo, los expertos a los que se recurre tienen que ser capaces de traducir su valoracin en trminos de probabilidades.

94

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

El nmero de expertos necesario para conseguir el juicio que se busca no es fijo, oscila desde tres o cuatro expertos hasta seis. Sin embargo, en algunas ocasiones pueden utilizarse ms de ocho expertos, segn la precisin que se desee. Se debe tener previsto el modo en que se recogern los juicios de los expertos y tener preparados, si es el caso, cuestionarios, escalas de evaluacin, etc. La precisin en stos es esencial para que los resultados no queden sesgados por fallos de comprensin. Tambin se deben preparar las instrucciones que se van a dar a los jueces o expertos, de modo que comprendan con claridad cul es el objetivo de su ejercicio de validacin. Mtodos Los juicios de expertos se pueden obtener por mtodos grupales o por mtodos de experto nico. Se pueden seguir, entre otros, el mtodo de agregados individuales, el mtodo Delphi, la tcnica grupal nominal y el mtodo de consenso grupal. Mtodo de Agregados Individuales: Se pide individualmente a cada experto que d una apreciacin directa a cada uno de los tems del instrumento bajo validacin. Despus se analizan las respuestas individuales de los expertos y se establecen coincidencias, dndoles un tratamiento estadstico a dichos resultados. Lo habitual es calcular la media aritmtica del conjunto de apreciaciones individualmente obtenidas, para cada tem. Esto se hace presuponiendo que el conjunto de los datos posibles tiene una distribucin simtrica y, por tanto, la media aritmtica es un buen ndice de tendencia central. ste es un mtodo econmico porque, al igual que el mtodo Delphi, no exige que se rena a los expertos en un lugar determinado. Puede parecer un mtodo limitado porque los expertos no pueden intercambiar sus opiniones, puntos de vista y experiencia, ya que se les requiere individualmente; no obstante, esta limitacin puede ser precisamente lo que se est buscando para evitar los sesgos de los datos ocasionados por conflictos interpersonales, presiones entre los expertos, etc. Mtodo Delphi: Este mtodo fue creado en 1948 para obtener la opinin de expertos de una manera sistemtica. En un primer momento, cada experto analiza los instrumentos de manera individual y annima. Despus se analizan las respuestas del conjunto de expertos, bajo un tratamiento similar al de Agregados Individuales y se remite a cada uno las observaciones medianas obtenidas, para cada uno de los tems de los instrumentos bajo validacin y se les pide que reconsideren su juicio anterior, teniendo en cuenta estos datos. En cada una de las tres o cuatro vueltas siguientes, se informa a los expertos de cul es la mediana del grupo y se les propone revisar su juicio anterior.

95

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Una dbil dispersin de los juicios obtenidos en la ltima vuelta indicara que se ha alcanzado un consenso. La mediana de las observaciones obtenidas en esta ltima vuelta es el valor que se estaba buscando. Se emplea este estadstico de tendencia central (mediana), porque se presupone que las puntuaciones posibles de los expertos se distribuyen de forma asimtrica. Con el mtodo Delphi, los expertos comparten en cierto modo sus opiniones, sin que existan discusiones ni confrontaciones directas entre ellos. Tcnica Grupal Nominal: El primer paso es reunir a los expertos (entre ocho y diez personas) y pedirles que registren, individualmente y sin intercambiar opiniones, sus propias observaciones y comentarios respecto a cada uno de los tems de un determinado instrumento. Despus, cada experto expone a los dems sus apreciaciones registradas y al acabar esta ronda, todos los expertos disponen de la relacin comn del grupo. El paso siguiente consiste en un debate altamente estructurado de cada uno de los tems de sta. Finalmente, cada experto, de forma individual y por escrito, genera sus nuevas apreciaciones por cada uno de los tems bajo validacin. En general, se procede como con el mtodo Delphi, con la salvedad de que en esta tcnica se permite algn debate entre los expertos, para que aclaren y compartan la informacin que cada uno est considerando. No obstante, las discusiones son limitadas y as se limita tambin la presin de los expertos sobre los juicios de otros. Aunque hay intercambio de pareceres, los juicios se emiten de forma individual y la estimacin final suele ser la media aritmtica del conjunto de las estimaciones dadas por los expertos. Para emplear esta tcnica conviene que el grupo de expertos sea pequeo, se fomente la libre expresin y se eviten las crticas (discusiones tensas), el sistema de votacin y el regateo. El xito de la tcnica depende, por una parte, de la habilidad y la experiencia de quien hace de moderador del grupo y por otra, de la buena voluntad del grupo de expertos para trabajar juntos en un marco altamente estructurado. Mtodo del Consenso Grupal Es uno de los mtodos ms utilizados y se necesita reunir a los expertos en un lugar determinado. Entonces se indica al grupo que su tarea consiste en lograr una apreciacin de cada uno de los tems bajo validacin de un instrumento, que sea satisfactoria para todos los expertos. Con estas instrucciones se maximizan los intercambios de informacin y opiniones dentro del grupo de expertos.

96

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Este mtodo, como el anterior, tambin precisa que el grupo de expertos sea pequeo, se fomente la libre expresin y se eviten las discusiones tensas y los sistemas de votacin.

2.5 El Plan de Trabajo

Como se ha mencionado anteriormente, llevar a cabo las Lneas de Base requiere de un conjunto de actividades articuladas, consecutivas y programadas con oportunidad. En tal sentido, ayuda mucho la elaboracin de un Plan de Trabajo o Programa de Actividades, donde se aclare la relacin entre actividades, insumos y tiempos. A. Estructura de un Plan de Trabajo Toda actividad implica la provisin de recursos de distinta ndole, entre los que podemos identificar recursos humanos (responsables en trminos de la ejecucin de los proyectos), logsticos (traslados, ambientes para reuniones o entrenamientos, provisin de equipos, materiales, etc.) y tiempos (plazos). Precisamente, los Programas de Actividades son matrices bsicas de planificacin (diagramas de Gantt) que vinculan los plazos de ejecucin con las actividades, productos y recursos logsticos y humanos. Pueden ser elaborados con el uso de software, si el proyecto contiene diversos componentes cada uno de los cuales demanda muchas actividades e insumos, o con utilitarios ms bsicos (MS Excel o MS Word) si el proyecto es ms simple. Incluso, en ocasiones puede bastar un papelote, una regla y algunos plumones de colores. Al margen de los recursos que se utilice para su elaboracin, lo importante es que este programa facilite el seguimiento a los avances en la ejecucin de la Lnea de Base. Por lo general, todas las decisiones que se han tomado en cada una de las etapas de preparacin de la Lnea de Base, las cuales han proporcionado informacin suficiente para disear el estudio, son sealados en un documento marco de planificacin conocido como el Plan de Trabajo; el contenido del plan es variable y depende mucho del tamao del proyecto y del nivel metodolgico que se aplicar, conteniendo comnmente: Los propsitos u objetivos generales que persigue con el estudio de Lnea de Base, indicando, en su caso, el marco regulatorio donde se establezca la necesidad de llevarla a cabo o las motivaciones que le impulsan a poner en marcha el proceso. Esta justificacin de por qu se realiza el estudio permitir que los equipos de evaluacin contextualicen el proceso y su marco de referencia. En la Introduccin, cuando redacte el apartado correspondiente a los usos de la Lnea de Base, conviene que indique quines son los principales usuarios, sealando su grado de implicacin y participacin en el estudio. En los Antecedentes de la intervencin, debe aparecer una breve historia de la intervencin del proyecto, indicando su marco legal y nivel de planificacin superior en el que se encuadra, la fecha de inicio y finalizacin, el presupuesto

97

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

asignado a la intervencin y, de manera resumida, la lgica de planificacin (objetivos, actividades y resultados esperados, fases previstas y realizadas, fechas de inicio y finalizacin y presupuesto de cada una, indicando el momento en el que se encuentra la intervencin). Tambin debe recoger una breve referencia al contexto socio-econmico de la intervencin y las caractersticas del colectivo beneficiario. En el apartado del Marco Metodolgico se deben establecerse las dimensiones geogrfica, institucional, temporal, social y temtica o sectorial de la intervencin que deben afrontarse en el estudio de Lnea de Base; as como el marco muestral, las tcnicas de recoleccin de datos y anlisis de la informacin. En este apartado debe aparecer la Matriz de Consistencia y una explicacin detallada del mismo. En el Marco Operativo, se debe explicar cmo se piensa implementar la metodologa seleccionada, cmo se piensa administrar los recursos humanos, materiales y logsticos, explicando detalladamente el despliegue desarrollarn cada uno de ellos. En el Cronograma, se debe establecer por cada una de las actividades y tareas en un horizonte temporal que permita sealar cronolgicamente el da en que se llevar a cabo y quin ser el encargado o responsable de hacerlo. Finalmente, el presupuesto, el cual establece las necesidades financieras para llevar a cabo el estudio de Lnea de Base; por lo general, las entidades cuentan con un presupuesto asignado para los estudios de Lnea de Base, razn por la cual los encargados de realizar dicho estudio deben adecuar su metodologa, tcnicas e instrumentos a dicho presupuesto. B. Cronograma Un cronograma es un calendario de trabajo, que mantiene una estructura secuencial de actividades a realizar; lo cual permite planificar con anticipacin nuestras expectativas de trabajo, a organizarnos y hacer el proceso de trabajo ms rpidamente; pero si no seguimos nuestra planificacin este no nos servira. a) Pasos para realizar un Cronograma. Presentar los objetivos que el cronograma nos va a aportar, organizndolos por su grado de importancia. Proponer las actividades necesarias para llevar a cabo estos objetivos. Establecer el grado de obligatoriedad de cada actividad. Establecer los materiales necesarios para llevar a cabo las actividades propuestas. Estimar el tiempo que debe durar cada una de las actividades propuestas. Distribuir las actividades entre sus componentes. Tener un registro para contabilizar si los objetivos de las actividades se estn cumpliendo. Anular o reducir el riesgo de atraso de las actividades ms complejas. Finalmente adaptar el cronograma al calendario real.

98

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

b) Consideraciones a tomar en cuenta Los objetivos que se van a programar, deben de ser concretos, reales y asequibles. Tienen que tener un plazo temporal. Primero realizar un borrador para despus realizar el cronograma que se va a desempear. Las tareas ms complejas se realizaran antes que las menos asequibles. Clasificar las tareas y establecer prioridades. Se debe de manejar las interrupciones de la manera ms eficiente. Agrupar tareas relacionadas para evitar perder tiempo. Adelantarse a situaciones que puedan ocurrir. Hacer un cronograma flexible y con tiempo de antelacin para adelantarse a situaciones que puedan ocurrir. C. Presupuesto Una de las tareas adicionales que se define hacia el final del diseo metodolgico de una Lnea de Base es la estimacin del presupuesto; la cual consiste en realizar la revisin de los costos de las actividades implicadas, ya sea como totalidad o a partir de grupos de actividades asociadas a la aplicacin de las tcnicas. Por ejemplo, los grupos focales pueden realizarse en un local pblico (gobierno local) o en espacio particular (casa de personas) y depender de las distancias y otros factores logsticos, el nmero de participantes, etc. El costo supone tomar en cuenta gastos en diferentes rubros: personal, equipos, transporte, viticos, entre otros. Si el estudio de Lnea de Base se va a realizar internamente, se requerir de un presupuesto estimado de la misma. En el caso de consultoras externas, el diseo de su evaluacin ser ms completo si elabora un presupuesto orientativo que sirva de referencia a los evaluadores a la hora de presentar sus propuestas. Hay tres elementos que justifican la mayor o menor cuanta del desembolso presupuestario que se debe asignar para la elaboracin de un estudio de Lnea de Base: La naturaleza y alcance del trabajo requerido; Las caractersticas de la intervencin a evaluar; y El propsito de la evaluacin puesta en marcha. Es importante tener en cuenta que una buen estudio de Lnea de Base requiere de evaluadores calificados y la aplicacin de tcnicas adecuadas de recopilacin y anlisis de la informacin. En ningn caso las restricciones presupuestarias deben ser un factor que limite la calidad del estudio. Si tiene recursos limitados, la mejor alternativa es restringir el alcance del estudio. En general, es conveniente que establezca algunas categoras bsicas para que los evaluadores desglosen el presupuesto de sus propuestas. Por ejemplo, el presupuesto asignado a la recopilacin de informacin, al trabajo de campo o a la redaccin y presentacin del informe de evaluacin. Tenga en cuenta que dos de los epgrafes ms importantes del presupuesto de la evaluacin son los relacionados con el trabajo de campo y con los honorarios de los evaluadores.

99

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Ejemplo de Presupuesto para la Elaboracin del Estudio de Lnea de Base de un proyecto de Seguridad Alimentaria
Presupuesto a todo costo realizado por Consultora Externa RUBRO UNIDAD CANTIDAD COSTO UNITARIO (S/.) COSTO TOTAL (S/.) 976.80 Unidad Millar Millar Ciento Unidad Unidad 30 1 1 2 6 24 0.30 21.00 60.00 50.00 4.00 1.20 9.00 21.00 60.00 100.00 24.00 28.80

I. Materiales e Insumos Bsicos - Materiales de Oficina Lpices Papel Bond Tamao A4 Tarjetas de Cartulina Medio oficio Papelotes Cinta Masking Tape Plumones Punta Gruesa - Insumos Bsicos Pilas AAA Pilas AA Cassetes Filmacin CD's DVD's - Insumos Mediciones Microcubetas Lancetas Alcohol Algodn Venditas Guantes quirurgicos Papel Toalla Litreras II. Alquileres y Servicios - Alquiler Camioneta - Comunicaciones - Encuestadores - Facilitadores - Personal Estndar Medicin Talla y Peso - Personal Estndar Medicin Hemoglobina III. Viticos - Pasajes Pasajes Lima - Cusco - Lima Pasajes Cusco - Paucartambo - Cusco - Alimentacin Alimentacin por da x 04 personas - Alojamiento Hospedaje por da x 04 personas

Unidad Unidad Unidad Unidad Unidad

12 12 3 6 6

2.00 2.50 4.00 1.00 3.00

24.00 30.00 12.00 6.00 18.00

Unidad Caja x 200 und Lt. Pqte. 100gr Caja x 200 und Unidad Unidad Unidad

80 1 1 10 2 15 3 3

5.00 25.00 28.00 3.50 15.00 5.00 3.00 14.00

400.00 25.00 28.00 35.00 30.00 75.00 9.00 42.00 8,564.00 3,000.00 250.00 1,864.00 450.00 1,500.00 1,500.00 5,512.00

Da Global Encuestas Facilitadores Estndar Estndar

10 1 233 3 1 1

300.00 250.00 8.00 150.00 1,500.00 1,500.00

Boleto/Persona Boleto/Persona Das Das

4 4 10 10

528.00 50.00 160.00 160.00

2,112.00 200.00 1,600.00 1,600.00

100

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

IV. Procesamiento de la Informacin - Digitalizacin y Codificacin Base Datos - Trascripcin de Audio V. Honorarios - Coordinador del Equipo - Especialista en Nutricin - Especialista en Educacin - Especialista Anlisis Estadstico VI. Over Head VII. Impuesto General a las Ventas TOTAL (NUEVOS SOLES) con IGV

Digitador Transcriptor

2 2

250.00 400.00

1,300.00 500.00 800.00 18,000.00 6,000.00 4,500.00 4,500.00 3,000.00 3,435.28 7,179.74 44,967.82

Honorarios Honorarios Honorarios Honorarios Over Head IGV

1 1 1 1 10% 19%

6,000.00 4,500.00 4,500.00 3,000.00

101

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

UNIDAD III MARCO OPERATIVO PARA LA IMPLEMENTACIN DE UNA LNEA DE BASE

3.1 El Trabajo de Campo
El diseo metodolgico de un estudio de Lnea de Base es un trabajo importante y de mucho cuidado, porque de l depender la fiabilidad y veracidad de la informacin que se recoja de un determinado mbito; sin embargo, el trabajo de campo no deja de ser importante, porque de l depender la calidad de la informacin; pueden existir diseos metodolgicos e instrumentos muy acertados, pero si ellos no son aplicados correctamente en el campo, indudablemente los resultados no podrn ser confiables. En ese sentido, se requiere reunir las capacidades tcnicas necesarias para la elaboracin del estudio; una vez decidida la conformacin de los equipos, el paso siguiente es plasmar su actuacin en un organigrama, segmentado segn zona territorial (regiones, provincias, distritos, etc.) o segn las tcnicas a utilizarse, lo que facilitar el control durante el trabajo de campo. Una propuesta de organigrama de equipo de evaluacin apropiado para la aplicacin de una Lnea de Base es:

Coordinador de Lnea de Base

Supervisor de Instrumentos Cuantitativos

Supervisor de Instrumentos Cualitativos

Equipo de Encuestadores Zona A

Equipo de Encuestadores Zona B

Facilitador de Entrevistas a Profundidad

Facilitador de Grupos Focales

102

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

A. Identificacin del mbito de Estudio Como se haba mencionado anteriormente, el mbito de estudio de la Lnea de Base no necesariamente es todo el mbito del proyecto; razn por la cual la identificacin del mbito es importante porque a partir de ella se podr establecer las rutas y los das que se necesitarn para llevar a cabo la aplicacin de todos los instrumentos de recojo de informacin. Es necesario establecer un mapa que incluya las rutas que seguirn los encuestadores o equipos de encuestadores; as como las localidades que deben visitar los facilitadores (entrevistas a profundidad y grupos focales); se debe de preveer las distancias, los tiempos necesarios para llegar a dichas localidades, as como la identificacin de los medios de transporte que transitan por dichas rutas, los costos de pasajes, as como los costos de traslado en caso de hacerlo con movilidad contratada. Los mapas permitirn establecer el nmero de equipos de encuestadores con los cuales contar, el nmero de encuestadores por equipo y el nmero de das que se necesitar para realizar el levantamiento de la informacin; estos datos tambin permitirn calcular el presupuesto requerido para el proceso de aplicacin de los instrumentos en campo. La identificacin del mbito tambin implica el reconocimiento de las fuentes de informacin secundaria, como establecimientos de salud, municipios, oficinas descentralizadas de entidades pblicas, organizaciones no gubernamentales de desarrollo (ONG), entre otras; que pueden ofrecer informacin relevante que permitir contrastar con la informacin que se obtendr de la aplicacin de los instrumentos de recoleccin de datos. As mismo, es importante identificar las instituciones educativas que podran servir como fuente para la seleccin de encuestadores (Institutos Superiores o Universidades); dado que una recomendacin para toda evaluacin es utilizar siempre jvenes con estudios superiores para la aplicacin de encuestas y que sean de la propia localidad, ello permitir reducir las limitaciones de idioma y conocimiento del mbito. B. Capacitacin a Encuestadores En todo proceso de recoleccin de informacin, utilizando como procedimiento la aplicacin de encuestas, es el encuestador quien adquiere una importancia fundamental para la obtencin de informacin, porque: Es el encargado de recopilar los datos en forma pura, veraz, fidedigna, actual y oportuna. Tiene la responsabilidad de realizar un trabajo efectivo, completo, de ptima calidad y excelente cobertura, su disponibilidad y dedicacin a la encuesta deben ser permanentes. Es quien posee la nica oportunidad de lograr informacin objetiva y verdadera por estar en contacto directo con las personas a quines se les aplica los instrumentos. Representa a la institucin en el terreno, es la imagen visible y personalizada de la institucin que est realizando la aplicacin de los instrumentos.

103

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Un buen encuestador debe poseer las siguientes caractersticas: Estar preparado para inspirar confianza y dar seguridad a la gente. Tener un carcter especial para mantenerse imperturbables frente a situaciones inesperadas como: reclamos directos o indirectos, rechazos bruscos o violentos, amenazas u otros. Ser un excelente relacionista pblico para enfrentar al informante siempre en forma muy cordial. Poseer un alto grado de seguridad en s mismo, capaz de tomar decisiones en terreno, con amplio conocimiento y dominio de todos los aspectos conceptuales que involucran su actividad. Una vez ajustados tanto los instrumentos y los instructivos del trabajo de campo, se debe capacitar al personal encargado de la aplicacin de los instrumentos de medicin y a los encargados de la supervisin de dicho proceso. Para ello se disear un esquema bsico de capacitacin, que considere dos elementos: La conduccin de la entrevista (aplicacin de la encuesta): orientaciones bsicas de cmo debe llevarse a cabo la entrevista, que debe decir y que no; su comportamiento; y el tratamiento de determinadas circunstancias. La Informacin que se requiere: una explicacin detallada de que es lo que se busca con cada uno de los tems del cuestionario que se aplicar. En base a estos elementos se define el tiempo requerido para llevar a cabo la capacitacin, as como los materiales necesarios para el mismo. El proceso de capacitacin debe incluir la preparacin de un manual o gua del encuestador; material que le servir no solamente para comprender los tems del cuestionario; sino como material de apoyo durante la propia aplicacin de los instrumentos. El proceso de capacitacin se realiza das previos a la aplicacin de los instrumentos; muchas veces la validacin de campo se realiza conjuntamente con los mismos encuestadores, afn de que dicha validacin tambin sirva de capacitacin y entrenamiento en la aplicacin de los instrumentos. C. Capacitacin a Facilitadores De igual forma, la capacitacin de los facilitadores es una actividad previa a la aplicacin de los instrumentos. Los facilitadores son aquellos profesionales que cuentan con cierta experiencia en el tema o temas que se tratar durante la aplicacin de un determinado instrumentos; por lo general los facilitadores son los que aplican los instrumentos cualitativos, como por ejemplo, entrevistas a profundidad, grupos focales, talleres, test, aplicacin de pruebas de aprendizaje, etc. En ese sentido, la capacitacin de estos profesionales se realiza con el objetivo de estandarizar los criterios de bsqueda de informacin al momento de la aplicacin de dichos instrumentos; por ejemplo, si se va a contratar a varios facilitadores para

104

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

la realizacin de entrevistas a profundidad, es conveniente que todos cuenten con los mismos elementos para poder plantear repreguntas a los entrevistados. La Capacitacin de los facilitadores tambin se realiza de manera paralela a la capacitacin de los encuestadores; por lo general, los instrumentos cualitativos como guas de entrevistas y grupos focales no son necesarios ser validados en campo, por lo que la capacitacin consiste bsicamente en la revisin de los instrumentos y la homogenizacin de los conceptos e ideas vertidos en dichos instrumentos. Los facilitadores juegan un rol muy importante en el momento del recojo de informacin, porque de ellos depender encontrar las razones de aquellos valores que nos arrojarn los instrumentos cuantitativos; es decir, las explicaciones de por qu una variable es tan alta o tan baja; por ello se requiere que los facilitadores cuenten con: Experiencia en el manejo de tcnicas de entrevistas Experiencia en el manejo de grupos Manejo de la lengua de los pobladores a quines se les aplicar el instrumento Capacidad de anlisis y bsqueda de informacin Conocimientos del tema que se estar abordando en la aplicacin del instrumento. Los facilitadores tambin deben de contar con una gua de preguntas, con las cules guiar las entrevistas a profundidad o los grupos focales; as mismo se debe saber previamente las tcnicas que se aplicarn, en el caso que se requiera la utilizacin de algn tipo de recurso para recabar informacin; por ejemplo, si un facilitador debe realizar un grupo focal con madres analfabetas, previamente debe haber preparado recursos ldicos para recabar la informacin. En ese sentido, la capacitacin no solo es un medio para orientar y estandarizar criterios y conceptos entorno a los instrumentos que aplicarn; sino tambin es un medio para la planificacin operativa de dichos instrumentos. D. La Supervisin Despus de haber validado los instrumentos, as como capacitado a los encuestadores y facilitadores; es necesario proceder a los ltimos preparativos y afinar algunos detalles para estar seguros de que todo se har conforme a lo programado. La aplicacin de tcnicas en campo es la puesta en marcha de lo planificado; en ese sentido, es deseable que las actividades desarrolladas en esta fase cumplan todos los procedimientos previstos. La supervisin debe prestar atencin a dos aspectos importantes: a) La Logstica Es importante tener claro que cada tcnica a utilizarse en los estudios de Lnea de Base conlleva sus propios preparativos. Algunas de ellas como las encuestas pueden requerir de dos a ms das, dependiendo del tamao de la muestra en que se la aplique y de la dispersin geogrfica de los lugares donde se ubican los informantes que la componen. Sin embargo, los materiales

105

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

de apoyo para su aplicacin son por lo general pocos y simples, como por ejemplo los formatos impresos, unos lpices, un listado de informantes y una ruta para ubicarlos, y quiz un conjunto de tarjetas para apoyar las respuestas. Por el contrario, una tcnica como la observacin sistemtica con apoyo de video y fotografa, perfectamente puede tomar 2 3 horas (no ms de un da), pero requiere bastante ms equipo y material de apoyo que una encuesta convencional. Hablamos de equipos de video y cmaras fotogrficas, los materiales que estos equipos utilizan y los operadores especializados que se requieren. Adicionalmente, se necesitarn fichas y formatos para la observacin, la ruta que sta va a seguir y, por lo comn, un tcnico con capacidades para el levantamiento de mapas y croquis de lo observado. Aqu un elemento clave es el armado de un registro detallado de todo lo necesario para la aplicacin de cada tcnica en las condiciones programadas. Esto supone prever el nmero suficiente de equipos y materiales, incluyendo sus recambios. Por otro lado, es necesario tener claridad sobre algunos procedimientos bsicos para prevenir la prdida de formatos: una vez aplicada una tcnica en una determinada zona se debe sacar una copia de cada formato y hacerlos llegar al centro de operaciones (donde se procesar los datos) por rutas distintas, unas copias va correo fsico o electrnico y las otras a cargo del personal de campo. b) La Verificacin de la Calidad de los Datos Recogidos La calidad de los datos con los que se cuente en un estudio de Lnea de Base tiene que ver con cmo evitar o cmo superar (si ya se cometieron) errores en su recoleccin. Si se quiere contar con datos confiables es necesario detenerse un momento a considerar las posibles causas de error. Los errores ms frecuentes se producen cuando el registro de respuestas es deficiente o cuando el personal de campo no conoce el propsito de la informacin (problemas de capacitacin al equipo), o tambin cuando algunos de los informantes no renen las caractersticas de la muestra (problemas de determinacin de la muestra). En trminos generales, estos errores pueden dividirse en "muestrales" y "no muestrales". Los errores muestrales tienen que ver con los procedimientos tcnicos de determinacin de las muestras y la seleccin de las unidades que las conforman. Estos errores pueden evitarse con la contratacin de un especialista en estadstica, que adems cuente con experiencia en proyectos de desarrollo social. Los errores "no muestrales" no slo son bastante ms frecuentes y aparecen en distintos momentos del trabajo de campo, sino que tambin son de tipo ms diverso y, por ello, superarlos resulta ms complicado. Conocer algunas de sus principales causas puede ayudar a reducir su incidencia: Sesgos del encuestador o facilitador, por ejemplo en los usos idiomticos e incluso en las actitudes mostradas al momento de hacer las preguntas, que influyen en el modo en que los informantes responden. Errores de registro, ya sea en la transcripcin literal (preguntas abiertas) o en el marcado de alternativas de respuesta frente a respuestas que se dan

106

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

oralmente (preguntas cerradas), que distorsionan el sentido original de los datos. Errores de codificacin o ingreso deficiente de los datos en la base de registro, sea informtica o no. Por lo general tienen que ver con errores de tipeo. Informantes que no responden algunas preguntas o temas completos, que si suman una cantidad importante invalidan el proceso de aplicacin. En estos casos se debe partir del supuesto de que quiz estos informantes tengan caractersticas distintas a los dems que respondieron. Una manera de evitar estos errores (adems de la seleccin adecuada de los equipos de campo y la capacitacin de los mismos) consiste en llevar a cabo "lluvias de ideas" con el personal, acerca de los problemas que se presentaron luego de cada jornada de recoleccin (da de trabajo), y llegar a acuerdos sobre cmo evitarlos o hacerles frente si se vuelven a presentar. Este tipo de acciones permite identificar problemas y encontrar soluciones uniformizando criterios, con la finalidad de mejorar las aplicaciones hacia adelante. Una instancia de verificacin adicional a la anterior es el control de calidad de los datos con el uso de muestras sobre el universo de formatos aplicados. Este control implica centrarse en los puntos siguientes: Verificar la autenticidad de los datos consignados en los formatos. Verificar que las respuestas transcritas y anotadas sean legibles, especialmente para las preguntas abiertas. Verificar que todas las preguntas o aquellas que correspondan al informante, hayan sido contestadas. Uno de los propsitos del control de calidad es decidir sobre si algn formato de los aplicados es anulado e, incluso, si la aplicacin de la tcnica en su totalidad es anulada. Otro momento en que la verificacin es importante es en el traslado de las respuestas desde los formatos aplicados a la base de datos. Una manera de evitar errores "de traslado" que, dicho sea de paso, siempre se producen, es hacer una "limpieza" de la base ya terminada. Esta tarea debe ser hecha por un especialista, que adems est involucrado con los temas que se manejan en el estudio. Slo constatando que los datos tienen sentido y son vlidos, se podr estar seguro que los cambios y procesos estn siendo observados con insumos adecuados y que el estudio de Lnea de Base ofrecer resultados confiables. E. La Organizacin de la Informacin Una vez que el trabajo de campo ha concluido; es decir todos los instrumentos de recoleccin de datos han sido aplicados, es necesario que todos sean verificados antes de ser remitidos al centro de operaciones y el procesamiento de la informacin se inicie; es importante que la informacin se encuentre organizada correctamente, para ello se debe realizar algunas acciones:

107

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Verificar la codificacin de los instrumentos cuantitativos; es decir que los encuestadores hayan respetado la codificacin predefinida en los cuestionarios. Para el caso de preguntas asociadas a unidades de medicin como Kg, dlares o Nuevos Soles; es importante que todos los cuestionarios manejen una sola unidad de conversin, por lo cual en el caso que se haya recogido algn valor en una unidad diferente, debe realizarse la conversin adecuada. Todos los instrumentos cuantitativos deben de tener completa la identificacin del encuestador, el supervisor; si existiese alguna persona adicional dentro de la cadena de verificacin de instrumentos, tambin debe aparecer en dicho instrumento; introduciendo su firma y la fecha en la que realiz la aplicacin o revisin del instrumento. Los instrumentos se organizan de acuerdo al lugar de donde fueron obtenidos, segn nmero de orden en el que fueron recogidos; por lo general la numeracin de los instrumentos van digitados en el mismo instrumento antes de su aplicacin. Es recomendable que la informacin recogida en las entrevistas a profundidad o grupos focales haya sido registrada digitalmente (audios o videos); se deben generar copias de respaldo para evitar cualquier deterioro o dao del material. Para el caso de otras tcnicas utilizadas, de igual forma se debe ordenar y clasificar segn el momento de recoleccin y lugar. La informacin secundaria, se debe haber organizado en textos, cuadros y grficos; con la finalidad de disponer segn la necesidad del evaluador para su anlisis. Una vez completada toda la organizacin se puede dar paso a la etapa del procesamiento de la informacin.

3.2 El Procesamiento de la Informacin y Anlisis de Resultados

Esta etapa abarca un conjunto de acciones que van desde la codificacin hasta la obtencin de conclusiones y recomendaciones. Su principal referente es la Matriz de Consistencia; cada accin comprende una serie de operaciones que difieren dependiendo de la metodologa utilizada, pero que apuntan al mismo propsito: pasar de la dispersin y multiplicidad de registros a un nmero limitado de afirmaciones que habitualmente llamamos resultados del estudio. Estas no son sino afirmaciones que se deducen de los datos originales convenientemente clasificados, organizados y correlacionados unos con otros, con la finalidad de presentar los hallazgos ms significativos dados los propsitos fijados de antemano.

108

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

A. Consistencia: Crtica y Codificacin de la Informacin La consistencia tiene como propsito el hacer los datos tan representativos del universo como sea posible, eliminando omisiones, anotaciones invlidas y relaciones incoherentes. Sin embargo, se debe tener presente los siguientes principios: Hacer el mnimo nmero de cambios en los datos originalmente registrados, y Llevar un registro sistemtico de los cambios efectuados. La crtica y codificacin es una parte de la consistencia, proceso que incluye la verificacin de las relaciones lgicas, las aritmticas, las estructurales y las de flujo a travs de programas informticos que permiten detectar las incoherencias, errores, omisiones y valores fuera de rango de manera sistemtica y de acuerdo a normas predefinidas. a) Critica: Es el anlisis y verificacin de los datos recolectados en los cuestionarios con el propsito de detectar la falta de coherencia, omisiones o datos invlidos y corregirlos, haciendo uso de otros elementos que el mismo cuestionario provee. b) Codificacin: Consiste en convertir el o los caracteres de un lenguaje natural en un conjunto de smbolos (expresiones numricas, literales y/o grficas que permitan su posterior ingreso en forma ordenada y uniforme en un archivo magntico. B. Sistematizacin de la Informacin Esta etapa consiste en "meterse" en los datos ya debidamente organizados, para depurarlos y clarificarlos, establecer las relaciones existentes entre ellos e identificar elementos recurrentes y tambin "casos especiales" significativos. En este marco, es un momento que privilegia el anlisis comparativo en funcin a los indicadores, preguntas y temas definidos para el estudio. Tal proceso puede tomar rutas distintas segn el tipo de datos disponibles. Para datos cuantitativos (cifras, porcentajes, intervalos) se trabaja con procedimientos estadsticos, que incluyen anlisis descriptivos, inferenciales y de correlacin, que son convencionales en los estudios evaluativos. Generalmente se utilizan programas informticos estadsticos que ayudan a su procesamiento, como el SPSS. Para datos cualitativos (descripciones, relatos, opiniones, es decir, textos) se trabaja con procedimientos interpretativos (hermenuticos). Aqu el anlisis puede consistir en establecer conexiones o nuevas categoras desde el ms simple acopio de "fichas" por temas semejantes, hasta incluir operaciones complejas de simplificacin de informacin sobre diagramas, matrices, tablas de doble entrada, lneas de tiempo, redes conceptuales, entre otros procedimientos.

109

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

C. Elaboracin de Cuadros y Grficos Una vez que se han generado las bases de datos y el procesamiento de la informacin est arrojando sus primeros resultados, es el momento de plantear algunas correlaciones entre las variables asociadas, de tal manera poder tener elementos de anlisis. A partir de ese momento, se van generando los cuadros y grficos necesarios para la explicacin y fundamentacin de los resultados; recordar que siempre es mejor utilizar grficos para la presentacin de los resultados. Generalmente, los programas informticos permiten obtener cuadros y grficos desde sus propias bases de datos, lo cual simplifica el trabajo y permite las posibles correcciones que puedan realizarse ms adelante. Contando con todas las tablas y grficos, es momento de realizar el anlisis de la informacin. D. Anlisis de la Informacin La informacin cuantitativa bajo los niveles de inferencias establecidos ser reportada a nivel de toda la intervencin; sin embargo, si el muestreo fue diseado para recoger subgrupos o mbitos precisos dentro del mbito del proyecto, la informacin y el anlisis se realizarn a ese nivel de detalle. El estudio cuantitativo abarca el anlisis de tablas y grficos descriptivos, anlisis correlacional, pruebas de hiptesis, para verificar supuestos planteados determinando si existen diferencias significativas entre variables. La informacin cualitativa una vez transcrita es vaciada en matrices para su indagacin cruzada con los resultados cuantitativos a travs de una triangulacin metodolgica. El anlisis de la informacin, es la contrastacin de los resultados frente a otros indicadores. Es comn realizar comparaciones con cifras oficiales, pertenecientes a los mismos mbitos distritales, provinciales o regionales en donde se encuentra el proyecto, de tal manera advertir como es la situacin de dichos indicadores frente a su contexto inmediato. As mismo, para el anlisis de la informacin, es importante respaldar nuestras apreciaciones con fuentes bibliogrficas (estudios, investigaciones, tesis, artculos, sistematizaciones de proyectos, memorias institucionales, etc.), en tal sentido exista una adecuada fundamentacin de lo que se dice; por ejemplo, si queremos sealar la correlacin que existe entre el lavado de manos y las enfermedades diarreicas agudas en nios y nias menores de 03 aos, sera importante contar con algn estudio que respalde esa correlacin. E. Reporte de la Informacin Al entrar a la etapa de obtencin de resultados, es necesario tener claro que la finalidad de un estudio de Lnea de Base es establecer un referente inicial para la comparacin con los valores que se obtendrn en las evaluaciones posteriores. En ese sentido los reportes que emitamos debern buscar los siguientes propsitos:

110

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

Darle un valor a los indicadores del Marco Lgico del proyecto y, a partir de ello, establecer la situacin inicial de los hechos a los que se hace referencia en los resultados. Caracterizar a la poblacin objetivo del proyecto, a partir de los temas y variables que se haya elegido para ello. Analizar el contexto en que el proyecto interviene, esto es, establecer sus caractersticas iniciales en lo econmico y productivo, social, cultural e institucional. Establecer la situacin de los supuestos (condiciones o factores externos) con los que el proyecto opera, cmo influyen y en qu medida lo hacen. Luego de completar el anlisis de los puntos mencionados se pasa a la formulacin de conclusiones. Una conclusin es una sntesis de varias afirmaciones que aparecen como recurrentes sobre uno o algunos hechos de inters para los estudios. Expresan las evidencias significativas resultado del anlisis y los juicios valorativos ms relevantes. Es necesario sealar que muchas veces las conclusiones se van formando en el proceso: aparecen en el recojo y ordenamiento de los datos, se desarrollan con el advenimiento de regularidades o patrones en esos mismos datos y se consolidan en el anlisis e interpretacin de los hechos. Establecidas las conclusiones, opcionalmente puede hacerse recomendaciones, que se basan en las anteriores y se realizan bajo la forma de prescripciones, con el fin de incorporar aprendizajes en la gestin del proyecto, especialmente para la mejora de sus estrategias. Con la redaccin del Informe Final culmina todo el proceso de elaboracin del estudio de Lnea de Base. Este Informe sintetiza toda la informacin del estudio y su contenido, que puede ser variable segn los intereses de los gestores del proyecto, puede ser: Introduccin 1. El Proyecto Resultados esperados y componentes (segn el Marco Lgico) Estrategias Organizacin de la implementacin Anlisis de Grupos de Actores 2. Objetivos Y Contenido Objetivos del Estudio de Lnea de Base y temas especficos relativos a los indicadores de efecto e impacto del proyecto. 3. Marco Metodolgico Marco Muestral Matriz de Consistencia Descripcin del Proceso Criterios para la seleccin de tcnicas Tcnicas e Instrumentos seleccionados

111

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

4. Resultados En relacin a los contenidos y temas del estudio de Lnea de Base 4.1 La Poblacin Objetivo Estrategia de Focalizacin. Caracterizacin de la poblacin objetivo 4.2 Dinmica del Contexto de la Intervencin rea Geogrfica del Proyecto Principales factores sociales y econmicos Institucionalidad local y organizacional (pblica, privada y de la comunidad) Presencia de programas y servicios del Estado y otras iniciativas sociales o privadas relacionadas con los resultados, efectos e impactos del proyecto. 4.3 Los Supuestos de la Intervencin Medidas de poltica pblica y legislativa que gravitan sobre las dimensiones del impacto. Factores medioambientales y culturales Factores institucionales que afectaran la marcha del proyecto. 4.4 Situacin Inicial de los Indicadores del Proyecto Indicadores de Efecto Indicadores de Producto 4.5 Conclusiones Generales En relacin a la caracterizacin de la poblacin objetivo En relacin al contexto En relacin a los supuestos 5. Anexos Matriz de Marco Lgico del proyecto Matriz de Consistencia Diagrama del proyecto (organizacional y/o zonal) Mapeo de Actores Carpeta de Instrumentos La redaccin del informe comienza desde muy temprano, desde la fase de diseo. Antes de comenzar a redactar, el evaluador debe preguntarse: Es mucha o poca la informacin que poseo? Qu parte de esta informacin es realmente importante para los fines del Informe Final? A quin va dirigido? Algunas recomendaciones que deben de tomarse en consideracin son: a) Encuentre un balance entre la descripcin y la interpretacin. b) Escribir en oraciones cortas, con un lenguaje objetivo y claro, limitando los comentarios personales e intentando ante todo dar informacin concreta (evidencias).

112

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

c) Evitar la jerga cientfica muy especializada u obscura. El objetivo de un informe es comunicar los resultados de un Estudio de Lnea de Base, no demostrar cuan experto es el autor. d) Usar en lo posible testimonios de los actores, cuadros, grficos, recuadros, fotografas, o algn soporte visual para hacer ms clara y amena la lectura. e) Hacer encabezados usando diferentes tipos de letra y subtitulado para que sea fcil encontrar la informacin y para que sta sea clara y distinta. f) Hacer varios borradores, para de esa manera poder destilar la informacin importante y consultarlos con otros. g) Resaltar los puntos ms importantes. h) Comenzar primero por los aspectos ms importantes. i) Usar ttulos atractivos que atraigan al lector/a Para ampliar conocimientos en torno a la presentacin del Informe Final. F. Comunicacin de los Resultados Por ms que se hallen bien planeados y ejecutados los estudios de Lnea de Base, dejarn de cumplir sus propsitos si sus resultados no son comunicados con eficacia a todos los involucrados en el proyecto. El esfuerzo desplegado en las etapas de diseo y de elaboracin puede resultar intil sin una estrategia de comunicacin que ponga los resultados de los estudios de Lnea de Base al alcance de los distintos grupos de interesados(as), del modo ms conveniente y oportuno. La comunicacin de los resultados comprende el manejo de tres temas: el pblico, los contenidos y los medios. Del buen uso de ellos depender que la informacin obtenida genere conocimiento en los grupos de actores y llegue puntualmente a quienes toman decisiones. Los pblicos a quines generalmente se comparte los resultados pueden ser: La poblacin objetivo del programa o proyecto, comprometida directamente con los cambios. Los equipos tcnicos de los proyectos, que tienen un papel decisivo en su gestin, como facilitadores y asesores. Los organismos pblicos de los pases que administran los fondos del proyecto, tambin con un rol importante en la gestin. Otros actores relacionados con la intervencin son los gobiernos locales y las instancias del gobierno con presencia local o regional, as como los proyectos similares que operan en los mismos mbitos, constituyendo potenciales pblicos secundarios. Dada la diversidad de pblicos a quines nos podemos dirigir, es probable que al momento de definir una estrategia de comunicacin nos encontremos con las siguientes situaciones: Diferentes pblicos expresan distintas necesidades de informacin (hecho que por lo general concluye en la necesidad de comunicar los resultados a travs de diversos medios). Algunos pblicos o usuarios al interior de ellas no tienen claridad sobre qu informacin necesitan, ni por qu la necesitan. Algunos usuarios esperan que la evaluacin apoye un particular punto de vista, que en ltimo anlisis expresa un inters tambin particular.

113

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

No todos los pblicos ni todos los usuarios tienen el mismo inters en la informacin, ni se sienten igualmente cercanos a la experiencia. La mayora de tales situaciones ha de atenderse determinando el tipo de vnculo que cada grupo mantiene con el proyecto. Esclareciendo ste, puede analizarse los intereses que se desprenden de ese vnculo y las necesidades de informacin resultantes. Ello es posible mediante un proceso de segmentacin del pblico, lo que equivale a definir en detalle las caractersticas de cada grupo, incluyendo a las minoras que no comparten las tendencias mayoritarias del pblico a la que pertenecen. Una rigurosa segmentacin del pblico har factible reportar diferentes tipos de informacin a diferentes personas o grupos, y hacerlo de maneras distintas y en momentos distintos, en el marco de una eficaz estrategia de comunicacin.

114

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

BIBLIOGRAFA
1. Agencia Noruega de Cooperacin, NORAD (1997). Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. IUDC/UCM/CEDEAL. Madrid. Espaa. 2. Alonso, J.A. (2004). El desarrollo como proceso abierto al aprendizaje. The European Journal of Development Research, Vol.16, No.4, pg.845867. 3. American Evaluation Association, AEA (2002). Impact evaluations when time and money are limited: Lessons from International Development on the design of rapid and economical, but methodologically sound, impact evaluations. AEA Professional Development Session: November, 5, 2002. 4. Banco Interamericano de Desarrollo, BID (2003). Oficina de Evaluacin y Supervisin, OVE. Protocolo para la realizacin de las evaluaciones de programas de pas. Washington, D.C. EEUU. 5. Banco Interamericano de Desarrollo, BID (2005). Office of Evaluation and Oversight, OVE. Report on the Evaluability of Bank Country Strategie. Washington, D.C. EEUU. 6. Banco Mundial, BM (1994). Departamento de Evaluacin de Operaciones, OED. Building Evaluation Capacity. En estudio n 4 de la serie de publicaciones Lecciones y Prcticas. Washington, D.C. EEUU. 7. Banco Mundial, BM (1994). Departamento de Evaluacin de Operaciones, OED. Diseo del sistema de seguimiento y evaluacin de los proyectos. En estudio n 8 de la serie de publicaciones Lecciones y Prcticas. Washington, D.C. EEUU. 8. Banco Mundial, BM (1999). Banco Internacional de Reconstruccin y Fomento. Evaluacin del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales. Directivas de desarrollo. Washington, D.C. EEUU. 9. Banco Mundial, BM (1999). Departamento de Evaluacin de Operaciones, OED. Fortalecimiento de la capacidad de evaluacin. En documento n 6 de la serie de documentos de trabajo sobre fortalecimiento de la capacidad de evaluacin. Washington, D.C. EEUU. 10. Banco Mundial, BM (2004). Departamento de Evaluacin de Operaciones, OED. Evaluaciones influyentes: evaluaciones que mejoraron el desempeo y los efectos de los programas de desarrollo. Washington, D.C. EEUU. 11. Banco Mundial, BM (2004). Departamento de Evaluacin de Operaciones, OED. Seguimiento y Evaluacin: instrumentos, mtodos y enfoques. Washington, D.C. EEUU. 12. Banco Mundial, BM (2006). Departamento de Evaluacin de Operaciones, OED. Conducting quality impact evaluations under budget, time and data constraints. Washington, D.C. EEUU. 13. Comisin Europea. EuropeAid Co-operation Office (2005). Metodologa de evaluacin de EuropeAid. En lnea http://ec.europa.eu/comm/europeaid/evaluation/index.htm

115

Curso de Capacitacin Diseo Metodolgico de Lneas de Base

14. Coordinadora Espaola de ONGD, CONGDE (2003). Anlisis de la Cooperacin Oficial Descentralizada en el Estado espaol en el perodo 1999-2002. Madrid. Espaa. 15. Cruz Roja Espaola (2000). La evaluacin de proyectos de cooperacin internacional de Cruz Roja. Manual del Delegado/a. Madrid. Espaa. 16. Fida. Oficina de Evaluacin y Estudios (2003). Gua para el seguimiento y evaluacin de proyectos. Gestin orientada al impacto en el desarrollo rural. Roma. Italia 17. Freeman, T. (2005). La evaluacin de los programas de cooperacin en un mundo cambiante. Documento de trabajo sobre evaluacin. Oficina de evaluacin. UNICEF. Nueva York. EE.UU. 18. Fundacin W.K. KELLOGG (1998). Manual de evaluacin. Battle Creek, MI. USA. 19. Gonzlez Parada, J.R. y GARCA CEBOLLA, J.C. (2004). Manual de Evaluacin para la Cooperacin Descentralizada. Dykinson y FEMP. Madrid. Espaa. 20. Gudio, F. (1999). El Sistema de Evaluacin y Cooperacin Espaola frente al reto de su consolidacin. En Revista Espaola de Desarrollo y Cooperacin n 4, pginas 31 a 49. Madrid. Espaa. 21. Hidalgo, S. y Espada, F. (2004). Hacia una nueva Cooperacin Espaola. En Informe N 2 de FRIDE y DARA. Madrid. Espaa. 22. Larr, J.M. (2002) Razones para implantar un sistema de evaluacin en las ONGD y sus consecuencias. En Revista de Fomento Social 57 (228), 683-710.

116