ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.

o 2, 87-101 87

EVALUACIÓN DE PROGRAMAS DESDE LA METODOLOGÍA

CUALITATIVA

PROGRAM EVALUATION FROM QUALITATIVE METHODOLOGY

M. TERESA ANGUERA
Depto. Metodología de las Ciencias del Comportamiento
Facultad de Psicología de la Universidad de Barcelona

Resumen Abstract
En la actualidad, la metodología cualitativa Currently, the qualitative methodology is re-
está recobrando terreno en el área de las cien- covering an important area in the behavioral
cias del comportamiento, y volviendo a ser con- science. Also, it is being considered as a rele-
siderada como una metodología importante en vant methodology due to the way in which ana-
el ámbito de la evaluación psicológica, dada su lyse the human interactions. The main objective
relevancia en la manera de entender a los seres of this theoretical paper is show the goodness of
humanos y a la naturaleza de sus interacciones the qualitative methodology. In this sense, the
entre ellos y con su entorno. Por el auge en la main characteristics and the steps of the quali-
utilización de esta metodología, el objetivo de tative methodology are described. Finally, a
este artículo, de revisión teórica, es mostrar sus complementary view is defended between both
bondades. Para ello, se hace un recorrido a tra- methodologies (qualitative and quantitative).
vés de sus principales características y exigen-
cias metodológicas, así como de sus fases a cu-
brir. Finalmente, se aboga por una postura
conciliadora y complementaria entre las ver-
tiente cuantitativa y cualitativa de la metodolo-
gía.

Palabras Clave Key Words

Palabras clave: Metodología cualitativa, eva- Key words: Qualitative methodology, pro-
luación de programas, complementariedad me- gram evaluation, methodological complemen-
todológica. tarity.
88 ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101

Abordaje cualitativo de la evaluación que pasa de actuar como inspector o juez a ne-
de programas gociador, o en la propia concepción del progra-
ma, que en muchas ocasiones se trata de cons-
La evaluación de programas, como discipli- trucciones sociales sujetas a la evolución del
na, no puede ser ajena a los diversos posicio- discurso y los valores de los grupos de stakehol-
namientos metodológicos existentes, ni a las po- ders. Y, en tercer lugar, existe el convencimiento
lémicas que envuelven los grandes temas creciente de que únicamente la complementa-
procedimentales, y su repercusión es y será riedad metodológica permite abordar la evalua-
siempre notable. En estos últimos años, la me- ción de programas con amplitud de miras, en
todología cualitativa se halla en un proceso con- un intento por aunar los beneficios y compensar
tinuo de proliferación, con la aparición de nue- las limitaciones.
vos enfoques y desarrollos metodológicos, y En la actualidad, el interés que despierta el
cada vez más disciplinas la adoptan como una ‘movimiento’ cualitativo se halla en la cresta de
parte esencial de su currículum (Flick, 2007). la ola, en el epicentro de un movimiento que en
Resulta compleja la referencia a la actual si- algo se diferencia ‘cualitativamente’ de lo que
tuación, tanto a nivel de literatura científica venía siendo habitual en pasadas décadas, en
como desde una perspectiva de uso y práctica donde se daba un movimiento pendular de al-
en situaciones concretas, y máxime si intenta- ternancia. La realidad es que existe un amplio
mos evitar riesgos de reduccionismo. Durante confusionismo tanto entre los teóricos y acadé-
décadas, en el siglo XX se produjo una alter- micos, como entre los profesionales que evalúan
nancia pendular de posiciones enquistadas a fa- programas, y en especial en programas de in-
vor de una u otra de las opciones cuantitati- tervención psicosocial. A ello contribuye el re-
va/cualitativa, y estamos en vísperas de que se conocimiento de que existen dificultades prag-
cumplan treinta años de la publicación de una máticas ineludibles en la realidad diaria de la
obra (Cook y Reichardt, 1979) de referencia, implementación y evaluación de programas, en
que fue pionera en las propuestas de comple- donde habitualmente habrá que tener en cuenta
mentariedad. el ambiente político creado, así como las opi-
niones y valores de diversos grupos, muchas ve-
La realidad del movimiento cualitativo en ces con intereses encontrados (Rebolloso, Fer-
evaluación (Rebolloso, Fernández-Ramírez y nández-Ramírez y Cantón, 2008).
Cantón, 2008) es poliédrica, y deben diferen-
ciarse varios aspectos, teniendo en cuenta que Desde el punto de vista metodológico, han
cada uno implica únicamente una faceta de la ido calando las dificultades propias de la meto-
cuestión, pero que deben considerarse todos dología cuantitativa de corte experimentalista,
ellos de forma conjunta. que antaño prácticamente había monopolizado
la evaluación de programas, a la vez que las ven-
Por una parte, ofrece un frente común de tajas de programas de baja intervención (An-
oposición a las opciones metodológicas más guera, 2008), en los cuales precisamente la in-
asentadas, y, en concreto, al uso de la metodo- tensidad interventiva leve hace factible la
logía experimental y cuasiexperimental, de ca- aplicación de una metodología de carácter cua-
rácter cuantitativo, debido a diversos desencan- litativo. No obstante, esta afirmación nos po-
tos, como la dificultad de esclarecer y establecer dría conducir a equívocos, relativos a posiciones
relaciones de causalidad en el complejo mundo de radicalidad dentro del amplio marco que
de los programas sociales, la falta de recursos ofrece esta expresión.
para operativizar diversos conceptos, o la lejanía
que suponen los tópicos de estudio respecto a la Al tratar de conceptualizar la metodología
realidad cotidiana. Por otra parte, en segundo cualitativa, se hace patente la tentación fácil de
lugar, existen posiciones radicales de propuestas apoyarnos en el concepto aparentemente mejor
posmodernas que proponen una renovación delimitado de metodología cuantitativa, pero
epistemológica, en donde imperan posiciones deberá obviarse esta vía. En la actualidad, en
construccionistas y se operan cambios de roles efecto, buen número de discusiones se plantean
diversos, como en las funciones del evaluador, en base a dicotomías diversas: investigación no-
ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101 89

motética/idiográfica, investigación psicométri- papel fundamental lo juega el proceso de cate-

ca/etnometodología, investigación de laborato- gorización (Lofland, 1971), ya que no se puede
rio/de campo, investigación experimen- aspirar a una adecuada «captación de la reali-
tal/naturalista (Alvarez, 1986). Con ellas se dad en sus propios términos» si no se logran
abordan aspectos complementarios de los que elaborar las categorías que la hacen explicable y
no podrían negarse, además, sus posibilidades dan coherencia al flujo de eventos y/o conductas
de colisión ni su atributo opuesto de mutua ex- necesariamente contextualizados. En este mis-
clusividad. mo sentido, Denzin (1970) y Patton (1980) están
de acuerdo en que la tarea de un metodólogo
Nos hallamos, pues, en una verdadera en-
cualitativo es la de suministrar un marco dentro
crucijada, en la cual retomamos la considera-
del cual los sujetos respondan de forma que se
ción de la metodología cualitativa como «una
representen fielmente sus puntos de vista res-
estrategia de investigación fundamentada en una
pecto al mundo y su experiencia.
depurada y rigurosa descripción contextual del
evento, conducta o situación que garantice la má- c) A nivel genérico, las descripciones deta-
xima objetividad en la captación de la realidad, lladas procedentes de registros directos y datos
siempre compleja, y preserve la espontánea conti- documentales (Patton, 1980) constituyen el
nuidad temporal que le es inherente, con el fin grueso de los datos cualitativos, que, por otra
de que la correspondiente recogida sistemática de parte, requerirán diversos instrumentos de me-
datos, categóricos por naturaleza, y con indepen- dida, a pesar del importante papel jugado por lo
dencia de su orientación preferentemente idiográ- interpretativo (Smith, 1983), y especialmente
fica y procesual, posibilite un análisis (explorato- instrumentos de carácter no estándar (Anguera,
rio, de reducción de datos, de toma de decisiones, Magnusson y Jonsson, 2007). De forma parti-
evaluativo, etc.) que dé lugar a la obtención de co- cularizada, las técnicas que más propiamente
nocimiento válido con suficiente potencia expli- abarca la metodología cualitativa son el registro
cativa, acorde, en cualquier caso, con el objetivo de conducta en observación —y de forma espe-
planteado y los descriptores e indicadores a los cial en observación participante—, entrevista, y
que se tuviera acceso» (Anguera, 1986, p. 24). material documental, entendiendo que la fase
definitoria es la de recogida de datos (Blaxter,
Se imponen varias matizaciones a esta con-
1979), ya que nada impide que el análisis al cual
ceptualización, que pueden estructurarse en tor-
se sometan los datos implique el adentrarnos
no a criterios epistemológicos, metodológicos,
en lo cuantitativo.
técnicos y de contenido, los cuales facilitan su
justificación (Anguera, 1995a, 1999, en prensa): d) Desde un criterio de contenido, existe
una primera gran restricción relativa al nivel de
a) La vía hipotético-deductiva, implantada
observabilidad (Norris, 1984), y aunque la posi-
tradicionalmente en buen número de líneas de
ción oficial del cognitivismo rechaza los proce-
investigación, ofrece graves dificultades en la
dimientos introspectivos (Nisbett & Wilson,
investigación cualitativa, ya que habitualmente
1977), se progresa en el camino que pretende el
conduce a una pérdida de flexibilidad en la des-
acceso a los fenómenos mentales, reconocién-
cripción y a su descontextualización. Por el con-
dose que los individuos tienen acceso directo a
trario, y sin asumir de forma generalizada la
una gran cantidad de hechos privados. La nece-
vía inductiva, ésta se revela con mayor viabili-
saria contextualización inherente a la metodo-
dad, lo cual se halla en consonancia con el ca-
logía cualitativa y sus implicaciones a nivel de
rácter previamente no consolidado de los estu-
los términos acuñados «ad hoc» en el proceso
dios temáticos a los que se dirige (Miles &
de categorización (Bulmer, 1979), así como la
Huberman, 1984).
indudable tradición de interaccionismo simbó-
b) Metodológicamente, los datos cualitati- lico (Schwartz & Jacobs, 1984) que lo ha propi-
vos deben ofrecer la necesaria consistencia, y ciado, muestran una inclinación o mejor pre-
emergen de una descripción y registro cuidado- disposición temática con dicha orientación, sin
sos, aunque su contenido es variable y su análi- dejar de relacionarse con la teoría de la titula-
sis difícil debido a la nula estandarización de ción de Howard Becker, la inducción analítica
las respuestas y su compleja sistematización. El de Florian Znaniecki, la teoría fundamentada
90 ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101

de Barney Glaser, o la etnografía básica de John a) La fuente principal y directa de los da-
Lofland, por citar algunos de ellos. tos son las situaciones naturales, ubicadas es-
pecialmente en el contexto de la cotidianeidad
Hoy día, pocos evaluadores negarán la utili-
(Anguera, 1999). Ningún fenómeno puede ser
dad que tiene la investigación cualitativa para la
entendido fuera de sus referencias espacio-tem-
evaluación de programas (análisis de la teoría
porales y de su contexto.
del programa, comprensión del contexto de im-
plementación, análisis de efectos no esperados, b) El investigador se convierte en el principal
etc.), y es igualmente participada la fuerza que «instrumento» de recogida de datos, en el sentido
cobran actividades críticas, como el seguimien- de actor del proceso que implica la captación de
to de la implementación, la realización de eva- la realidad, y con la capacidad para aportar datos
luaciones independientes múltiples, o el análisis tan fiables como los generados por medios más
de los comentarios de los grupos de implicados. objetivos (Anguera, 2000b). Entre las principales
Sin embargo, los defensores del paradigma cua- ventajas que ello reporta, destacan: 1) Su adap-
litativo han tenido que enfatizar las diferencias y tabilidad para registrar información simultánea
las ventajas de su aproximación para poder ser sobre múltiples factores y a varios niveles. 2) Vi-
escuchados, dada la extensión y aceptación del sión holística, es decir, capacidad para captar el
paradigma cuantitativo-experimental (Conner, contexto de forma global. 3) Mayor amplitud de
Altman & Jackson, 1984). Por este motivo, el conocimientos. 4) Posibilidad de explorar res-
debate se ha planteado en los últimos años, en puestas atípicas e idiosincráticas, las cuales son
términos de una fuerte confrontación (Rebollo- difíciles de captar por medios ordinarios, y tie-
so, Fernández-Ramírez y Cantón, 2008), en la nen una enorme relevancia para lograr una más
cual los evaluadores se enfrentan al dilema de óptima comprensión.
escoger entre uno de los paradigmas.
c) Incorporación del conocimiento tácito,
Por fortuna, ha ido ganando rápidamente es decir, el correspondiente a intuiciones, apre-
posiciones la propuesta de complementariedad hensiones o sentimientos que no se expresan de
metodológica, todavía templada por los radica- forma lingüística pero que se refieren a aspectos
les de ambas vertientes, pero a la cual augura- conocidos de algún modo. Muchos de los mati-
mos un futuro prometedor, y a la que nos refe- ces de la realidad sólo pueden ser captados por
riremos en otro apartado. esta vía, a la vez que muchas de las interaccio-
nes entre investigador e investigado ocurren en
este nivel.
Perfil de la metodología cualitativa d) Aplicación de técnicas de recogida de da-
en evaluación de programas tos abiertas, por adaptarse mejor a las influen-
cias mutuas y ser más sensibles para detectar
Cuando en evaluación de programas se opta patrones de comportamiento. (Anguera, 1995d).
por la metodología cualitativa, se considera que
implícitamente existe un ajuste entre los objeti- e) Muestreo intencional. La selección de la
vos de la intervención, las acciones que confor- muestra no pretende representar a una pobla-
man el programa y el contexto en el cual se de- ción con el objeto de generalizar los resultados,
sarrolla con los principios esenciales que sino que se propone ampliar el abanico y rango
caracterizan dicha metodología. La opción pro- de los datos tanto como sea posible, a fin de
cedimental conocida como metodología cualita- obtener la máxima información de las múlti-
tiva se configura mediante una serie de caracte- ples realidades que pueden ser descubiertas.
rísticas que concretan los rasgos diferenciales
f) Análisis inductivo de los datos. Ello im-
que los identifican, y que, según sea la técnica
plica una primera descripción de las situaciones
concreta de recogida de información, se mani-
de cada uno de los casos o eventos estudiados,
fiestan de forma más o menos acusada (Angue-
con el fin de detectar progresivamente la exis-
ra, en prensa).
tencia de unas regularidades entre ellos que
Las principales características son las si- constituyen la base o germen de una futura teo-
guientes: ría adecuada a las condiciones y valores locales.
ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101 91

g) La metodología cualitativa se plantea cri- La teoría se genera, pues, a partir de los da-
terios de validez específicos, utilizando técnicas tos de una realidad concreta, no partiendo de
propias que garantizan la credibilidad de los re- generalizaciones «a priori». En metodología
sultados (Sandín, 2003). cualitativa ha jugado un papel fundamental la
Teoría Fundamentada (Grounded Theory), a par-
tir de la obra seminal de Glaser & Strauss (1967,
Incidencia de la metodología 1999), de acuerdo con la cual la generación de
cualitativa en el desarrollo de la teoría teoría –teoría del programa, en evaluación de
programas- es un proceso estratégico para ges-
del programa y aspectos coyunturales
tionar y analizar los datos en una investigación,
que proporciona unos conceptos para describir
En evaluación de programas debe existir una y explicar estos datos (Andréu y García Nieto,
sensibilidad teórica que contemple el marco 2006). Este proceso de generación de teoría re-
conceptual como el referente al cual se supedita sulta sumamente adecuado en evaluación de
el propio proceso evaluativo, y también una fac- programas para avanzar en el desarrollo de teo-
tibilidad política. En efecto, como indican Cha- rización en un ámbito/subámbito específico, al
cón y Shadish (2008), nos hallamos ante la pa- menos en lo que se refiere a la teoría sustantiva
radoja de que un programa de intervención se (substantive theory), diferenciada de la teoría
diseña e implementa para conseguir unos de- formal (formal theory). En esencia, se basa,
terminados efectos, pero a pesar de lograr o no como punto de partida inicial, en indicadores
los efectos (supuestamente evaluados mediante empíricos, que son datos basados en comporta-
una metodología que aporte un inferencias váli- mientos observados, o descritos en documen-
das acerca del programa, efectivamente imple- tos, o en las respuestas de entrevistados, o en las
mentado como fue diseñado) la capacidad para interacciones verbales en un grupo de discu-
darle continuidad, modificarlo o eliminarlo re- sión, … A través de estos datos convertidos en
cae en aspectos coyunturales tan relevantes indicadores, el analista obtiene una categoría,
como la factibilidad política (Palumbo, 1987), que indudablemente responde a un concepto,
que además de interesarse por inferencias váli-
al principio con un carácter provisional, pero
das acerca del programa evaluado, ha de mane-
que en el transcurso del análisis se va afianzan-
jar otros datos relacionados con las luchas de
do con rigurosidad y consolidando. Primero se
poder, de solución de desacuerdos entre agen-
examinan varios indicadores de una misma se-
cias gubernamentales, corporaciones, comisio-
sión de implementación del programa, o episo-
nes, etc., que hace difícil pensar en dichos res-
ponsables políticos como unitarios con una sola dio descrito en una entrevista, o situación in-
voluntad. terventiva, se codifican y comparan entre sí con
el fin de detectar similitudes o diferencias y al-
En el marco de la metodología cualitativa gún significado compartido entre ellos; y des-
se conceptualiza la sensibilidad teórica como la pués se comparan varios indicadores con el mis-
competencia del investigador para elaborar con- mo significado, configurándose un concepto al
ceptos y formular teoría basándose en los datos, cual se le asigna un código (Glaser, 1978;
combinándose su conocimiento académico con Strauss, 1996). Y, en la misma dirección, van
su experiencia profesional, y poniéndose en fun- formulándose hipótesis exploratorias (posibles
cionamiento el compendio de teoría del progra- en un proceso inductivo de construcción teóri-
ma y práctica evaluadora con el fin de identifi- ca) al preguntarnos por la existencia o no de re-
car los elementos más significativos extraídos laciones entre las categorías que se van confor-
de los datos, es decir, de la realidad diaria de un mando, y dichas hipótesis deberán ser
programa que se está implementando en uno o verificadas en el transcurso del análisis, en un
varios usuarios, descubriendo las interacciones proceso en el cual inicialmente tienen un carác-
entre ellos, o entre cada uno de ellos y el propio ter provisional (Strauss & Corbin, 1998), pero
programa, elaborando explicaciones, formulan- que progresivamente van adquiriendo mayor so-
do categorías y conceptos, y, en definitiva, cons- lidez, a medida que se avanza en la saturación
truyendo la teoría. de las categorías. Este proceso de desarrollo o
92 ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101

construcción teórica es complejo, y el responsa- obtener información de la situación estudiada y

ble de la evaluación de un programa o el acadé- de su contexto, y todas ellas participan en co-
mico que colabore en dicha actividad deben mún de las estrategias de investigación cualita-
concebir una idea y explorarla y someterla a tiva (Riba, 2007).
consideración desde diversos ángulos o pers-
pectivas, de forma que se establezca un circuito Resulta obvio que en estudios empíricos re-
interactivo entre el investigador y los datos. La alizados en el ámbito de la evaluación de pro-
acción investigadora está dirigida por la formu- gramas se producen datos al traducir la realidad
lación de conceptos, y esta implicación obliga al a sistemas de notación escrita. Pero surge una
evaluador a plantearse continuamente pregun- dicotomización (no una dicotomía real) en fun-
tas relativas a los datos y a los conceptos, y ción del tipo de datos que se obtienen (cuanti-
adoptar decisiones respondiendo a dichas pre- tativos vs. cualitativos), la cual, a su vez, se halla
guntas. Strauss & Corbin (1998) insisten en que supeditada en buena medida a la propia natu-
las preguntas quién, qué, dónde, cuándo, por qué raleza del problema relativo a la carencia con-
y con qué consecuencias desempeñan una fun- creta y a las acciones interventivas del progra-
ción muy importante en la construcción de teo- ma.
ría, que en nuestro caso es la teoría del progra- Si se trata de un programa dirigido a au-
ma, y el evaluador debe ir formulándolas mentar la velocidad de la marcha en atletas, ló-
durante el proceso para esclarecer las dudas que gicamente la recogida de datos implicará deter-
surgen de los datos, formular hipótesis, relacio- minado tipo de datos, seguramente expresados
nar conceptos y establecer vías relevantes para en unidades convencionales de tiempo (segun-
pronunciarnos sobre la eficacia y demás com- dos, décimas de segundo, milisegundos, ...).
ponentes del programa. Pero son muchas las temáticas de estudio en
los atletas en las cuales se producen igualmente
«datos», pero de los que no es posible su opera-
Incidencia de la metodología tivización, o no resulta factible sin incurrir en
cualitativa en el proceso evaluativo un grave reduccionismo; así, en programas de
intervención en atletas en situaciones de crisis,
Considerada en su conjunto, la evaluación en los cuales se deba recabar la opinión de los
cualitativa presenta el rasgo común de la flexi- allegados y la descripción de episodios diver-
bilidad (Caudle, 1994), sea en el planteamiento, sos, ¿sería factible realizar el recuento de algún
en el diseño, en la forma de obtener los datos, tipo de cantidad? No, dadas las múltiples mani-
en el carácter no estándar del instrumento, …, festaciones del apoyo necesario, la borrosidad
pero no podemos olvidar que se trata de una de algunas de ellas, la necesaria contextualiza-
metodología, y, en consecuencia, hay que velar ción, y seguiría un largo etcétera.
por la conjunción de dicha flexibilidad con la Admitimos la terminología habitual en me-
necesaria disciplina característica del método. todología cualitativa al afirmar que trabaja so-
Este maridaje resulta difícil en ocasiones, y, bre todo con dos clases de datos (Flick, 2007):
precisamente para posibilitar al máximo el ade- Los datos verbales, que se recogen como res-
cuado ensamblaje, afirmamos con contundencia puestas a entrevistas, o narraciones, o grupos
que las situaciones en que puede funcionar de de discusión, y los datos visuales, que derivan de
forma óptima la aplicación de la metodología cua- aplicar la metodología observacional en cual-
litativa en evaluación de programas es cuando se quiera de sus posibilidades taxonómicas. No
implementan programas de baja intervención (An- obstante, formulamos una doble reserva: Por
guera, 2008), en los cuales el contexto en el que se una parte, los datos verbales pueden proceder
desenvuelven los usuarios es el habitual, y las ac- tanto de estudios en que se siga la metodología
ciones interventivas del programa no tienen un selectiva –y, por consiguiente, se produce elici-
carácter intromisivo en la vida del usuario. tación de la respuesta, como en las entrevistas
individuales o grupales-, como de estudios ob-
Existen unas características comunes entre servacionales que corresponden a un caso de
sí, que tienen su razón de ser en la forma de observación indirecta, por disponer únicamente
ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101 93

de una perceptividad parcial (Anguera, 2003); camente requieren disponer la información en

y, por otra, los datos visuales se corresponden canal audio.
parcialmente con los observacionales –observa-
ción directa-, en tanto que éstos requieren ga- En cuanto al proceso, la metodología cuali-
rantizar la perceptividad total, y ésta es posible tativa, como se indica en la Figura 1, consta de
lograrla no solamente mediante el canal senso- una serie de etapas en las cuales se halla insti-
rial visual. tucionalizada la vuelta atrás. Ninguna de ellas se
puede obviar y el procedimiento debe guiarse
por un proceso continuado de decisiones del in-
Las diversas modalidades de la metodología vestigador (Rodríguez Gómez, Gil Flores y Gar-
cualitativa se caracterizan, como nexo común, cía Jiménez, 1996).
por las características de los datos, pero cabe
establecer una gradación en función de su na- La esencia del proceso, una vez se ha plan-
turaleza, que a su vez da lugar a la propuesta ta- teado el diseño adecuado, consiste en seleccio-
xonómica indicada en la Tabla 1, donde se evi- nar el material adecuado, plantear los criterios
dencia la gradación que recoge el abanico de de segmentación de unidades, recoger la infor-
posibilidades que se disponen ordenadas entre mación de forma adecuada, transformarla, ges-
los datos procedentes del registro de conductas tionarla, y analizarla, de forma que los resulta-
perceptibles —que serán los más fáciles de co- dos revierten de nuevo en el proceso (Anguera,
dificar y cuantificar posteriormente— y los pro- 2000b).
pios de informes o «dossiers» documentales, en Esquemáticamente se comentan los respec-
los que está más distante esta posibilidad, aun- tivos apartados:
que se haya avanzado enormemente en la mis-
ma dirección en los últimos años. Y no obvia- a) Etapa preparatoria. Establecimiento del
mos la posición central que ocupa la conducta marco teórico-conceptual desde el que parte la
verbal transformable en material textual, pro- investigación, y dirigido especialmente a deter-
ceso de transcripción que ha tenido una gran minar el tópico de interés en función de las ra-
relevancia, pero que en la actualidad cada vez es zones por las que se elige el tema (motivación
menos importante, dadas las prestaciones de personal, la propia vida cotidiana, experiencias
los actuales programas informáticos, que úni- concretas, práctica profesional, contraste con

Tabla 1. Criterios taxonómicos en metodología cualitativa [Adaptado de Anguera

(1995a, 1995b)].

OBSERVACION DIRECTA Registros de conducta: Descriptivos,

semisistematizados y sistematizados [Todos ellos
admiten cualquier nivel de participación:
observación no participante, observación
participante, participación-observación,
autoobservación de conductas heteroobservables].

CONDUCTA VERBAL Material grabable en audio (entrevistas en

TRANSFORMABLE EN MATERIAL profundidad, grupos focales, conversaciones
DOCUMENTAL informales, monólogos, etc.).

MATERIAL DOCUMENTAL Textos originalmente producidos en forma

(OBSERVACIÓN INDIRECTA) documental (documentos personales, diarios de
campo, registros biográficos, informes
monográficos, etc.), que pueden incluir también
información gráfica (fotografías, dibujos,
animaciones, etc.).
94 ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101

Figura 1. Proceso que implica la metodología cualitativa.

otros especialistas, lectura de trabajos de otros observacional (Anguera, Blanco y Losada, 2001),
investigadores, etc.). considerando los ocho diseños posibles (Figu-
ra 2), o bien se adopten posiciones más abiertas
b) Delimitación del problema. La acotación
(Rodríguez Gómez, Gil Flores y García Jimé-
del problema implicará centrarse en algún as-
nez, 1996; Hernández Sampieri, Fernández-Co-
pecto específico del tema seleccionado. Es esen-
llado y Baptista Lucio, 2006; Flick, 2007).
cial que se efectúe de forma clara, sin ambigüe-
dades, y dejando claras las tres vertientes que
abarca su cobertura: Temática (problema de es-
tudio acotado), espacial (ámbito geográfico o Figura 2. Diseños observacionales (Extraído
administrativo en el que se ubica) y temporal de Anguera, Blanco y Losada, 2001).
(referente relativo al período de tiempo que in-
teresa). Por ejemplo, resolución de conflictos
relativos al manejo de la vida cotidiana en pa-
dres de discapacitados psíquicos profundos de
una determinada ciudad a lo largo de un año.
c) Plantear el diseño adecuado. El diseño es
una pauta o guía que debe establecerse una vez
está delimitado el problema de estudio, y que
nos conducirá a lo largo del proceso empírico,
especialmente en la obtención, gestión y análisis
de datos. En metodología cualitativa los dise-
ños se plantean con carácter flexible, y existen
diversas taxonomías, en función de que se siga
un planteamiento paralelo al de la metodología
ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101 95

d) Selección del material a estudiar. Se trata la organización de los datos cualitativos es de-
de llevar a cabo muestreos diversos —que habi- sarrollar un método para indizar el material;
tualmente son de carácter no probabilístico, con por ejemplo, listados que relacionan los núme-
las connotaciones negativas que ello supone res- ros de identificación de materia con otros tipos
pecto a la representatividad de la muestra y pos- de información, como fechas y lugares de la re-
terior generalización de los resultados— para cogida de datos. Todo registro, por ajustarse al
los cuales se habrán debido decidir los criterios objetivo previamente delimitado, implica una
a tener en cuenta. Las decisiones se realizan a selección de las conductas consideradas rele-
distintos niveles, que básicamente se refieren a vantes, y en base a sus características, a la téc-
los casos, pero, a su vez, para cada uno de ellos nica de registro elegida y a los recursos de que
se supeditarán otras decisiones, como en qué se dispone, deberá escogerse un sistema (escrito,
contexto, qué episodios, que fragmentos del tex- oral, mecánico, automático, icónico, etc.) que
to en su caso, etc. La selección de material se facilite su simplificación y almacenamiento.
efectúa de acuerdo con algún tipo de triangula- Ahora bien, el plano en que se sitúa el registro
ción, que habitualmente es la triangulación de es pobre e insuficiente si no se construye un
datos, pero que no quedan excluidos otros ti- instrumento de carácter no estándar (sistema
pos (triangulación del investigador, teórica, me- de categorías, formato de campo, o la combina-
todológica o disciplinar). El proceso de mues- ción entre ambos, al margen del carácter resi-
treo se continúa habitualmente hasta que se dual de las rating scales) que permita canalizar
llega a la saturación, cuando sucesivas mues- adecuadamente dicha información y codificarla
tras ya no aportan más información. adecuadamente, y en donde jugará un papel pri-
mordial la dimensionalidad del diseño (unidi-
e) Transformación / reducción de datos. Re- mensional vs. multidimensional) para elegir el
sulta básico, en primer lugar, el establecimiento tipo de instrumento más adecuado (Anguera,
de unidades, que se corresponde directamente Magnusson & Jonsson, 2007).
con el planteamiento del muestreo, y, en este
sentido, deberá diferenciarse entre unidad de f) Obtención de resultados. La metodología
análisis y unidad de codificación (Boyatzis, cualitativa muestra su especial carencia en esta
1998), partiendo de la base de que la primera etapa del proceso.
consiste en el mínimo segmento significativo de g) Interpretación de resultados. Los resulta-
la realidad, mientras que la segunda se basa en dos deberán comentarse atendiendo al proble-
el mínimo dato o información que puede ser ma planteado, con referencia al marco teórico
evaluado, y, por supuesto, nunca podrá tener que se toma como referencia, y
mayor magnitud que la unidad de análisis. Una
vez se especifican las unidades, se deberá pro- h) Elaboración del informe. Deberá realizar-
ceder a la sistematización del registro, en aras a se de forma estándar, y siguiendo las directrices
facilitar el proceso de gestión de la información. de la American Psychological Association
Si se trabaja con notas de campo, transcripcio- ([Link]
nes provenientes de entrevistas no estructura-
das, documentos históricos o algún otro mate-
rial cualitativo, una tarea determinante es la Complementariedad entre las metodo-
preparación cuidadosa de la codificación (Miles logías cualitativa y cuantitativa en eva-
& Huberman, 1984; Strauss & Corbin, 1990; luación de programas
Edwards & Lampert, 1993) mediante la imposi-
ción de alguna estructura en la mayor parte de Mientras que tradicionalmente las dos gran-
la información. En primer lugar, al igual que en des vertientes metodológicas han mantenido
los estudios cuantitativos, es importante revi- una pugna que dicotomizaba a sus seguidores,
sar que los datos estén completos, que tengan en los últimos años, por fortuna, se ha ido ins-
buena calidad y que estén en un formato que fa- taurando la cordura metodológica necesaria
cilite su organización. Se debe confirmar que para iniciar una vía fructífera de complementa-
las transcripciones textuales en realidad lo sean, riedad en evaluación de programas. Ha resulta-
y que se hallen completas. La principal tarea en do un proceso duro y difícil, no exento de in-
96 ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101

comprensiones desde ambas orillas respecto a cripción de la realidad, fuesen episodios, docu-
intentos iniciales de colaboración (Anguera, mentos personales, registros descriptivos, au-
1985), pero que en la actualidad se halla en un toinformes, etc., a los cuales se los consideraba
proceso imparable que resulta sumamente fértil como ‘material de chatarra’ para el estudio del
y prometedor. comportamiento, y, por consiguiente, se despre-
ciaba la riqueza de información que podían
El nudo gordiano de la cuestión se hallaba,
aportar.
por un lado, en que por parte de los seguidores
de la tradicional metodología cualitativa, una vez Por supuesto, los planteamientos son diver-
se había recogido la información, sea en forma gentes, y mucho se ha discutido acerca de si
de notas de campo, diarios, transcripción de en- comportan un diferente cuño epistemológico,
trevistas en profundidad, etc., material valorado así como de la necesaria elección del paradigma
como de gran riqueza informativa, todo el es- (Cook y Reichardt, 1986). Pero la cuestión que
fuerzo se dedicaba unidireccionalmente a ‘enla- aquí nos interesa es hasta qué punto es factible
zar’ datos, elaborar memorandos (comentarios en evaluación de programas aunar sus ventajas
reflexivos), analizar el contenido contando fre- o puntos fuertes a la vez que se compensen sus
cuencias (solamente parte de los investigadores carencias o puntos débiles.
cualitativos acceden a informaciones de fre-
cuencia), generar mapas conceptuales, organi- La tarea no es fácil, pero si es factible, a
zar matrices o redes para condensar la infor- nuestro humilde entender, y la clave se reduce a
mación recogida, proponer nuevas teorías a dos cuestiones fundamentales: Por una parte,
partir de las relaciones detectadas por inspec- cubrir las respectivas deficiencias de ambos co-
ción visual y la posterior reflexión, etc. (Huber- lectivos de investigadores, considerando la ex-
man & Miles, 1991), pero siempre había una traordinaria riqueza que aportan los registros
carencia metodológica latente en todas estas ac- de conducta, la conducta verbal transformable a
tividades, y era la subjetividad, o, dicho de for- material documental, y los materiales docu-
ma edulcorada, la carencia de objetividad de- mentales (Tabla 1), con lo cual alcanzarán el
mostrada, debilidad que ni siquiera se situaba rango de ‘datos’ (Anguera, 2000a, 2004), a la vez
en el epicentro de las preocupaciones de los que que se fortalecen todas las cautelas y acciones
realizaban investigaciones cualitativas, mucho metodológicas tendentes a controlar la calidad
más preocupados habitualmente por plasmar del dato (Blanco, 1989, 1991, 1992, 1993, 2001;
sus discursos reflexivos o por construir teoría. Blanco y Anguera, 2000, 2003; Blanco y Losada,
2002; Blanco, Losada y Anguera, 1991) con el
Pero, por otro lado, los seguidores de la tra- fin de garantizar la necesaria objetividad propia
dicional metodología cuantitativa operaban ex- de cualquier estudio científico. Y, por otra parte,
clusivamente con valores numéricos proceden- aprovechar la pertinencia de los instrumentos
tes de medida mediante instrumentos estándar no estándar (Bakeman y Gottman, 1989; An-
que cumplían los requisitos métricos, o de cons- guera y Blanco, 2006; Anguera, Magnusson y
tatación del iter u orden, permitiendo descubrir, Jonsson, 2007), que, mediante los sistemas de
verificar o identificar relaciones simétricas o no categorías (en los diseños unidimensionales) y
entre conceptos que derivaban de un esquema los formatos de campo (en los diseños multidi-
teórico elaborado de acuerdo con los criterios mensionales), así como la combinación entre
que regían cada una de las situaciones que inte- ambos (en los diseños multidimensionales), do-
resaba estudiar, exigiendo, para llevar a cabo el tan a los investigadores de importantes herra-
contraste de la hipótesis, los requisitos de re- mientas que posibilitan la transformación de
presentatividad y aleatorización, lo cual com- datos cualitativos a datos tratables analítica-
portaba unas adecuadas técnicas de muestreo, y mente de forma cuantitativa.
después se llevaban a cabo técnicas cuantitati-
vas de análisis que podían alcanzar elevada so- En este sentido, la metodología observacio-
fisticación; no obstante, siempre había una ca- nal, que da soporte básico a la evaluación de
rencia metodológica latente en todas estas programas de baja intervención (Anguera,
actividades, que era la omisión voluntaria de 2008), ha sido pionera en lograr esta comple-
cualquier información procedente de la des- mentariedad (Anguera, 2004, 2005; Anguera &
ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101 97

Izquierdo, 2006), desde su origen –considerado rar la posición enfrentada de ambas perspecti-
tradicionalmente como una metodología cuali- vas, y ofrecen innumerables posibilidades.
tativa (Blanco, 1997)- hasta los desarrollos ana-
líticos posteriores (Blanco, Losada y Anguera, El empleo conjunto de la metodología cuali-
2003), que prácticamente no presentan ninguna tativa y de la cuantitativa, dado que se interesa
limitación respecto a los tradicionales estudios por el proceso y el resultado, potencia la vigori-
cuantitativos. zación mutua de los dos tipos de procedimien-
tos, y facilita la triangulación a través de opera-
Con estas nuevas consideraciones metodo- ciones convergentes (Cook y Reichardt, 1979).
lógicas, se supera la crítica de la endémica de- Sin embargo, no podemos eludir la coincidencia
bilidad metodológica de los enfoques cualitati- de diversos autores estudiosos de la cuestión al
vos en evaluación de programas, a la vez que considerar que buena parte de las técnicas de
se consiguen importantes avances consistentes recogida de datos son propias de una determi-
en el uso de recursos metodológicos sofisticados nada metodología, o, lo que es lo mismo, que
que permiten un rigor mucho más elevado. Una existen instrumentos tanto cualitativos como
idea básica y esencial que forma parte de esta cuantitativos (Hernández López, 1995; Angue-
nueva concepción de la metodología cualitativa ra, 1995c). Así, y en una primera aproximación,
en su complementariedad con la cuantitativa las entrevistas en profundidad, técnicas etnográ-
consiste en que, en función del diseño planteado ficas, análisis histórico o historias de vida, son
y de la naturaleza de los datos, procederá una u propias de la metodología cualitativa, mientras
otra técnica analítica (Anguera, Blanco y Losa- que indicadores estadísticos, observación siste-
da, 2001), teniendo presente que habitualmente mática, escalas de apreciación o cuestionarios, lo
se dispone de datos categóricos (Ato y López son de la cuantitativa. No obstante, se puede ela-
García, 1996; Suen & Ary, 1989; Ruiz-Maya, borar una sistemática más completa acerca de la
1990; Anguera, Blanco, Losada y Sánchez-Alga- naturaleza de las diversas técnicas de recogida
rra, 1999). de datos, así como de las posibilidades de ser
utilizadas desde una u otra metodología (Cook y
En cualquier caso, si la metodología cualita- Reichardt, 1979; Marshall & Rossman, 1989).
tiva nos ayudó en la obtención de datos que
aportan una gran riqueza informativa, la cuan- Es innegable que habrá estudiosos y profe-
titativa nos suministra los recursos para su aná- sionales que, genéricamente, manifiestan una
lisis más conveniente. La lógica sucesión de eta- preferencia marcada y casi excluyente por la
pas de forma organizada debe permitir este metodología cuantitativa, mientras que otros
cambio de perspectiva (de lo cualitativo a lo prefieren la cualitativa. Pero cada vez es mayor el
cuantitativo) de forma pacífica, sin tensión in- número de profesionales e investigadores que op-
terna en el seno del procedimiento a seguir. tan por la combinación de ambos planteamientos
en evaluación de programas, contemplando la
Ambas vertientes metodológicas pueden be- utilización de técnicas propias de uno y otro con-
neficiarse mutuamente entre sí, y son muchas forme a las características del programa y del tipo
las ocasiones en que se utilizan de manera con- de evaluación deseado. Nosotros igualmente nos
junta, dando garantía de su complementarie- pronunciamos en este sentido, considerando
dad. Se abre paso, con ello, a los diseños de eva- que debería intentarse una redefinición del de-
luaciones multimétodo, que pueden seguir una bate, y eliminando lo que durante décadas se
estrategia combinada o integrada, siempre pla- ha propuesto como necesaria elección del para-
nificada acorde a los objetivos del programa y digma. Un investigador no tiene por qué adhe-
del tipo de evaluación elegida (Greene, Cara- rirse ciegamente a uno de ambos paradigmas,
celly & Gram., 1989; Caracelli & Riggin, 1994; sino que puede elegir libremente una relación
Caracelli & Greene, 1997; Caracelli, 2000; Gree- de atributos que indistintamente provengan de
ne, Benjamion & Goodyear, 2001). Es cierto que uno u otro si así se logra una adaptación flexible
en ocasiones estas nuevas opciones presentan a su problemática.
problemas por su costo en tiempo y dinero, o es-
pecialmente por falta de personal preparado el A ello ayuda también el hecho de que cada
efecto, pero en cualquier caso se trata de supe- vez sea mayor el número de situaciones en que
98 ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101

un equipo multidisciplinar, a partir de una plu- ser y Anselm Strauss. Revista de Investigación
ralidad de técnicas, trata de aunar esfuerzos en Aplicada Social y Política, 1, 142-160.
aras a una mayor rigurosidad de la evaluación
Anguera, M.T. (1985) Posibilidades de la metodología
realizada. El camino está cada vez más despeja-
cualitativa vs. cuantitativa. Revista de Investiga-
do, pero todavía requerirá considerables esfuer-
ción Educativa, 3 (6), 127-144.
zos en el futuro para consolidar nuevas posibi-
lidades de colaboración, e incluso de Anguera, M.T. (1986) Investigación cualitativa. Edu-
integración, si atendemos a la propuesta de Be- car, 10, 23-50.
ricat (1998), que considera la actitud positiva y
recíproca entre ambas metodologías como un Anguera, M.T. (1995a). Metodología cualitativa. En
paso más allá de la «legítima y reconocida con- M.T. Anguera, J. Arnau, M. Ato, M.R. Martínez, J.
vivencia» (p. 31). Pascual y G. Vallejo. Métodos de investigación en
Psicología (pp. 513-522). Madrid: Síntesis.
Finalmente, es de justicia señalar el impor-
Anguera, M.T. (1995b). Recogida de datos cualitati-
tante papel que han desempeñado las nuevas
vos. En M.T. Anguera, J. Arnau, M. Ato, M.R.
tecnologías y los avances informáticos, no sola-
Martínez, J. Pascual y G. Vallejo. Métodos de in-
mente en el avance sustantivo, sino también en
vestigación en Psicología (pp. 523-547). Madrid:
esta tarea de acercamiento entre las posiciones
Síntesis.
metodológicas cualitativa y cuantitativa, si bien
es cierto que existen programas que siguen los Anguera, M.T. (1995c). Tratamiento cualitativo de da-
planteamientos conceptuales más radicales tos. En M.T. Anguera, J. Arnau, M. Ato, M.R.
(Weitzman & Miles, 1995; Lewins & Silver, Martínez, J. Pascual y G. Vallejo. Métodos de in-
2007). Es muy amplio el elenco de programas de vestigación en Psicología (pp. 549-576). Madrid:
que se dispone, así como la inusitada velocidad Síntesis.
con que aparece nuevo software en el mercado y
Anguera, M.T. (1995d). Metodología de la evaluación:
en la comunidad científica. En la actualidad ya
Evaluación cualitativa frente a evaluación cuan-
no nos sorprende ni que se realicen determina-
titativa. En Equipo del Gabinete Psicotécnico Mu-
dos análisis estadísticos a partir de textos (Wo-
nicipal de Torrent (Recop.) La evaluación ... ¿pro-
ods, Flechter & Hughes, 1996; Oakes, 1998; Lé-
ceso final? (pp. 27-36). Torrent: Ajuntament de
bart, Salem y Bécue Bertaut, 2000), ni que
Torrent.
determinados programas, como el Hyperbase
(Brunet, 2006), puedan llevar a cabo análisis de Anguera, M.T. (1999). Hacia una evaluación de la ac-
conglomerados o análisis factorial, o que otros tividad cotidiana y su contexto: ¿Presente o futuro
que tradicionalmente se han aplicado a regis- para la metodología? Discurso de ingreso como
tros sistemáticos de conducta, como el Thème académica numeraria electa. Barcelona: Real
(Magnusson, 1996, 2000), puedan extraer T-Pat- Academia de Doctores. [Reimpreso (2001) en A.
terns a partir de la transcripción de sesiones de Bazán Ramírez y A. Arce Ferrer (Eds.), Estrate-
psicoterapia (Blanchet, Batt, Trognon & Masse, gias de Evaluación y Medición del Comportamien-
2005), sea tradicional o tecnológicamente me- to en Psicología (pp. 11-86). México: Instituto Tec-
diada (Vaimberg & Anguera, en prensa). nológico de Sonora y Universidad Autónoma de
Yucatán].
Anguera, M.T. (2000a). Cuantificación no reduccio-
Referencias nista en Ciencias del Comportamiento: Anverso y
reverso de una compleja realidad. En E. Oñate, F.
Alvarez, J.J. (1986). Investigación cuantitativa / In- García-Sicilia y L. Ramallo (Eds.), Métodos nu-
vestigación cualitativa: ¿Una falsa disyuntiva? En méricos en Ciencias Sociales (pp. 1-29). Barcelona:
T.D. Cook y CH.S. Reichardt (Eds.) Métodos cua- Centro Internacional de Métodos Numéricos en
litativos y cuantitativos en investigación evaluativa Ingeniería (CIMNE).
(pp. 9-23). Madrid: Morata.
Anguera, M.T. (2000b). Del registro narrativo al aná-
Andréu, J. y García Nieto, A. (2006). Fundamentos y lisis cuantitativo: Radiografía de la realidad per-
elementos de la Grounded Theory de Berney Gla- ceptible. En Ciencia i cultura en el segle XXI. Es-
ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101 99

tudis en homenatge a Josep Casajuana (pp. 41- Anguera, M.T., Magnusson, M.S. y Jonsson, G.K.
71). Barcelona: Reial Academia de Doctors. (2007). Instrumentos no estándar. Avances en me-
dición, 5(1), 63-82.
Anguera, M.T. (2003). Observational Methods (Ge-
neral). In R. Fernández-Ballesteros (Ed.), Ency- Ato, M. y López García, J.J. (1996). Análisis estadísti-
clopedia of Psychological Assessment, Vol. 2 (pp. co para datos categóricos. Madrid: Síntesis.
632-637). London: Sage.
Bakeman, R. y Gottman, J.M. (1989) Observación de
Anguera, M.T. (2004). Posición de la metodología ob- la interacción: Introducción al análisis secuencial.
servacional en el debate entre las opciones meto- Madrid: Morata.
dológicas cualitativa y cuantitativa. ¿Enfrenta-
Bericat, E. (1998). La integración de los métodos cuan-
miento, complementariedad, integración?
titativo y cualitativo en la investigación social. Sig-
Psicologia em Revista (Belo Horizonte, Brasil), 10
nificado y medida. Barcelona: Ariel.
(15), 13-27.
Blanchet, A., Batt, M., Trognon, A. & Masse, L. (2005).
Anguera, M.T. (2005). Microanalysis of T-patterns.
Language and behaviour patterns in a therapeutic
Analysis of simmetry/assimetry in social interac-
interaction sequente. In L. Anolli, S. Duncan, M.S.
tion. In L. Anolli, S. Duncan, M. Magnusson & G.
Magnusson & G. Tiva (Eds.), The hidden structure
Riva (Eds.), The hidden structure of social interac-
of interactions: From neurons to culture patterns
tion. From Genomics to Culture Patterns (pp. 51-
(pp. 124-139). Amsterdam: IOS Press.
70). Amsterdam: IOS Press.
Blanco, A. (1989) Fiabilidad y generalización de la
Anguera, M.T. (2008). Evaluación de programas de
observación conductual. Anuario de Psicología,
baja intervención. En M.T. Anguera, S. Chacón y
43 (4), 5-32.
A. Blanco (Coords), Evaluación de programas so-
ciales y sanitarios. Abordaje desde una perspectiva Blanco, A. (1991) La teoría de la generalizabilidad
metodológica. Madrid: Síntesis. aplicada a diseños observacionales. Revista Mexi-
cana de Análisis de la Conducta / Mexican Journal
Anguera, M.T. (en prensa). Metodologías cualitativas:
of Behavior Analysis (México), 17 (3), 23-63.
Características, procesos y aplicaciones. En M.A.
Verdugo (Coord.), Actualizaciones metodológicas Blanco, A. (1992). Aplicaciones de la teoría de la ge-
en discapacidad. Salamanca: INICO. neralizabilidad en la selección de diseños evalua-
tivos. Bordón, 43 (4), 431-459.
Anguera, M.T. y Blanco, A. (2006). ¿Cómo se lleva a
cabo un registro observacional? Butlletí La Recerca, Blanco, A. (1993) Fiabilidad, precisión, validez y ge-
4 [[Link] neralización de los diseños observacionales. En
/ [Link] M.T. Anguera (Ed.) Metodología observacional en
la investigación psicológica (pp. 149-261). Barce-
Anguera, M.T., Blanco, A. y Losada, J.L. (2001). Dise-
lona: P.P.U., Vol. II.
ños observacionales, cuestión clave en el proceso
de la metodología observacional. Metodología de Blanco, A. (1997). Metodologies qualitatives en la in-
las Ciencias del Comportamiento, 3 (2), 135-160. vestigació psicològica. Barcelona: Edicions de la
Universitat Oberta de Catalunya.
Anguera, M.T., Blanco, A., Losada, J.L. y Sánchez-
Algarra, P. (1999). Análisis de la competencia en Blanco, A. (2001). Generalizabilidad de observaciones
la selección de observadores. Metodología de las uni y multifaceta: Estimadores LS y ML. Metodo-
Ciencias del Comportamiento, 1 (1), 95-114. logía de las Ciencias del Comportamiento, 3 (2),
161-193.
Anguera, M.T. & Izquierdo, C. (2006). Methodological
approaches in human communication. From Blanco, A. y Anguera, M.T. (2000). Evaluación de la
complexity of situation to data analysis. In G. calidad en el registro del comportamiento: Apli-
Riva, M.T. Anguera, B.K. Wiederhold & F. Man- cación a deportes de equipo. En E. Oñate, F. Gar-
tovani (Coord.), From Communication to Pre- cía-Sicilia y L. Ramallo (Eds.), Métodos Numéri-
sence. Cognition, Emotions and Culture towards cos en Ciencias Sociales (pp. 30-48). Barcelona:
the Ultimate Communicative Experience (pp. 203- Centro Internacional de Métodos Numéricos en
222). Amsterdam: IOS Press. Ingeniería.
100 ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101

Blanco, A. y Anguera, M.T. (2003). Calidad de los da- Chacón, S. y Shadish, W. (2008). Validez en evalua-
tos registrados en el ámbito deportivo. En A. Her- ción de programas. En M.T. Anguera, S. Chacón y
nández Mendo (Coord.), Psicología del Deporte A. Blanco (Coords.), Evaluación de programas so-
(Vol. 2). Metodología (p. 35-73). Buenos Aires: Ef- ciales y sanitarios. Abordaje desde una perspectiva
deportes ([Link]). metodológica. Madrid: Síntesis.
Blanco, A. y Losada, J.L. (2002). Estimación y gene- Conner, R.F., Altman, D.G. & Jackson, C. (1984).
ralización en diseños observacionales: Una apli- 1984: A brave new world for evaluation. In R.F.
cación iterativa de máxima verosimilitud. Meto- Conner, D.G. Altman & C. Jackson (Eds.), Evalu-
dología de las Ciencias del Comportamiento, vol. ation Sudies Review Annual (pp. 12-11), Vol. 9.
especial, 85-90. Beverly Hills, CA.: Sage.
Blanco, A., Losada, J.L. y Anguera, M.T. (1991) Esti- Cook, T.D. y Reichardt (Eds.) (1979). Métodos cuali-
mación de la precisión en diseños de evaluación tativos y cuantitativos en investigación evaluati-
ambiental. Evaluación Psicológica / Psychological va. Madrid: Morata.
Assessment, 7 (2), 223-257.
Denzin, N.K. (1970). The research act: A theoretical
Blanco, A., Losada, J.L. y Anguera, M.T. (2003). Ana- introduction to sociological methods. New York:
lytic techniques in observational designs in envi- McGraw-Hill.
ronment-behavior relation. Medio Ambiente y
Comportamiento Humano, 4 (2), 111-126. Edwards, J.A. & Lampert, M.D. (1993). Talking data.
Transcription and coding in discourse research.
Blaxter, M. (1979). Symposium on the handling of Hillsdale, N.J.: Lawrence Erlbaum Associates.
qualitative data. Introduction. Sociological Re-
view, 27 (4), 649-650. Flick, U. (2007). Introducción a la investigación cuali-
tativa. Madrid: Morata.
Boyatzis, R.E. (1998). Transforming qualitative infor-
mation. Thousand Oaks : Sage. Glaser, B.G. (1978). Theoretical sensitivity. Mill Va-
lley, CA.: Sociology Press.
Brunet, E. (2006). Hyperbase. Logiciel hypertexte pour
le traitment documentaire et statistique des corpus Glaser, B.G. & Strauss, A.L. (1967, 1999). The disco-
textuels. Document non publié. very of Grounded Theory: Strategies for qualitative
research. New York: Aldine de Gruyter.
Bulmer, M. (1979). Concepts in the analysis of quali-
tative data. Sociological Review, 27 (4), 651-677. Greene, J.C., Benjamin, L. & Goodyear, L. (2001).
The merits of mixing methods in evaluation. Eva-
Caracelli, V.J. (2000). Evaluation use at the threshold luation, 7 (1), 25-44.
of the twenty-first century. In V.J. Caracelli & H.
Preskill (Eds.), The expanding scope of evaluation Greene, J.N., Caracelli, V.J. & Graham, W.F. (1989).
use. News directions for evaluation (pp. 99-111), Toward a conceptual framework for mixed-met-
Vol. 88. San Francisco, CA.: Jossey-Bass. hod evaluation designs. Educational Evaluation
and Policy Analysis, 11 (3), 255-274.
Caracelli, V.J. & Greene, J.C. (1997). Crafting mixed-
method evaluation designs. In J.C. Greene & V.J. Hernández López, J.M. (1995). Procedimientos de re-
Caracelli (Eds.), Advances in mixed-method eva- cogida de información en evaluación de progra-
luation: The challenges and benefits of integrating di- mas. En R. Fernández-Ballesteros (Ed.), Evalua-
verse paradigms. New Directions for Evaluation (pp. ción de programas. Una guía práctica en ámbitos
19-32), Vol. 74. San Francisco, CA.: Jossey-Bass. sociales, educativos y de salud (pp. 117-147). Ma-
drid: Síntesis.
Caracelli, V.J. & Riggin, J.C. (1994). Multimethod eva-
luation: Developing quality criteria through con- Hernández Sampieri, R., Fernández-Collado, C. y
cept mapping. Evaluation Practice, 15 (2), 139-152. Baptista Lucio, P. (2006), Metodología de la inves-
tigación. México: McGraw-Hill.
Caudle, S.L. (1994). Using qualitative approaches. In
J.S. Wholey, H.P. Hatry & K.E. Newcomer (Eds.), Huberman, A.M. & Miles, M.B. (1991). Analyse des
Handbook of practical program evaluation (pp. 69- données qualitatives. Recueil de nouvelles métho-
95). San Francisco: Jossey-Bass. des. Bruxelles: De Boeck-Wesmael.
ANGUERA, M. T. / ACCIÓN PSICOLÓGICA, julio 2008, vol. 5, n.o 2, 87-101 101

Lébart, L., Salem, A. y Bécue Beraut, M. (2000). Aná- Ruiz-Maya, L. (1990). Metodología estadística para el
lisis estadístico de textos. Lleida: Milenio. análisis de datos cualitativos. Madrid: Centro de
Lewins, A. & Silver, C. (2007). Using software in qua- Investigaciones Sociológicas.
litative research. Los Angeles: Sage. Sandín, M.P. (2003). Investigación cualitativa en Edu-
Lofland, J. (1971). Analyzing social settings. Belmont, cación. Fundamentos y tradiciones. Madrid: Mc-
Ca.: Wadsworth. Graw-Hill.
Magnusson, M.S. (1996). Hidden real-time patterns in Smith, J.K. (1983). Quantitative versus interpretative:
intra- and inter-individual behavior. European Jour- The problem of conducting social inquiry. In E.R.
nal of Psychological Assessment, 12 (2), 112-123. House (Ed.) Philosophy of evaluation (pp. 27-51).
Magnusson, M.S. (2000). Discovering hidden time San Francisco: Jossey-Bass.
patterns in behavior: T-patterns and their detec- Schwartz, H. y Jacobs, J. (1984). Sociología cualitati-
tion. Behavior Research Methods, Instruments, & va. Método para la reconstrucción de la realidad.
Computers, 32 (1), 93-110. México: Trillas.
Marshall, C. & Rossman, G.B. (1989). Designing qual-
itative research. Newbury Park: Sage. Strauss, A.L. (1996). Qualitative analysis for social
scientists. Cambridge: Cambridge Univeersity
Miles, M.B. & Huberman, A.M. (1984). Qualitative Press.
data analysis. Beverly Hills: Sage.
Strauss, A.L. & Corbin, J. (1990). Basics of qualitative
Nisbett, R.E. & Wilson, T.D. (1977.). Telling more
research. Grounded theory procedures and tech-
than we can know: Verbal reports on mental
niques. Newbury Park: Sage.
processes. Psychological Review, 84 (3), 231-259.
Norris, S.P. (1984). Defining observational compe- Strauss, A.L. & Corbin, J. (1998). Basics of qualitative
tence. Service Education, 68 (2), 129-142. research. Techniques and procedures for developing
grounded theory. Thousand Oaks, CA.: Sage.
Oakes, M.P. (1998). Statistics for corpus linguistics.
Edinburgh: Edinburgh Univesity Texts. Suen, H.K. & Ary, D. (1989) Analyzing quantitative
Palumbo, D.J. (Ed.) (1987). The Politics of Program behavioral observation data. Hillsdale, N.J.:
Evaluation. Londres: Sage. Lawrence Erlbaum Associates.

Patton, M.Q. (1980). Qualitative Evaluation Methods. Vaimberg, R. & Anguera, M.T. (en prensa). Metho-
Beverly Hills: Sage. dological devices about text analysis in a Psy-
chotherapeutic Group with Technological Aid.
Rebolloso, E., Fernández-Ramírez, B. y Cantón, P.
Forum: Qualitative Social Research.
(2008). Evaluación de programas de intervención
social. Madrid: Síntesis. Weitzman, E.A. & Miles, M.B. (1995). Computer pro-
Riba, C.E. (2007). La metodologia qualitativa en grams for qualitative data analysis. A software so-
l’estudi del comportament. Barcelona: UOC. urcebook. Thousand Oaks: Sage.

Rodríguez Gómez, G., Gil Flores, J. y García Jiménez, Woods, A., Flechter, P. & Hughes, A. (1996). Statistics
E. (1996). Metodología de la investigación cualita- in language studies. Cambridge: Cambridge Uni-
tiva. Archidona: Aljibe. versity Press.