Tema 37: La evaluación. La mejora de procesos

• Pluralidad de usos. Un concepto “imán” que atrae las más diversas acepciones.

“La evaluación ha atraído sobre sí significados tan distintos que algunos autores la consideran un “imán semántico” (Vedung, 1996). “La evaluación es una palabra elástica que se estira para abarcar juicios de muy distinto tipo” (Carol Weiss, Evaluation Research, 1972).

En el campo del sector público la evaluación ha llegado a identificarse prácticamente con cualquier esfuerzo de racionalidad y reflexión sistemática, confundiéndose, a menudo, con otras técnicas gerenciales consideradas afines, pero de naturaleza bien distinta como el seguimiento, el control y la auditoría.

Existen numerosas definiciones de la evaluación que engloban finalidades distintas: cognoscitivas, normativas e instrumentales.

La evaluación es un continuum de prácticas que implican la recogida y tratamiento de informaciones sobre la acción pública (¿qué es lo que pasa?), sobre preocupaciones normativas (¿se ha hecho bien?), y sobre preocupaciones instrumentales (¿cómo hacerlo mejor?), ligadas al buen funcionamiento de las administraciones y servicios públicos.

Nos encontramos ante un concepto variable, polivalente y dinámico que se ha ido modificando en función de la propia evolución de la disciplina y las experiencias evaluadoras, así como de los diversos enfoques profesionales y sus usos:

• Uso para los gerentes públicos: mejora y eficacia organizacional.

• Uso político: responsabilidad y transparencia gubernamental.

• Uso académico, ligado estrechamente a la investigación social aplicada.

Entre el abundante número de definiciones podemos destacar algunas características esenciales: las que distinguen entre programas y políticas públicas y las que oscilan entre dos verbos: medir y valorar. A poco que se estudie la evolución de las definiciones sobre evaluación observaremos esta oscilación que trata de incluir o excluir el juicio de valor.

Algunas definiciones excluyen la dimensión del juicio valorativo y limitan la evaluación a la medida de la intervención de los resultados. Otras definiciones más restrictivas limitan la evaluación a la estimación ex post de los resultados.

• La importancia de las definiciones.

Existe un gran número de definiciones de evaluación que ilustran el propio proceso evolutivo de esta práctica. Cada una de ellas incide en un aspecto u otro según el paradigma que asuma, las perspectivas a las que se ligue y la utilidad.

Algunas de estas definiciones han quedado demasiado reducidas con el tiempo, otras apuntan a aspectos interesantes para el futuro sin llegar a convencer a todos. La mayoría se sitúan dentro del campo de la evaluación de programas más que de políticas públicas.

Se aporta una selección que ilustra algunos de los aspectos que el evaluador deberá tener en consideración.

1950. Tyler: (Desde la perspectiva educativa) señala que la evaluación de programas “es el proceso de determinar en qué medida los objetivos de un programa se han alcanzado”.

Centrada en los objetivos. Responde a la pregunta ¿Qué evaluar?

1967. Scriven: “Evaluar supone la estimación del mérito de un objeto”.

Sucinta definición que tiene el mérito de captar el significado básico y natural del término: diferenciar lo valioso de lo que no lo es. Deja sin aclarar tres extremos: ¿Qué supone “mérito o valor”, cómo habría de realizarse la “estimación” y para qué habría de hacerse?

1971. Franco: “Evaluar es fijar el valor de una cosa, y para hacerlo se requiere de un procedimiento mediante el cual se compara aquello a evaluar respecto de un criterio o patrón determinado”.

Introduce importantes novedades respecto a las anteriores: ¿Cómo hacerlo y en base a qué criterios de valor?

1972. Bañón: “Evaluar es formar un juicio acerca de una acción o de la concatenación de acciones para establecer si su concepción y desarrollo corresponden a los objetivos deseados. La evaluación en el ámbito público, implica la aplicación de procedimientos sistemáticos y rigurosos de recogida de datos y de análisis, pero diferenciándose de ésta en que debe emitirse un juicio de valor sobre el objeto que se está evaluando, bien sea un programa, una política determinada, una organización, sin olvidarnos que se pone especial énfasis en los resultados y en la participación de las partes interesadas.”

Tiene en cuenta el continuum de la acción, el método, el juicio de valor, los diferentes objetos de estudio, el énfasis en los resultados y la consideración de la participación de los actores implicados.

1980. Rutman: “Supone el uso del método científico en la medida de la implementación y de los resultados de políticas y programas”.

Reconocimiento del método científico en la gestión de resultados. No considera su aplicación en la fase de planificación. Finalidad gerencial.

1982. Weiss: “Evaluar es comparar los efectos de un programa con las metas que se propuso alcanzar a fin de contribuir a la toma de decisiones subsiguientes acerca del mismo y para mejorar así la programación futura”. Utilidad estratégica para los decisores públicos.

1983. Stufflebeam y Shinkfield: “Recoger y analizar sistemáticamente una información que nos permita determinar el valor o mérito de algo”.

Añade a la definición de Scriven la sistematización en la recogida de información.

1994. Valadez y Mamberger (Manual del Instituto de Desarrollo Económico Banco Mundial):

“La evaluación es una actividad gerencial externa y/o interna que analiza las relaciones de los procesos y recursos con los resultados e impactos.” Novedad: la referencia a procesos e impactos. Función gerencial.

Rossi & Freeman: “La evaluación debe preocuparse de la utilidad de la puesta en práctica, la eficacia, la eficiencia de las medidas que tienen por objetivo mejorar la suerte de los miembros de la sociedad”.

Esta definición es de gran importancia y novedad porque es de las pocas que recoge el ¿para quién evaluar? y alcanza la razón última que justifica la evaluación: la sociedad.

OCDE-CAD

• Apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo.

Una evaluación deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones de beneficiarios y donantes.

El término “evaluación” designa también un proceso sistemático y objetivo posible por el cual se determina el valor y el alcance de una acción de desarrollo planeada, en curso o concluida.

Dg BUdget

• Juicio sobre las intervenciones según sus resultados, impactos y necesidades que buscan satisfacer (The Communication on Evaluation: SEC (2000) 1051)

Los propósitos principales son los siguientes:

• Contribuir a la concepción de las intervenciones y aportar los elementos necesarios para la definición de prioridades políticas.

• Velar por una utilización eficiente de los recursos.

• Mejorar la calidad de la intervención.

• Dar cuenta de los resultados de la intervención (accountability).

• ¿Qué les falta y les sobra a las definiciones de las que disponemos frente a las exigencias del nuevo milenio?

A la vista de las definiciones anteriores podemos hacernos una idea de que cualquiera que se interese por la evaluación encontrará tantas definiciones como autores y que casi ninguna acaba de ser completa. Es un campo en devenir que se ha visto afectado por los paradigmas académicos pero también por la adaptación de las administraciones públicas y el proceso de cambio de la burocracia a la gobernanza.

Bernard Perret señala que, teniendo en cuenta todas las circunstancias y dificultades para encontrar una definición que llegue a convencer a todos, la que más posibilidades tendría de prosperar sería aquella que considerara, a la vez, presupuestos cognitivos, metodológicos, instrumentales y sociales, sin olvidar el juicio de valor. Bajo esos criterios nos atrevemos a apuntar lo que tendría que incluir una definición de evaluación en consonancia con nuestro tiempo.

La cuestión no es intrascendente pues cada definición es, en cierta medida, una declaración de principios con el predominio de ciertos valores en base a los cuales la evaluación tratará de dar respuestas.

• Una propuesta de definición de evaluación de políticas públicas para el siglo XXI

• Consideración de la evaluación como proceso institucional.

• Aplicación de la evaluación en todas las fases del ciclo de intervención.

• Énfasis en el entendimiento integral de las intervenciones: resultados, impactos, sin olvidar los procesos y la teoría que sustenta la intervención.

• Consideración metodológica y procedimental como un continuum que aplica sistemáticamente el método científico para la recogida y análisis de información.

• Doble vertiente de utilidad: gerencial y político-democrática para la mejora y diseño de acciones futuras.

• Indispensable no eludir el juicio de valor y las recomendaciones.

• De carácter pluralista y participativo de los actores implicados, siempre que sea posible.

• Finalidad última: Para la mejora de la sociedad y la rendición de cuentas sobre las acciones públicas a la ciudadanía.

La evaluación de políticas públicas se concibe, así, como un proceso institucional, que es conveniente adoptar en todas las fases del ciclo de intervención pública, aplicando métodos sistemáticos y rigurosos de recogida y análisis de información, con el énfasis puesto en la comprensión integral de los impactos, resultados, procesos y teorías de las intervenciones públicas en relación con los objetivos trazados a fin de servir, tanto al aprendizaje y a la mejora gerencial de los servicios públicos, como a la estrategia sobre decisiones futuras, fundamentándose este proceso sobre el juicio de valor de la acción pública evaluada y basándose en criterios establecidos por los principales actores implicados, con la finalidad última de servir a la ciudadanía.

En el mundo académico hablar de evaluación es hablar básicamente de su diseño metodológico. Sin embargo, la evaluación institucional tiene una serie de instancias que intervienen y unos condicionamientos gerenciales que hay que gestionar. Para el mayor éxito de la evaluación hay que tener en cuenta las distintas estrategias a encarar en las diferentes fases.

La evaluación, como proceso institucional conlleva un conjunto de acciones incardinadas en las fases clásicas de toda intervención pública: planificación, implementación y resultados. Estas fases de la intervención evaluadora están ligadas a un conjunto de estrategias: planificadora, negociadora, metodológica y comunicativa.

En primer lugar, hay que delimitar el objeto y el alcance del encargo con las instancias involucradas. A continuación, hay que planificar y organizar la evaluación, sustentando la búsqueda de información en una estrategia metodológica adecuada al tiempo disponible y a las distintas necesidades informativas. Además, hay que garantizar razonadamente las conclusiones y recomendaciones y hay que tener en cuenta, desde el primer momento, la estrategia de comunicación para los distintos actores.

Asimismo, en la evaluación confluyen dos tipos de lógicas que hay que distinguir con precisión: la propia evaluadora y la lógica de la intervención que se evalúa.

La primera, la lógica de la evaluación, por flexible que sea, es una lógica más o menos secuencial, que avanza de A (punto de salida de la evaluación: las preguntas) a C (Conclusiones a las que se llega), mientras que la lógica de la intervención que se evalúa, resulta tan variada como el campo y el tipo de intervención a evaluar y suele ir en dirección contraria, parte de la situación en la que se encuentra la intervención y pretende llegar a comprender el objetivo que se proponía, las desviaciones y los resultados que ha dado. Aunque estas lógicas son perfectamente distinguibles en su acción, pueden producir cierta confusión en la narración del informe final y convendrá tenerlo en cuenta.

• Dos modos de investigación: análisis teórico y análisis empírico.

• Análisis de la lógica de la intervención que tiene por pretensión profundizar en los fundamentos de la intervención y constatar los resultados que tenía previstos a fin de contrastarlos con la situación actual

• Un sistema de razonamiento lógico basado en interrogantes e hipótesis que nos irá proporcionando mayor conocimiento de la intervención con el fin de constatar las desviaciones que se hayan producido y los resultados actuales.

• Definición de criterios de valor e indicadores que midan los objetivos.

Para establecer un juicio de valor sobre la intervención evaluada se deberán establecer unos referentes, asimismo las cuestiones que se quieran explorar deberán traducirse en indicadores para que puedan medirse.

• Negociación con los principales actores implicados para validar los criterios de valor y las necesidades informativas que requieran de la evaluación.

• Selección de metodología y herramientas. Estos aspectos deberán ponderarse en relación con el objeto de estudio, tiempos de entrega de la evaluación y recursos.

• Observación in situ. Es el conocido trabajo de campo en el que los evaluadores, frente al trabajo de estudio que pueden realizar en el despacho, deben conocer la intervención en su lugar de origen y, de ser preciso, en su desarrollo día a día.

• Recopilación rigurosa y sistemática de los datos y su tratamiento sometidos a criterios de validez. Esta es una fase que debe llevarse a cabo con el mayor cuidado para que la información recogida tenga validez y proporcione credibilidad.

• Análisis e interpretación de datos. Esta fase permite analizar, contrastar los datos con otros trabajos e interpretar –que no manipular- los datos obtenidos en relación a la búsqueda que se plantea la evaluación.

• Redacción de conclusiones y recomendaciones. En función de todo lo anterior, se redactarán las conclusiones y, bien con trabajos comparativos o con la mayor capacitación de los evaluadores, se propondrán las recomendaciones que sean más viables.

Para poder investigar sobre la intervención se tratará de comprender su razón de ser: las necesidades y problemas que la justifican, el contexto en el que surgió y su evolución en el tiempo, así como la articulación entre objetivos y medidas.

Debe atender por tanto a:

• Razones y contexto en los que surge la intervención.

• Problemas o necesidades que trata de resolver y análisis del diagnóstico que se hizo.

• Opciones que se eligieron frente a otras alternativas.

• Cambios producidos desde el momento que dio origen a la intervención y el momento de la evaluación.

La lógica de la intervención es el conjunto de actividades puestas en práctica, los efectos esperados (productos, resultados e impactos) de una intervención, así como los supuestos que explican cómo las actividades van a conducir a los efectos en el contexto de la intervención.

Para reconstruir la lógica de la intervención es necesario:

• Ayudar a aclarar los objetivos y a traducirlos en una jerarquía de efectos esperados de tal manera que ello permita su evaluación.

• Sugerir preguntas de evaluación sobre dichos efectos.

• Ayudar a evaluar la coherencia interna de la intervención.

La lógica de la intervención puede ser “fiel” a los documentos de programación y a los documentos de origen de la política en la que se inscribe la intervención. En este caso, se deducen los efectos esperados de los objetivos establecidos en los documentos oficiales.

Al construir la lógica de intervención en el momento de la evaluación, se pueden tener en cuenta aquellos efectos que se esperan implícitamente pero que no han sido explicitados en los documentos iniciales. Eso significa un distanciamiento de la lógica “fiel”, lo cual se debe especificar. El enfoque “fiel” es pertinente cuando se expresan los objetivos con la suficiente precisión y de un modo verificable.

Con frecuencia la lógica de una intervención evoluciona a través del tiempo.

Llegado este caso, se justifica la reconstrucción de las lógicas correspondientes a periodos sucesivos.

La lógica de la intervención es una simplificación útil de la realidad, sin embargo, hay que estar siempre consciente de la complejidad del mundo real.

Además, de la reconstrucción de la lógica de intervención, resulta útil identificar los principales factores externos que condicionan o que afectan la ejecución y los efectos. Es necesario también tener presente el hecho de que las explicaciones causales reales se revelan a menudo más complejas que los supuestos establecidos al inicio.

El sistema con el que se irá creando la estructura lógica de la evaluación se basará en una serie de interrogantes e hipótesis que permitirán hacer operativa la puesta en marcha de una evaluación.

Esta forma de razonamiento actúa como un sistema circulatorio que da vida a todo el proceso de evaluación. Se trata de concretar el problema a evaluar hasta hacerlo manejable. Y esto sólo se hace a través de la especificación de las preguntas.

• La pregunta se configura como la unidad básica de la investigación.

• “... Necesitamos una pregunta o preguntas que nos den libertad y flexibilidad para explorar el fenómeno a evaluar en profundidad…. esta amplitud de la pregunta o preguntas iniciales va a ir focalizándose a lo largo del proceso de investigación / evaluación al ir descubriendo la relevancia o irrelevancia de los conceptos y sus relaciones...” (Straus y Corbin, 1990).

• Las necesidades informativas de los actores clave.

• Es cierto que las preguntas del evaluador son importantes, sin embargo, también es evidente que no bastan si no se escucha a los grupos de interés implicados en el proceso, a fin de realizar una evaluación que les sea útil.

• La evaluación satisface necesidades de información de diferentes actores y esas necesidades han de tener cabida en el diseño a través de la formulación, con mayor o menor precisión, de las pretensiones de los interesados. Será labor del evaluador clarificar lo que pretenden las partes interesadas.

La operativización de las preguntas en indicadores será objeto de una próxima guía más detallada.

• “Sin juicio de valor no hay evaluación”.

Cualquiera de las definiciones de evaluación tanto en español como en otras lenguas nos pone frente a su problema medular: el establecimiento de “juicios de valor”, que marcará los distintos enfoques evaluativos.

La evaluación tiene por finalidad contribuir a la elaboración de un juicio de valor para ayudar a la toma de una decisión, mejorar la puesta en marcha de una política o el funcionamiento de un servicio.

“El elemento de valor es esencial para la práctica y teoría de la evaluación porque es lo que radicalmente distingue la evaluación de la investigación” (Alvira,1993).

El juicio de valor está en relación directa con los criterios que se hayan establecido.

En los comienzos de la práctica evaluadora se trató de soslayar la cuestión de los valores. No se mencionaban ni explícita ni implícitamente, al contrario, se pretendió encuadrar la evaluación en prácticas científicas consideradas más objetivas, vaciándola de contenidos de valor. Alvira sostiene que “este ocultamiento carece de fundamento, porque, ante todo, evaluar es valorar algo tomando como referencia uno o varios valores”.

A partir de los años 80/90 surge una mayor conciencia respecto a la necesidad de explicitar los valores de forma clara. En esos años, surgió también una concepción más plural y participativa de la evaluación, en la que quienes encargan la evaluación participan en los criterios de valor adjudicando al evaluador un papel menos dominante. La lógica de los actores políticos y técnicos impuso una perspectiva de valores tecnocráticos que, todavía hoy, domina muchas de las grandes instituciones.

Convendría tener presente, recuerda Alvira, en relación con Scriven, que “el valor último con el que enjuiciar un programa o política debe ser la satisfacción de las necesidades de los ciudadanos”, añadiríamos que siempre que ello no lesione ningún principio democrático.

En cualquier caso, los problemas sobre los que se actúa en programas o políticas públicas sólo se transforman en problemas sociales cuando intervienen los valores de las personas o grupos que así lo definen y el Estado garantiza que se cumplen las reglas del juego democrático sin desequilibrios.

Por lo que se refiere a la evaluación, los valores, no son entelequias de carácter abstracto o de dirección moral o partidista, los valores se entrelazan con todo el proceso evaluador condicionando las preguntas, el tipo de evaluación que se va a elegir y la metodología a aplicar. Sólo así, los juicios de valor a los que se llega en la evaluación podrán ser percibidos por todos como fundados sobre argumentos legítimos.

La evaluación actual es el resultado de un largo proceso evolutivo que tiene que ver con los diferentes paradigmas científicos que la han influido y con su propio origen en el seno de diversas disciplinas.

• El análisis coste/beneficio del que se sirve la evaluación proviene de las ciencias económicas.

• El análisis de implementación es deudor de las ciencias administrativas y políticas.

• La evaluación de resultados es una aportación de la Psicología, Sociología y Pedagogía.

• La evaluación de impacto tiene su origen, primero en la Ingeniería, luego en el conjunto de las Ciencias sociales.

En la evaluación de programas y políticas públicas se ha ido produciendo una ampliación progresiva del objeto de estudio, tomando cada vez más interés por cuestiones que van más allá de los meros objetivos. Así, la evaluación se ha ido ocupando de:

• Los efectos netos de la intervención pública, es decir, aquellos efectos que no se hubieran producido en ausencia de aquélla.

• La evaluación de la implementación de los programas, esto es, su cobertura y organización administrativa.

• La evaluación de la conceptualización y diseño de los programas en función de las necesidades y de la forma en que son definidos los problemas sociales.

• Los análisis coste/eficacia y coste/beneficio - evaluación económica.

Todo esto ha dado lugar a un buen número de tipologías que a veces llegan a confundirse y a menudo se solapan. Alvira señala que se han recogido más de 30 tipos o acepciones diferentes de evaluación, aunque esa diversidad, según el autor, no es tanto real, como terminológica, de manera que muchos tipos se confunden o simplemente añaden pequeños matices a los ya existentes en un proceso evolutivo de complementariedad y contraste.

Es importante clarificar este asunto porque el tipo de evaluación a realizar estará relacionado con las preguntas clave a las que se quiere dar respuesta, con los objetivos que se marque el programa y con los criterios de valor a utilizar.

Cada evaluación tiene un ámbito distinto en función de las cuestiones que intenta responder, su propósito, naturaleza, método, fase en la que se aplica, consideración de los usuarios o utilidad. Todos estos factores determinarán la tipología de la evaluación.

En función del paradigma:

• Evaluación clásica, racionalista, positivista, centrada en los objetivos.

• Evaluación pluralista, participativa o constructivista.

En función del método de investigación.

En función del propósito.

En función de la perspectiva temporal.

En cuanto a los evaluadores.

En función de las Fases o contenidos:

• Evaluación de necesidades.

• Evaluación de conceptualización o diseño de la política o programa.

• Evaluación de cobertura.

• Evaluación de evaluabilidad.

• Evaluación de implementación.

• Evaluación de resultados.

• Evaluación de Impacto.

• Evaluación económica.

Metaevaluación.

Tipos de evaluación, preguntas, objetivos y criterios de valor están interrelacionados y condicionan (casi determinan) el diseño de la evaluación.

• Evaluación centrada en los Objetivos.

• Evaluación Pluralista: centrada en la utilidad, los procesos, los resultados y los impactos.

Debido a su importancia dedicaremos este epígrafe al estudio de las diferencias de la evaluación en función del paradigma científico. En primer lugar, porque ha sido base de grandes debates, que tienen estrecha conexión con las técnicas que utilizan y su pretensión de rigor científico y, en segundo lugar, porque nos ayudará a entender la evolución que han sufrido las tipologías.

La primera diferenciación tipológica que cabría hacer es la que se deriva, al menos, de dos grandes paradigmas contrapuestos:

• La evaluación centrada en los objetivos, de orientación positivista y de utilidad mayormente técnica y

• La evaluación pluralista centrada en los impactos y en los intereses de una pluralidad de actores, de mayor utilidad política y con una mayor atención a la incidencia social.

Entre una y otra cabe señalar un arco de perspectivas que se acercan o alejan de la radicalidad de los extremos.

LA EVALUACIÓN CENTRADA EN LOS OBJETIVOS

Dentro de la trayectoria evolutiva de la evaluación un jalón importante son los años 50 en los que surge la evaluación por objetivos que ha constituido el paradigma dominante hasta nuestros días. Aunque ya en los sesenta empieza a apuntar un nuevo paradigma que surge de la crítica al racionalismo científico (Scriven 1967- 1973), tardará años en abrirse paso y convivir en condiciones de igualdad con el anterior.

La premisa teórica en la que se fundamenta el modelo clásico de la evaluación por objetivos es que los programas públicos son diseñados con el objeto de alcanzar objetivos específicos y su éxito puede ser determinado en función de la medida en que se alcanzan los objetivos previstos.

El proceso de este modelo centrado en los objetivos es relativamente lineal y sencillo:

• Especificación de metas y objetivos del programa.

• Estricta delimitación de los objetivos siguiendo una jerarquía, de mayor a menor concreción, y en términos medibles.

• Selección de los instrumentos adecuados para medir la consecución de los objetivos del programa.

Sin embargo, los objetivos de las políticas y de los programas públicos acostumbran a ser generales, abstractos y confusos. En infinidad de casos es labor de la propia evaluación clarificar los objetivos y las necesidades del programa y verificar si los resultados responden a lo previsto. La evaluación por objetivos recurre a diseños de naturaleza experimental o cuasiexperimental, y al establecimiento de controles estadísticos que requieren, primero, la identificación de variables que reflejen aproximadamente los resultados del programa; y segundo, la medida de su situación, antes y después de la intervención y/o en relación con la situación de grupos de control que no recibieron aquélla.

Este tipo de evaluación que llamamos clásica, racional o científica, cuyo modelo desarrolló Ralph TYLER, se ha visto, a lo largo del tiempo, que presenta limitaciones importantes tanto en su aplicación, como en la utilización de sus resultados en el proceso de toma de decisiones políticas, lo que dio lugar al rechazo del modelo clasicista-positivista, decantándose algunos investigadores por enfoques más políticos, centrados en la utilización de los resultados de la evaluación para la toma de decisiones, basados, generalmente, en métodos cualitativos de investigación.

Esto llevó a los investigadores a concluir, según Ballart, que “los diseños de investigación clásicos sólo se pueden llevar a cabo bajo condiciones y en circunstancias muy limitadas. La demanda de evaluación de programas que no puedan ser evaluados de esta forma tendrá por tanto que cubrirse recurriendo a otras formas alternativas de evaluación”.

LA EVALUACIÓN NATURALISTA / PLURALISTA O PARTICIPATIVA

Guba y Lincoln, (1987) formularon la alternativa más radical al paradigma clásico.

Para Guba y Lincoln no es posible la objetivad porque cualquier análisis implica que el observador interactúa con lo observado. Para estos autores los conceptos de causalidad, validez interna y validez externa, prestados de la investigación básica, no son trasladables a la evaluación (Mc Kelly, 1987).

Mc Kelly (1987) define la estrategia naturalista, por oposición a la científica clásica, en los siguientes términos:

“Utiliza personas como instrumentos de recogida de datos más que instrumentos de sondeo: utiliza el conocimiento intuitivo, con el objeto de reflejar de forma más adecuada el sistema de valores del investigador; utiliza metodologías cualitativas más que cuantitativas, muestreos selectivos más que muestras aleatorias y representativas, lleva a cabo análisis de datos de carácter inductivo, utiliza teorías bien establecidas y no hipótesis supuestamente sustantivas...” (McKelly, 1987).

La evaluación naturalista o pluralista, reconoce la pluralidad de sistemas de valores que coexisten en el seno de la sociedad. El exponente más destacado en Europa es el francés Eric Monnier.

La premisa teórica en la que se fundamenta el modelo pluralista de evaluación es que existe una diversidad de percepciones sobre los criterios evaluativos que deben aplicarse en relación con un programa específico, y que lo importante no es tanto desarrollar medidas objetivas de resultado como facilitar un amplio diálogo entre los defensores de los criterios diversos.

La evaluación pluralista representa el reconocimiento de la naturaleza política de la evaluación. A diferencia de la concepción racionalista-científica este modelo rechaza la idea de evaluación imparcial y objetiva de los resultados de un programa, para centrarse en la importancia de los valores y de las opiniones de la pluralidad de actores que tienen que ver con él.

La evaluación pluralista se caracteriza por:

1. Reconocimiento del carácter político de la evaluación y servir a las decisiones políticas.

2. Abrir el proceso evaluador a múltiples actores, con intereses y perspectivas diversos.

3. Aplicar una diversidad de enfoques evaluativos según situaciones específicas en función de la finalidad del programa.

4. Producir conclusiones que buscan la utilidad para los actores.

5. El papel del evaluador como mediador.

En este sentido Weiss señala: “En la medida que la evaluación pluralista legitima la diversidad de intereses presentes, reconoce la multiplicidad de perspectivas que estos intereses implican, y de hecho promueve la participación activa de los diversos grupos que tienen relación con un programa, “democratiza” la evaluación, aunque ello se haga a menudo desde arriba, por decisión de los evaluadores.” (Weiss, 1983)

En cuanto a las ventajas del modelo pluralista se señalan:

• Evaluaciones que pueden ser realizadas en períodos de tiempo relativamente cortos.

• No comprometen grandes cantidades de recursos.

• Responden a las necesidades de los usuarios.

• Las metodologías cualitativas permiten mantener un estrecho contacto con la realidad y obtener una mejor comprensión del entorno político-social en el que se desarrollan nuevas intervenciones sociales.

Conclusión sobre la influencia de los paradigmas.

Autores tan representativos como Weiss y Vedung, los dos desde una perspectiva positivista (o postpositivista), reconocen lo inadecuado y poco útil de utilizar diseños experimentales o cuasiexperimentales en la mayoría de las situaciones y contextos de evaluación -a lo que habría que añadir su cuestionamiento ético-; no obstante, en la teoría les siguen otorgando un peso importante y le dedican capítulos enteros a esta cuestión. La profesora Bustelo se pregunta ¿por qué se le sigue dedicando, entonces, un lugar central en la teoría y los manuales al uso sobre evaluación?

Probablemente, las razones podrían encontrarse, no sólo en la deuda pendiente que la evaluación como disciplina pueda tener todavía con la investigación social, sino, también, en el propio momento de revolución científica, en términos kuhnianos, en el que paradigmas emergentes como el constructivismo conviven, todavía, poco “rodados”, con otros paradigmas que han sido dominantes durante mucho tiempo.

Evaluación Descriptiva

Evaluación Analítica

• EVALUACIÓN DESCRIPTIVA: Tiene por objeto obtener parámetros cuantitativos que puedan ser aplicados a grupos de individuos que se benefician de una política o participan de un programa o servicio público.

En la medida que las evaluaciones de la implementación de los programas persiguen información sobre la población objeto del programa y sobre sus actividades, suelen ser de naturaleza descriptiva.

• EVALUACIÓN ANALÍTICA: Intenta responder a cuestiones de tipo causa- efecto. Requiere por tanto la utilización de modelos teóricos y diseños de investigación adecuados para demostrar que las interpretaciones causales son ciertas (Cohen y Franco, 1988).

Las evaluaciones de impacto, en cuanto intentan separar los efectos del programa de otros efectos externos, estableciendo relaciones de causalidad, suelen ser de naturaleza analítica.

• Evaluación formativa o de proceso.

• Evaluación recapitulativa, sumativa, conclusiva o de resultados.

Los términos “formativa o recapitulativa” (del inglés “summative”) fueron adoptados por Scriven (1967) en su discusión sobre la evaluación de programas educativos y desde entonces se ha utilizado para referirse a evaluaciones con distintos propósitos (Herman, Morris y Friz-Gibbon, 1987).

• EVALUACIÓN FORMATIVA O DE PROCESO: Responde a una de las preocupaciones que se encuentran en la base de muchas demandas de evaluación: obtener información, de forma progresiva, sobre la marcha de una política o programa y durante su desarrollo, con el fin de darla a conocer a sus responsables para poder introducir las modificaciones programáticas que se estimen oportunas.

Requiere un conocimiento detallado de las medidas políticas a aplicar u operaciones del programa y de sus múltiples componentes para anticipar problemas y examinar el logro de los objetivos.

• EVALUACIÓN RECAPITULATIVA, SUMATIVA, CONCLUSIVA O DE

RESULTADOS: Su propósito es proporcionar información necesaria para poder hacer una valoración global sobre los resultados de un programa y su utilidad para tomar la determinación de continuar con él o suspenderlo. En el caso de las políticas puede servir para concluir sobre los logros en un determinado momento.

Requiere que haya pasado un intervalo suficiente de tiempo desde la adopción del programa, de forma que su organización y actividades hayan alcanzado una cierta estabilidad. En la medida que el programa tenga unos objetivos claros y medibles será más factible juzgar sus resultados.

La evaluación conclusiva se corresponde, en cuanto a las cuestiones objeto de investigación con la evaluación de resultados, de eficiencia y de impacto.

EVALUACIÓN FORMATIVA O DE PROCESO

• EVALUACIÓN DE CONCEPTUALIZACIÓN /NECESIDADES

• EVALUACIÓN DEL DISEÑO

• EVALUACIÓN DE LA IMPLEMENTACIÓN

EVALUACIÓN RECAPITULATIVA, SUMATIVA, CONCLUSIVA O DE RESULTADOS

• EVALUACIÓN DE RESULTADOS

• EVALUACIÓN DE IMPACTO

• EVALUACIÓN DE EFICIENCIA

Este criterio hace referencia al momento en que se va a llevar a cabo la evaluación en relación con la aplicación o puesta en marcha del programa. Es posible distinguir:

• Evaluación ex ante

• Evaluación intermedia

• Evaluación ex post

• LA EVALUACIÓN EX ANTE

Se realiza antes de ejecutar el plan, programa o política pública, siendo el objetivo principal de la evaluación analizar y determinar la adecuación de la intervención a las necesidades que lo motivan y sus posibilidades de éxito.

Pretende garantizar a priori que el programa o política pública, tal y como ha sido concebido, conseguirá los objetivos de la planificación.

La evaluación ex ante es el ideal de una cultura que ha implantado con éxito la evaluación en el análisis de las políticas públicas con un sentido holístico desde el inicio del proceso de planificación y no sólo al final, cuando el programa o la política está dando los resultados.

En la evaluación ex ante cabe hacer todo tipo de evaluación de contenido:

necesidades, teoría del programa, cobertura, efectos de la implantación, previsibles resultados e impacto.

• LA EVALUACIÓN INTRA o INTERMEDIA

Se lleva a cabo “a medio camino” entre el inicio del análisis de las políticas públicas y el final de la implementación cuando empiezan a producirse los resultados. Esta evaluación intermedia consiste en el análisis crítico del conjunto de datos recogidos sobre la intervención y en la medición de la forma en la que los objetivos perseguidos están siendo alcanzados, explicando las diferencias y estimando anticipadamente los resultados finales de la intervención. Las evaluaciones intermedias aportan datos sobre la validez de la intervención en curso, la pertinencia de los objetivos considerados y la calidad del sistema de gestión y seguimiento de la política o programa. Su objetivo principal es obtener una información relevante y precisa que permita introducir las modificaciones necesarias en el diseño o en la ejecución de la intervención.

Los sistemas de seguimiento son elementos inapreciables en la evaluación de implementación, pero no deben confundirse con la evaluación de implementación cuyo análisis es algo mucho más amplio y profundo. Se trata de una recogida de información que analiza, tanto los propios sistemas de seguimiento y sus indicadores como los procesos, las administraciones responsables del programa, los recursos humanos o financieros, los posibles fallos organizativos o de gestión en la calidad de los servicios y en la consecución de los objetivos finales, a fin de corregir sobre la marcha efectos adversos y desviaciones de la intervención.

• LA EVALUACIÓN EX POST

Se realiza una vez finalizada la intervención. Permite enjuiciar su éxito, el acierto de la estrategia diseñada en el mismo, su grado de flexibilidad y capacidad de adaptación a una realidad siempre cambiante, su eficacia y eficiencia y la adecuación de los mecanismos de gestión y seguimiento previstos.

Tanto en la evaluación ex post como en la evaluación ex ante cabe hacer todo tipo de evaluación de contenido (cobertura, teoría de la política o programa, implementación, impacto), la diferencia es que en este caso ya hay resultados a examinar y que la lógica del trabajo evaluativo será de abajo arriba, tratando de averiguar, a través de los resultados, la lógica y conceptualización de la intervención pública y las desviaciones que se hayan producido.

• Evaluación interna

• Evaluación externa

• Evaluación mixta

La distinción entre evaluación interna y externa se refiere a las personas encargadas de realizar la evaluación y plantea un problema clásico de organización, esto es, ¿quién debe ser el evaluador?: ¿personal del programa, una Agencia administrativa especialista en evaluación, evaluadores externos: universidades, consultores…?

• EVALUACIÓN INTERNA / EVALUACIÓN EXTERNA / EVALUACIÓN MIXTA La evaluación puede realizarse internamente (autoevaluación), o externamente, por especialistas externos contratados por la Administración.

Frente a la objetividad e independencia que se reclama para la evaluación externa –si bien no justificada-, la evaluación interna presenta como ventajas la mayor familiarización con el ámbito administrativo y con la intervención y por tanto un mayor conocimiento de sus mecanismos de gestión y ejecución. Tanto la evaluación interna como la externa presentan ventajas e inconvenientes, de ahí que lo más recomendable sea la creación de equipos de evaluación mixtos, formados por personal ajeno al programa y por algunos responsables de su gestión y ejecución.

En la evaluación de programas de intervención social, la fase en la que se encuentre el programa o política pública condiciona el tipo de evaluación a realizar, siendo, por tanto, uno de los posibles criterios para elegir la tipología. Otros autores prefieren hablar de contenidos.

Alvira recomienda seguir un criterio analítico/lógico en la elección de la tipología y distingue una serie de tipos de evaluación que considera guardan cierta relación jerárquica:

Evaluación de necesidades.

Evaluación del diseño/conceptualización del programa.

Evaluación de la evaluabilidad.

Evaluación de implementación/proceso.

Evaluación de seguimiento. (*)

Evaluación de la cobertura.

Evaluación de resultados.

Evaluación de impacto.

Evaluación económica.

(*) En la actualidad, no se considera el seguimiento y monitoreo una evaluación. Sin embargo, es muy común encontrarlos asociados, especialmente, en Latinoamérica.

En cuanto a la evaluación de cobertura, el propio Alvira la incluye en la de implementación.

Y respecto a la evaluación de proceso, a menudo se identifica con la de implementación.

El tipo de evaluación condicionará el encadenamiento de preguntas que tratarán de informarnos sobre la realidad del programa y que serán distintas en cada fase.

• Etapa de planificación de la intervención, la evaluación de necesidades y el análisis evaluativo de la conceptualización y diseño constituyen el eje de las posibles evaluaciones.

• Etapa de puesta en marcha. Una vez que está en funcionamiento la intervención, la evaluación más adecuada sería la de implementación y la de cobertura, cabría también elegir cualquier tipo de seguimiento de la intervención (aunque no lo consideramos estrictamente evaluación). Si hay clara constatación de resultados podríamos aplicar la evaluación de resultados y la evaluación económica.

• Cuando la intervención lleva tiempo funcionando lo lógico sería centrarse en la evaluación de resultados, impacto, económica, cabría también aplicar a su estudio una evaluación de seguimiento o monitoreo.

Nota: Alvira habla de Fases. Pero no deben tomarse como necesariamente sucesivas, se pueden evaluar aisladamente. Sólo se seguiría una lógica sucesiva en el supuesto de una evaluación integral.

La evaluación de diagnóstico de necesidades es el primer paso racional en el desarrollo de un programa o intervención.

Tiene como objetivo analizar las características esenciales del problema que la intervención quiere solucionar y su importancia.

La evaluación de la conceptualización y del diseño de las políticas públicas y programas intenta proporcionar información, primero, sobre el problema (necesidades detectadas) del que se ocupa o se debería ocupar la política o programa, segundo, sobre el proceso de formulación y diseño de la intervención, y tercero, sobre la racionalidad intrínseca de la misma, es decir, hasta qué punto el diseño de la intervención sirve a sus objetivos (Rossi y Freeman, 1985).

Es evidente que el diseño de una intervención pública no es algo que competa a los evaluadores, salvo que el planificador requiera su asesoramiento para evaluar posteriormente, en cualquier caso, el evaluador puede señalar en sus trabajos problemas conceptuales o de diseño preexistentes, mediante un análisis lógico del programa en relación al problema que quiere solucionar.

El tema clave es la existencia o no de un modelo de intervención suficientemente contrastado que permita suponer que se lograrán los resultados previstos.

El análisis evaluativo se centrará en:

• La población objeto y los posibles problemas de cobertura.

• La articulación objetivos - medidas.

S. Wholey (1981) planteó hace ya años la necesidad de evaluar la evaluabilidad de un programa como paso previo formalizado que evite gastos y esfuerzos innecesarios. La experiencia evaluadora de otros países ha puesto de relieve que más del 50% de los programas no son evaluables por tener problemas de especificación de objetivos, problemas de implementación, problemas de aplicación de un conjunto coherente de actividades o todo ello conjuntamente. Esto hace que la evaluabilidad no sea sólo una herramienta operativa, inapreciable en la evaluación de programas, sino una tipología esencial en la planificación estratégica de la evaluación de políticas públicas.

La evaluabilidad es un tipo de evaluación de características particulares que se aplica previamente a una evaluación de gran envergadura para determinar si la intervención es evaluable, es decir, si sería eficaz evaluar en relación a los resultados que se prevé obtener, si sería eficiente, en cuanto a los recursos necesarios para obtener esos resultados y si sería viable respecto a los obstáculos detectados.

La evaluación de evaluabilidad es una fase previa a la puesta en marcha de una evaluación de gran envergadura que se centra en comprobar y valorar todo aquello que es medible e importante antes de iniciar una evaluación más profunda. Y se trata de una evaluación ex post respecto a la intervención, no de una evaluación ex ante.

CARACTERÍSTICAS DE LA EVALUABILIDAD

• Saca a la luz la calidad de la conceptualización del programa en la fase de planificación, analizando su diseño, necesidades y objetivos.

• Cuanto mayor rigor haya observado el diseñador del programa en la fase de planificación más fácil será comprobar su evaluabilidad.

• Responde a una lógica sistemática de “abajo arriba”, que a través de relaciones de causalidad irá reconstruyendo un proceso desde las acciones concretas del programa y sus resultados hasta su fundamento y objetivos específicos.

• Verifica la existencia y la accesibilidad a la información necesaria, en calidad y cantidad, que permitiría llevar a cabo la evaluación. Si no hay datos suficientes o los que hay no resultan relevantes la evaluabilidad desaconsejará la evaluación.

• Informa sobre la implicación y disposición del entorno gestor y responsable frente a la posible evaluación, constatando sus resistencias o colaboración. En definitiva, uno de los objetivos perseguidos con el análisis de evaluabilidad es crear un clima favorable, de cooperación e interacción entre “evaluados y evaluadores” para facilitar la evaluación.

• Analiza la dotación de recursos con los que se cuenta para la evaluación.

• Su pronóstico puede realizarse en un tiempo relativamente corto.

• Puede alcanzar una amplia utilización.

Resulta de gran eficacia para las Agencias evaluadoras, proponiendo los focos más tácticos para la planificación (7) en evaluación.

(7) Para un mayor detalle sobre esta tipología, ver: “La evaluabilidad: de instrumento de gestión a herramienta estratégica en la evaluación de políticas públicas”. Papeles de Evaluación 7, Colección de AEVAL, 2007 Disponible en versión electrónica: http://www.aeval.es

Uno de los aspectos claves de una intervención pública es su ejecución o puesta en marcha. Un programa o política pueden no conseguir los efectos deseados debido a que la puesta en marcha no funciona tal y como se había planeado. En esto consistirá la evaluación de implementación o de proceso, en la valoración de una forma sistemática y periódica de dos cuestiones fundamentales:

• La cobertura de la intervención, es decir, hasta qué punto el programa o política está alcanzando la población o el área a los que se dirige.

• La forma en que la intervención se administra, tanto desde el punto de vista de la utilización de los recursos de que dispone, como de los servicios finalmente distribuidos (Rossi y Freeman, 1985).

La primera cuestión a precisar es terminológica, ya que la mayor parte de las veces evaluación de implementación y evaluación de proceso se usan indistintamente. No obstante, Alvira en su modelo jerarquizado las considera por separado y en vista a que hemos seguido su propuesta mantenemos la diferencia, aunque reconocemos que a menudo se solapan. En todo caso la categoría superior sería evaluación de implementación, que englobaría otras subcategorías.

Rossi y Freeman incluyen en la evaluación de implementación también la de cobertura. En el escalograma de Alvira aparecen separadas, aunque cada vez más, los evaluadores incluyen el análisis de la cobertura y el de la calidad del proceso en la evaluación de implementación.

Sólo interesa resaltar aquí que una evaluación de implementación puede contener diferentes análisis en función de lo que hayan solicitado las partes interesadas, pudiendo optarse también por hacer cualquiera de las evaluaciones por separado dependiendo de lo que se quiera averiguar.

Mayor interés puede tener otra cuestión, ésta de tipo conceptual, sobre la que llama la atención la profesora Bustelo, compartida también por Alvira: “Para realizar una buena evaluación de implementación hay que identificar e investigar la Teoría del programa”. La llamada de atención responde a que autores importantes como Weiss y Vedung, a pesar de reconocer esta necesidad teórico-conceptual, cuando llega el momento de hablar de tipologías mencionan únicamente la evaluación de la implementación –ejecución o proceso- y la de resultados. Y todo ello, porque dan por supuesto que ese estudio previo va implícito en la evaluación de implementación y de resultados. Sin embargo, el enfoque de “Teoría del programa” –teoría que sustenta la intervención-, no ha sido frecuente en evaluación hasta hace unos años.

La profesora Bustelo hace hincapié en que “como analistas de los procesos de intervención pública, es crucial interesarse por el diseño y conceptualización de las políticas, además de hacerlo por los procesos de ejecución y sus resultados e impacto”.

Una intervención consiste, esencialmente, en un conjunto de actividades a aplicar a una población objeto. Por tanto, un método de evaluar la intervención consiste en analizar hasta qué punto llega a la población destinataria.

Se trata no sólo de calcular la tasa de cobertura –el porcentaje de la población objeto afectada por el programa- sino, también, de analizar si existe sesgo en la cobertura y efectuar un análisis de las barreras y de la accesibilidad al programa.

A menudo, las intervenciones tienen problemas de infracobertura o sesgo, por lo que resulta clave dentro de la evaluación de la cobertura analizar: el conocimiento del programa o política por parte de la población destinataria, la accesibilidad física o la aceptación y receptividad.

Se analizan a continuación las tres evaluaciones ex post por excelencia: la evaluación de Resultados o de Eficacia, la Evaluación de Impacto y la Evaluación de Eficiencia, advirtiendo que por las dimensiones de su desarrollo y la amplitud y casuística de su metodología son inabordables en estas páginas de orientación general sobre tipologías de evaluación. En realidad, cada una de estas tipologías exigiría por sí misma un desarrollo monográfico.

De nuevo nos encontramos con problemas terminológicos en cuanto al uso indistinto de los términos resultados, eficacia e impactos y las diferencias entre un tipo de evaluación y otra. Esta confusión está muy extendida en el caso de las evaluaciones de Programas de Ayuda al Desarrollo que suelen hablar generalmente de evaluación de impactos, aunque lo que entren a valorar sean resultados.

Además, el término impactos se utiliza en muchas áreas geográfica –en particular América de Sur- como sinónimo de efectos.

En realidad, este último vocablo es mucho más genérico y, en el lenguaje común incluiría tanto los resultados como los impactos de una intervención. Por lo que reservaríamos el término resultados para los que derivan de los obtenidos en relación a los objetivos –resultados esperados y no esperados en la población objeto de intervención- y el término impactos para examinar impactos en esa misma población y fundamentalmente en la sociedad.

El análisis de resultados presupone que existe un conjunto de objetivos operacionales y que éstos son indicativos del éxito o del fracaso de la intervención.

Se afirma que éste ha funcionado correctamente si consigue cambios en la línea marcada por los objetivos.

La función del evaluador consiste precisamente en demostrar que los cambios son debidos a la intervención y no se pueden explicar como consecuencia de un proceso alternativo que no incluya al programa mismo (Rossi y Freeman, 1985).

La cuestión esencial en la evaluación de resultados es separar los efectos del programa o política de otros efectos externos para determinar hasta qué punto la intervención es responsable de los cambios observados durante y después de su puesta en práctica. En este sentido la evaluación de resultados es también una evaluación de eficacia. Sin embargo, hay que señalar que en el caso de evaluar políticas los resultados netos son mucho más difíciles de determinar.

Esto se ha tratado de conseguir, desde la perspectiva positivista, con la identificación de medidas de resultados que representen los objetivos del programa, y con el control, mediante métodos experimentales, cuasiexperimentales o estadísticos, de aquellos efectos que no sean adjudicables a la intervención.

La evaluación de impacto mide más allá que la evaluación de resultados. Examina la medida en que la intervención produce efectos más allá de los resultados previstos. Los impactos son clave en la evaluación de las políticas públicas. ¿Pero resultados previstos sobre qué? ¿Sobre la población objeto del estudio o sobre la general que pueda verse afectada sin haberse previsto?

Los autores no se ponen de acuerdo o al menos no son tan claros como nos gustaría.

“Bajo la denominación de evaluación de impacto se entiende el proceso evaluativo orientado a medir los resultados de las intervenciones, en cantidad, calidad y extensión según las reglas preestablecidas”. (Abdala, E. Manual para la evaluación de impacto en programas de formación para jóvenes. Montevideo, 2004)

Esta definición introduce un criterio sagaz para distinguir la evaluación de resultados de la evaluación de impacto: el de extensión. Una evaluación de resultados debería tener como límites los marcados en la intervención. Todos los efectos que se extiendan más allá de lo planificado deberíamos considerarlos impactos, sin duda los que afecten a la población en general, pero, también, los que afecten a la propia población objeto de estudio que excedan los resultados previstos.

Lo aclara aún más el mismo autor: La evaluación de impacto abarca todos los efectos de la planificación y ejecución: específicos y globales, buscados (según los objetivos) o no; positivos, negativos o neutros; directos o indirectos.

Se tratará de ilustrar con un ejemplo una cuestión que suscita tantas confusiones. En el caso de intervenciones para la incorporación de jóvenes discapacitados al mundo laboral con un porcentaje limitado de discapacidad y por un tiempo definido, se diseña una intervención con bonificaciones a las empresas. El resultado es que aumenta el número de discapacitados contratados en esas condiciones (Resultados positivos deseados), pero se observa que la mayoría de los discapacitados son físicos y de un tipo de discapacidad (resultados no deseados en la población diana). Se constata, además, que pasado el tiempo establecido en el contrato no se produce integración total de los discapacitados, pasando sus contratos a indefinidos (impacto en la población diana). Añadiéndose el hecho de que han descendido en la zona las contrataciones a jóvenes sin discapacidad (impactos en la sociedad) porque los empresas buscan el beneficio de la contratación bonificada. Todo lo producido podríamos considerarlo efectos de la intervención a tener en cuenta para el rediseño.

UTILIDAD DE LA EVALUACIÓN DE IMPACTO

Permite:

• Registrar y analizar todas las experiencias (positivas y negativas), mediante la comparación en el grupo de control, sistematizándolas.

• Evaluar el contexto socioeconómico y político en que se da la experiencia.

• Identificar a los actores involucrados y su peso específico en los resultados.

• Estudiar la articulación interinstitucional y la público-privada.

• Ofrecer estudios de coste-beneficio.

• Aprender sobre los procesos de gestión de la intervención.

• Informar a los responsables para la toma de decisiones sobre las futuras intervenciones. Esta retroalimentación promueve el reforzamiento institucional.

El conocimiento de la eficacia o impacto de una intervención puede ser insuficiente. A menudo, el impacto de una intervención deberá ser juzgado en función de su coste ya que puede ocurrir perfectamente que un determinado programa esté produciendo unos resultados escasos para los costes en que ha incurrido. Ello supone incluir el análisis coste-eficacia o efectividad, el análisis coste- beneficio y el análisis coste-utilidad dentro del ámbito de la evaluación. Estos requieren una evaluación de impacto previa, para determinar los beneficios causados realmente por la intervención.

La identificación, cuantificación y transformación a una unidad común de medida de los costes y beneficios puede resultar problemática cuando se trata de intervenciones sociales, ya que no todos los outputs e inputs pueden ser valorados en términos monetaristas, cuestión que tiene mucho que ver con los criterios de valor en las intervenciones públicas.

Consiste en el análisis de los resultados de varias evaluaciones. Proporciona, por tanto, información sintética sobre el conocimiento existente en relación con una determinada política o programa público. Lógicamente, este tipo de análisis sólo es posible cuando un número considerable de evaluaciones han sido realizadas y publicadas en relación con una determinada política. Entonces, el examen sistemático del conjunto de las evaluaciones, desde una perspectiva más general, puede proporcionar más y mejor información que un nuevo estudio de características parecidas a los realizados anteriormente.

A veces, la metaevaluación consiste en repetir un estudio acabado, reanalizando los datos en que se basa o incorporando más datos sobre el mismo programa (Hudson y McRoberts, 1984). Otra forma de hacer metaevaluaciones consiste en la revisión de tipo más amplio de la investigación evaluativa desarrollada en un determinado período.

La “evaluación de las evaluaciones”, como podría describirse la metaevaluación, no está exenta de las complicaciones que derivan de las diferencias existentes entre proyectos individuales en cuanto a las metodologías empleadas, el tipo de datos utilizados, o la perspectiva política desde la que se llevaron a cabo. Parece razonable, sin embargo, recurrir a la información agregada y sintética de las metaevaluaciones para justificar decisiones políticas, cuando esto sea posible, y en la medida que la evidencia empírica acumulada indique claramente un curso de acción.

¿Qué se entiende por diseño de la evaluación?

Una definición amplia del término diseño lo relaciona con bosquejo del conjunto de los componentes (tema, problema, objetivos, metodología, técnicas...) que permiten al investigador o al evaluador anticipar -mediante una representación organizada del punto de partida- el inicio de la construcción del objeto en proceso de estudio. De este modo, la noción de diseño es asimilada o se confunde con la de proyecto de investigación en su conjunto, sin que el proyecto quede necesariamente circunscrito a una fase inicial del proceso de investigación.

En la otra punta del arco, una acepción restringida define el diseño como la opción técnica adecuada a un determinado tipo de problema de investigación y entiende el diseño como un dispositivo exclusivamente técnico.

Habría que advertir de “el abuso y consiguiente desgaste del término diseño, al cual se le atribuyen contenidos de muy variada naturaleza, como se pone de manifiesto al realizar una revisión sobre la cuestión” (García Ramos, 1992).

Pero, no debemos olvidar que el verbo diseñar pone el énfasis en la dimensión estratégica del proceso de investigación o evaluación destacando su referencia anticipadora de aquello que se quiere conseguir y no sólo los medios para lograrlo.

“El diseño equivale a realizar con el mayor detalle las distintas tareas que deben ser llevadas a cabo en el análisis y valoración final que supone toda evaluación. El diseño ha de partir de una formulación clara de los objetivos que se pretenden lograr, y ha de contener información precisa sobre los insumos que van a ser utilizados; las actividades a realizar y los resultados que se prevén para la consecución de esos objetivos.” (Amescua, C. y Jiménez, A., 1996)

Para completar esta aproximación al concepto de diseño en su perspectiva más amplia, que es la que aquí interesa, se tendrá en cuenta la noción que aporta Valles:

“Diseñar significa, ante todo, tomar decisiones a lo largo de todo el proceso de evaluación y sobre todas las fases o pasos que conlleva dicho proceso” (Valles, 2003).

Algunas de estas decisiones se tomarán al inicio, mientras se va perfilando el problema a investigar y se delimitan los casos, el tiempo y el contexto del estudio, otras irán surgiendo sobre la marcha, y las últimas llegarán en el momento de decidir cómo presentar las conclusiones.

Cada una de estas circunstancias concretas deberá resolverse por el evaluador con particulares estrategias. Esa combinatoria que tiene el diseño de componentes tácticos y estratégicos es lo que se conoce modernamente como estrategia teórico- metodológica, que abarca mucho más que las cuestiones técnicas y que dada la complejidad de la realidad exige cada vez la complementariedad de perspectivas.

Cualquier estudio sobre el diseño de evaluación se enfrentará con el debate de las dos grandes corrientes metodológicas que dominan la investigación social:

cuantitativa y cualitativa.

La perspectiva cuantitativa prefiere utilizar como concepto clave “proyecto” más que diseño y cuando hablan de diseño es para contraponer el “diseño tradicional” o “convencional” (cuantitativo) al “diseño emergente” (propio de la investigación cualitativa).

El concepto de diseño emergente, así como la clave de la flexibilidad del diseño en estudios cualitativos aparece en Lincoln y Guba, Marshall y Rossman (1985), quienes consideran crucial “un plan de investigación que incluya muchos de los elementos de los planes tradicionales, pero reservándose el derecho a modificarlo durante la recogida de datos”.

La diferencia principal entre ambos diseños se halla, según sus defensores, en “la especificidad del plan original de investigación”.

La información que se obtiene a lo largo del proceso de implementación ha de ser exacta, fiable y, sobre todo, válida para detectar qué relación existe entre la situación inicial de la intervención y la que resulta después de ella. Todo esto nos sitúa frente al tema capital de los diseños cuantitativos: la validez. Existe un buen número de estudios dedicados a este asunto (Campbell & Stanley, 1966; Cook & Campbell, 1979; Brinberg & Kidder, 1982; Arnau, 1990; Vallejo, 1991; Martínez, 1995), llegándose a construir un auténtico mapa de tipos de validez en el proceso de investigación (Brinberg & McGrath, 1982), en el que se diferencia, fundamentalmente, entre validez interna y validez externa.

Por validez interna se entiende la capacidad de controlar las potenciales explicaciones o hipótesis alternativas que pudieran afectar a los resultados de la evaluación. El evaluador que trabaje desde el enfoque cuantitativo tratará por todos los medios de alcanzar la mayor validez interna en sus trabajos.

El objetivo esencial de un buen diseño de evaluación de resultados bajo la perspectiva cuantitativa girará en torno a los criterios que se establezcan para controlar las posibles explicaciones alternativas.

El problema crítico que tratará de despejar la evaluación a través de la elaboración de su diseño es determinar si los resultados que produce el programa podrían haber ocurrido sin la intervención de éste o si se deben a factores combinados o de confusión, que enmascaran los resultados netos del programa. Por eso, algunos autores distinguen entre resultados brutos y resultados netos.

Rossi y Freedman consideran que los “factores de confusión” o “causas extrañas” que afectan a los resultados brutos de una evaluación deben tenerse en cuenta para hablar de resultados netos que son los que podrán atribuirse a la intervención, libre de otras causas.

La validez interna trata de asegurarse a través de dos vías:

1. Comparaciones entre grupos que permitan ver diferencias y anular el efecto de las variables alternativas. En este caso, el procedimiento consiste en buscar grupos de comparación o control que no estén afectados por la intervención para compararlos con grupos sobre los que ésta actúa.

2. Análisis estadístico: Requiere haber identificado las variables que hay que controlar, es decir, las posibles explicaciones alternativas. Y una vez identificadas se buscan técnicas de análisis multivariable que permitan separar los efectos de unas y otras variables.

Los diseños tipo en la evaluación de resultados de orientación cuantitativa son:

• Diseños experimentales

• Diseños no experimentales

• Diseños diacrónicos:

• a) Análisis de panel

• b) Análisis de tendencias

• c) Análisis de series temporales

• Diseños sincrónicos

• a) Análisis de tablas de contingencia mediante modelos lineales logarítmicos

• b) Análisis log-linear

• Diseños mixtos

• Diseños cuasi experimentales

• a) Diseño con grupo control no equivalente

• b) Diseño de discontinuidad en la regresión

• c) Diseños cuasiexperimentales con sujeto único

• d) Diseños intraseries

• e) Diseños intraseries temporales

• Diseños de series temporales interrumpidas

• Con grupo de control no equivalente

• Con variables dependientes no equivalentes

• Con retirada del tratamiento

• Con replicación múltiples

• Con replicaciones cambiadas

• Estrategias combinadas

• Diseños de cohortes

Para el diseño cuantitativo son elementos claves: los grupos, las características de la propia intervención, las mediciones y trabajar con diseños previos, calificados como “rígidos”.

Por el contrario el diseño naturalista, por lo general, no se establece por completo antes de empezar con el estudio, sino que emerge al tiempo que se recogen los datos. Suele llevar a cabo un análisis preliminar y luego va tomando forma con el contexto.

“Un investigador cualitativo prefiere que la “teoría” emerja de los propios datos.

Esto incrementa su capacidad para comprender y quizá para concebir una explicación del fenómeno que sea consecuente con su aparición.” (Erlandson et al, 1993)

Patton (1990) también transmite el mensaje de que “los diseños cualitativos siguen siendo emergentes incluso después de que comienza la recogida de datos”.

Pero matiza, “el grado de flexibilidad y apertura es, sin embargo, un asunto de gran variación entre diseños”.

Simplificando, existirían dos tipos extremos de diseños en investigación sociológica: el emergente y el proyectado. Los primeros surgen según avanza el estudio, los segundos se proyectan de antemano por el evaluador. Para el profesor Valles no se trataría de polos opuestos, sino, más bien, de un continuo entre ambos, que iríamos eligiendo según el caso a aplicar. Será la pericia del investigador/evaluador la que orientará la utilización de un diseño u otro según las fases, el objeto de estudio o el análisis a realizar.

El evaluador deberá tener en cuenta, de partida, una serie de consideraciones antes de comenzar con el diseño: factores de tiempo de entrega, oportunidad, recursos económicos y humanos de los que dispone, utilidad que persigue la evaluación e intereses de los solicitantes. Resuelto todo esto y orientado más o menos hacia un tipo de diseño, llevará a cabo un proceso sistemático de toma de decisiones y estrategias con el fin de verificar, a través de una lógica inversa -se partirá de los resultados para comprobar todo lo demás-, si los resultados tienen como causa el programa y si hay fallos, desvíos o resultados imprevistos o no deseados y por qué.

Comenzará su labor por la elaboración de un marco teórico, de inmediato tendrá que ocuparse de los problemas de medida que tiene toda investigación social, localizará y seleccionar los datos secundarios que considera necesarios para sus análisis y seleccionará técnicas y herramientas para la obtención de datos primarios y para el tratamiento en general. Acabará interpretándolos y formulado sus conclusiones en el Informe de evaluación.

Para la elaboración del marco teórico deberá identificar los objetivos, establecer las preguntas, definir las hipótesis, seguir una lógica causal y considerar las variables y los criterios por los que se va a regir el trabajo. Respecto a los problemas de medida deberá someter los datos a criterios de control que permitan aceptar su validez y fiabilidad. Habrá de barajar cuales serán las técnicas más adecuadas y las estrategias de muestreo si incluye un estudio por encuesta. Finalmente, habrá de seleccionar las estrategias metodológicas para que el tratamiento de la información proporcione el mayor significado que le permita elaborar el informe con las conclusiones y establecer el plan de implementación de la evaluación.

El consejo que da Valles, dentro del paradigma naturalista, es “planificar siendo flexible” (1993).

Las estrategias serán distintas para cada diseño y para cada fase dentro del diseño. Por eso, éste no podrá ser nunca un modelo único, sino que se moldea en cada situación a partir de los criterios maestros generadores de preguntas y respuestas.

Antes de concluir este epígrafe parece de interés recordar lo que señala la profesora Fernández Ballesteros:

No existe hasta la fecha ningún planteamiento abarcador con voluntad de unificar los ejes o criterios de referencia para que, sea cual sea la metodología seguida, se puedan estructurar genéricamente los diseños.

Las técnicas aplicadas a la evaluación son procedimientos específicos a través de los cuales el evaluador reúne y analiza los datos mediante operaciones lógicas o estadísticas.

La mayor salvedad que conviene hacer aquí, en especial para aquellos que no provienen del campo social, es que no se deben confundir las técnicas con el método que es, de una parte, sustento teórico de las técnicas, pero mucho más, el método es el modo en el que vamos a proceder a lo largo de la evaluación para tratar de comprender al máximo los resultados que obtengamos. Mientras que el método responde al “cómo lo vamos a hacer”, las técnicas responden a “con qué”.

Hemos señalado más arriba que un reduccionismo aún mayor es el que asimila diseño con técnicas.

Lo fundamental respecto a la caja de herramientas de las que se dispone en evaluación es la supeditación de éstas a los problemas que pretenden explicarse.

Resulta imposible desarrollar aquí el extenso tema de las técnicas utilizadas en evaluación, por lo que, simplemente, se apuntan algunas.

TÉCNICAS CUANTITATIVAS

• Entrevista estructurada

• Encuesta

• Técnicas de autoinforme

• Indicadores específicos: sociales, económicos, educación, salud.

• Datos de archivo sobre usuarios

• Datos de archivo sobre política o programa

TÉCNICAS CUALITATIVAS

• Análisis documental

• Análisis de políticas

• Entrevista cualitativa

• Grupos de discusión

• Observación

• Observación participante

• Analizadores sociales

• Método Delphi

La redacción del informe de evaluación es una de los puntos clave que pondrá a prueba las dotes del evaluador. En general, deberá tratar de dar unidad a los distintos enfoques y participantes que hayan colaborado en la evaluación.

Los informes de evaluación deben posibilitar la comprensión de: 1) el objetivo de la evaluación; 2) la delimitación exacta del objeto; 3) cómo ha sido planificado el proceso evaluador y sus estrategias; 4) cuáles son los hechos constatados; 5) cuáles las conclusiones extraídas y 6) cuáles son las recomendaciones aconsejadas.

Por lo general, el informe se acompañará de un resumen ejecutivo, al considerar que sólo un pequeño número de destinatarios tendrá interés en la lectura completa.

El informe de evaluación se compone generalmente de:

• Exposición sintética sobre la intervención evaluada: El informe se iniciará con una exposición de los objetivos y finalidades que perseguía la intervención y una descripción breve del contexto de implantación. Se recomienda fundamentar esta parte del informe tanto en elementos cuantitativos (datos estadísticos ) como cualitativos, que describan de manera clara la situación que da origen a la intervención (contexto socio-económico, necesidades identificadas, problemas emergentes, ...).

• Presentación del proceso seguido, métodos y herramientas. Habrán de presentarse también de manera sintética las preguntas que se plantea la evaluación, las hipótesis de partida, los principales referentes (criterios) , las elecciones metodológicas y las herramientas utilizadas.

• Análisis, evidencias y factores explicativos. El corazón del informe está constituido por las respuestas a las principales cuestiones. Esta parte comprende análisis de los factores explicativos y las evidencias en las que se basará el juicio del evaluador.

El análisis de los factores explicativos se apoyará sobre la diversidad de los materiales reunidos. Se recomienda a los evaluadores no empeñarse en un razonamiento determinado (de tipo económico, técnico, sociológico...), sino, por el contrario, concebir un proceso heurístico que explore el conjunto de las causalidades y los efectos del sistema, teniendo en cuenta que un mismo fenómeno resulta, a menudo, atribuible a varias causas. Corresponde a los evaluadores identificar estas causas y mostrar las relaciones que existen entre ellas.

Las evidencias se expresarán ponderando datos cuantitativos y cualitativos que muestren la relación entre objetivos previstos y resultados.

• El juicio de valor sobre lo evaluado.

El juicio de valor se revelará en las conclusiones que, como hemos dicho, estarán fundamentadas en las evidencias, el análisis y los factores explicativos.

• Las argumentaciones deben ser claras, relevantes y referidas a los criterios e indicadores que se hayan establecido en la evaluación, permitiendo alcanzar de manera consecuente los elementos que construyen las conclusiones y el juicio. Sean cuantitativos o cualitativos, los datos se traducen en aseveraciones que “califican la realidad” y servirán para formar el juicio de los lectores del informe.

Se pueden distinguir tres registros principales de argumentación que contribuyen de manera complementaria a avalar la credibilidad de las conclusiones de la evaluación.

1. El registro de lo constatable.

Toda evaluación desarrolla en principio constataciones que parecen simplemente inducidas de la observación directa de la realidad, aunque toda constatación comprenda necesariamente una mezcla de inducciones y deducciones.

• Constataciones cuantitativas: Se puede tratar de simples contabilidades físicas o financieras: coste de una política o un programa, número de beneficiarios, dossieres consultados, etc. Esta cuantificación puede obtenerse por explotación de datos obtenidos de fuentes secundarias (subproductos de una gestión administrativa) o de una encuesta realizada sobre una muestra estadística representativa.

• Constataciones cualitativas: la descripción del proceso socio- organizacional iniciado por la política, en términos de dispositivos institucionales, acontecimientos, actividades de situaciones y comportamientos, hasta anécdotas o historias personales, constituyen siempre un componente importante de la evaluación. Esta descripción es necesaria para una buena interpretación de los datos globales.

2. El registro demostrativo.

Entre las cuestiones planteadas en el proyecto de evaluación, un cierto número apela a respuestas más elaboradas que la simple constatación: se requiere extraer explicaciones (porqués) o un modo de comprensión (cómo).

Responder a este tipo de cuestiones, consiste en hacer una demostración o proponer una interpretación teórica de las informaciones de las que se dispone.

El registro demostrativo se basa en el test de hipótesis, indagación y discusión de pruebas de la realidad sobre un fenómeno o un mecanismo no directamente observable. Tiene como pretensión medir los efectos propios de la política, en cuanto a sus resultados brutos, descartando los no imputables a esa política o programa.

La demostración debe esforzarse en aportar la prueba mejor testada de una relación causal, y si, es posible, su cuantificación. En la práctica, la demostración presenta, a menudo, un carácter menos formalizado y ha de apoyarse cuando no encuentra con facilidad las relaciones causales en el registro argumental interpretativo.

3. El registro interpretativo.

Para responder de manera razonada a ciertas cuestiones, no hay otra solución que interpretar los datos recogidos (casi siempre con lagunas y ambigüedades), combinando, a veces de manera ecléctica, razonamientos de diversa naturaleza: racionalización intuitiva del comportamiento de los actores o esquemas teóricos más complejos inspirados en corpus científicos establecidos (teorías económicas o sociológicas).

• Conclusiones y recomendaciones.

Las recomendaciones van más allá de las respuestas a las preguntas planteadas. Sugieren modificaciones o mejoras de la política o programa evaluado. Pueden indicar a los comitentes elementos que estos no habían tenido en cuenta, detectando cualquier relación no esperada entre los diversos elementos de la intervención y los efectos imprevistos que merezcan atención.

En la concepción y la redacción del informe, los evaluadores deben vigilar la coherencia entre las explicaciones que dan y los juicios a los que llevan, entre las constataciones y análisis que hacen y las recomendaciones que formulan.

• Principales defectos a evitar

Entre los principales defectos a evitar en la elaboración de los informes de evaluación figuran:

• No haber descrito con claridad el objeto de la evaluación y su alcance.

• No haber descrito suficientemente la política, programa o proyecto, dando por supuesto que todos los lectores están familiarizados.

• No haber descrito la metodología y las técnicas utilizadas en la recogida de datos, indicando la fortaleza y las debilidades de los métodos elegidos.

• Utilizar informaciones sin citar las fuentes.

• Llegar a resultados que no están sólidamente sustentados en los hechos.

• Establecer conclusiones que no están explícitamente justificadas (fundamentadas en los resultados), de manera que cualquier lector independiente pueda juzgar sobre su validez.

• Hacer recomendaciones que no están ligadas de manera pertinente a las conclusiones o que resultan demasiado generales y abstractas.

• Principios a seguir

• La(s) pregunta(s) inicial(es) debe(n) servir de hilo conductor del informe.

• Distinguir entre lo esencial y lo accesorio. Los datos y cifras deben estar directamente relacionadas con las conclusiones y deben ser relevantes.

• El lector del informe debe poder identificar fácilmente el nivel de los diferentes tipos de desarrollo metodológico (descriptivo, demostrativo, normativo, conclusivo…).

• Debe ser siempre nítida la voz narrativa del informe, dejando claro quien sostiene qué en cada momento, especialmente en el registro interpretativo. El evaluador debe dejar claro cuando los argumentos o juicios forman parte de su propia apreciación por el conocimiento extraído en el proceso –nunca prejuicios previos- o si se sostiene en fundamentos informativos o ilustrativos o en otras voces institucionales (posición de la Unión Europea, de la Comisión, de otras Agencias…).

• Las imputaciones de causalidad deben ser claramente argumentadas apoyándose en informaciones o resultados de estudios validados.

• Las recomendaciones deben ser precisas y responder consecuentemente a la lógica de los resultados de la evaluación poniendo atención a otras derivas. Deben ser, asimismo, aplicables y sólo cuando se haya solicitado en el encargo, proponer nuevos estudios.