Tema 36: Planificación y programación. Los objetivos

Aunque en la práctica evaluativa se habla indistintamente de evaluación de políticas públicas y evaluación de programas, convendría utilizar con el mayor rigor ambos términos. Los programas guardan con las políticas la relación de las partes con el todo. Por lo que si las políticas engloban los programas, no se pude decir, por el contrario, que los programas contengan el total de las políticas.

Los términos se confunden pero en la práctica lo que se advierte es un déficit de evaluación de políticas públicas.

Un despliegue modélico de las políticas públicas respondería al siguiente esquema.

• Las políticas públicas son una concatenación de actividades, decisiones y medidas coherentes -al menos en su intención- tomadas por los actores del sistema político-administrativo de un país con la finalidad de resolver un problema colectivo (Larrue, 2000). Desde esta imprecisa consideración las políticas públicas engloban una amplia categoría de objetos: políticas en sus grandes líneas (Política de Educación, de Sanidad, de Empleo…), planes (Plan de juventud, Plan de emprendedores, Plan Nacional sobre drogas y entre ellos cabría diferenciar planes marco, estratégicos, operativos), programas, proyectos, medidas, normas, actividades de cuerpos especiales (Plan de Inspección) o intervenciones en una materia específica (Política tributaria, fiscal, urbanística…).

El estudio de las políticas, según Lasswell, tiene dos dimensiones principales.

Por un lado está el proceso de la política que, a grandes rasgos, nos da cuenta de lo que sucede en la toma de decisión: cómo se diseña esa política, por qué y quiénes intervienen y todo lo que acontece antes, durante y después de su elaboración. Y por otro lado, está lo que el mismo autor llama “las necesidades de inteligencia del proceso” (Lasswell, 1993a: 80); es decir, toda la información técnica que se recaba, analiza y sistematiza para tomar una decisión, que tiene gran importancia en el proceso evaluador.

A su vez las políticas públicas dentro de la globalidad están fuertemente condicionadas por la influencia de los organismos internacionales, así se habla cada vez más de políticas globales (como los acuerdos medioambientales o los de consecución de Objetivos del Milenio) o de políticas comunitarias (UE). Todo ello ha dado mayor relevancia a los contextos, a las estrategias comunes y a los actores en juego, sin olvidar el peso de las organizaciones y los recursos.

En la evaluación de políticas públicas, tanto el proceso de formulación como el proceso de recogida de información y análisis, así como el estudio de los diferentes contextos y objetivos estratégicos son componentes que se examinan para explicar sus resultados con la finalidad de prestar ayuda a la decisión.

La articulación de las políticas suele realizarse, en un primer despliegue a través de Planes y en un despliegue más detallado a través de programas, proyectos y hasta acciones públicas que no alcanzan siempre un grado tan estructurado de articulación.

Cuando se habla de evaluación de políticas públicas resulta ineludible aludir al nivel estratégico y decisor y al valor del impacto de la acción pública. Las políticas públicas son el todo, pero el abordaje de evaluación no es el mismo para el todo que para las partes. Además, el todo no es sólo la suma de las partes, tiene, asimismo, su propia lógica. Hay un núcleo común para la evaluación de todos estos objetos –en general el proceso es el mismo-, pero lo fundamental está, precisamente, en cada una de sus peculiaridades: preguntas, criterios, indicadores y recomendaciones.

Para ser coherente con el contexto de la buena gobernanza, los criterios de evaluación de las políticas públicas debieran considerar en primer lugar sus principios. La sintonía con esos principios parece ineludible a la hora de valorar la calidad de las políticas de los Estados en el microespacio europeo. Junto a esta arquitectura de criterios se habrán de tener en cuenta aquellos relevantes en función de las peculiaridades de cada intervención (equidad, innovación, coordinación administrativa…).

• Los planes son elementos instrumentales estratégicos que articulan un conjunto de acciones, programas, proyectos y servicios que se consideran prioritarios para alcanzar los objetivos de una política. Son, junto a las leyes, los instrumentos y medidas que despliegan, en un primer nivel, los idearios de gobierno. El énfasis de los planes está tanto en los resultados como en los impactos. Según se trate de planes marco o estratégicos o planes operativos sus indicadores deberán adaptarse a un nivel u otro.

• Los programas son elementos instrumentales y operativos en los que se despliegan los planes. En general, un programa es un conjunto de intervenciones homogéneas, reagrupadas para alcanzar un objetivo concreto dentro de un plan o de una política pública. La evaluación de programas suele pivotar sobre los resultados y los procesos de gestión, por lo que esos serán los indicadores más relevantes.

• Los proyectos son el nivel más concreto de las políticas públicas. Un proyecto es una operación no divisible, delimitada en cuanto al tiempo y al presupuesto y que, a menudo, se encuentra bajo la responsabilidad de un solo operador. Al igual que en la evaluación de programas tienen un gran peso los indicadores de proceso y gestión.

• Los servicios públicos

El término puede aplicarse en un doble sentido: macro, en alusión a los grandes pilares del Sistema del Bienestar (ej. el Servicio Público de Salud) o micro, en relación a los procesos de gestión, esencial y prioritariamente prestacionales, que proporciona el Sistema. Estos servicios micros no dejan de ser acción política en su esencia, pero tienen una significación distinta a la hora de evaluarlos. Su propia naturaleza y el fuerte componente de formalización administrativa que conllevan facilita su evaluación en relación a criterios de gestión y de mejora y tienen como indicador esencial la satisfacción de los ciudadanos.

Sin embargo, en la práctica, el despliegue de las políticas públicas “no es tan ordenado ni racional” (Quade, 1989). Una de las peculiaridades de las políticas públicas, condicionadas por los distintos periodos de gobierno, es su capacidad de reaccionar ante los problemas que surgen –son a la vez acción definida y curso de acción en movimiento-. Las políticas públicas cuentan, por lo general, con sustratos anteriores –“el legado es un factor a tener siempre en cuenta”, Janoski y Hicks: 1994)- que no siempre resulta coherente con los nuevos objetivos. La formulación política debe intentar continuamente obtener soluciones satisfactorias a través de un proceso iterativo y, a menudo, las transformaciones que se persiguen deben contentarse con la acumulación de acciones que no siempre están tan claramente estructuradas y articuladas.

En cuanto a la racionalidad, tampoco puede sostenerse que exista una única alternativa adecuada, sobre todo cuando se trata de evaluar la acción pública respecto a problemas complejos, interacciones entre ideas, actores, escenarios institucionales y realidades procesales. Hablar de racionalidad en los supuestos de evaluación de políticas requerirá lógicas diferentes a la racionalidad de la que se habla con respecto a los programas.

Desde un punto de vista modélico, el sistema “políticas”, engloba al resto de los subsistemas: programas, proyectos, servicios.

• Necesidad de diferenciar los diferentes objetos de evaluación En este documento se define con el término intervención cualquier tipo de acción pública de la magnitud que sea que emane de los poderes públicos con el fin de resolver un problema o una necesidad social. No obstante, para hacer más comprensible la dimensión y naturaleza de algunas de estas acciones se han categorizado como objetos macro: políticas públicas en su más alto nivel y los Servicios del Estado del Bienestar en su valoración de conjunto, objetos mezzo:

programas y organizaciones que los llevan a cabo; y objetos micro: proyectos y servicios prestacionales, identificados como las unidades más indivisibles de la cadena de acción pública. Todos estos objetos pueden ser objeto de evaluación en el campo del Sector Público, además del desempeño funcionarial, que se considera un subconjunto de valoración interna dentro de la evaluación de las organizaciones y que queda fuera del propósito de esta obra.

Siendo todo ello acción de gobierno cada una de estas acciones presenta una lógica distinta en función del propio nivel a que pertenecen y su especificidad, por lo que se requieren enfoques metodológicos diferenciados. No es lo mismo evaluar el diseño y despliegue de las políticas que evaluar las organizaciones que las ponen en marcha o evaluar la calidad de algunos de los servicios concretos que prestan. Si bien todos estas acciones son parte de una cadena para juzgar la calidad de las políticas públicas conviene tener en cuenta los dos niveles que distingue Dror de la acción pública:

1. Funciones de orden superior: modificación de las trayectorias colectivas mediante decisiones que, en esencia, constituyen intervenciones en el proceso histórico y son cualitativamente las más trascendentes. Estas acciones son específicas del más alto nivel de gobierno y suelen plasmarse en la formulación y planificación de las políticas públicas.

Todas las acciones políticas abocadas a dirigir las transformaciones de las sociedades y los gobiernos para su adaptación a las nuevas realidades pertenecen claramente a las funciones de orden superior.

2. Funciones de servicio, ejecución y gestión de los gobiernos (tareas de gestión).

Entre la fase de formulación de las políticas públicas y la de resultados se encuentra una fase decisiva que es la implementación. A esta fase del ciclo de intervención pública le corresponden, por lo general, funciones gestoras, ejecutoras y prestadoras de servicios, siendo la instancia mediadora la administración en todas sus esferas de gobierno: central, autonómica y local. Estas funciones son cuantitativamente más numerosas que las del orden superior y están más próximas al servicio directo al ciudadano por lo que suponen una forma de enjuiciamiento más directa de la acción que se recibe de los poderes públicos.

Por consiguiente, la evaluación de la implementación de las políticas públicas resulta especialmente relevante en los resultados finales de las políticas públicas al proporcionar información sobre las posibles desviaciones y dificultades que pueden darse entre la fase de concepción y formulación de las políticas y la de su puesta en marcha.

Un capítulo especial merece la evaluación de las organizaciones y la calidad de los servicios que prestan. Ambas se encuadran en un segmento específico de la acción pública que se evalúa desde hace años bajo el enfoque de la gestión de calidad y que desde la perspectiva de un sistema público de evaluación es un subsistema integrado en el conjunto, con la ventaja de tener, en este caso, una metodología bastante consolidada (modelos EFQM, CAF…) (3).

• Evaluación de programas

La mayor parte de la práctica evaluativa se ha dirigido y continúa dirigiéndose a programas y muy frecuentemente, a los aspectos cuantitativos y formales de las acciones públicas; en consecuencia, se centra en las técnicas de obtención y gestión de información para el nivel operativo.

(3) Para mayor conocimiento sobre estos modelos consultar web de AEVAL.

En general, tanto en los Estados Unidos como en el norte de Europa y en la Comisión europea, el mayor desarrollo de la evaluación se ha centrado en la evaluación de programas, siendo los países del sur de Europa, Francia en particular, los que han hecho mayor hincapié sobre la evaluación de políticas públicas. Los beneficiarios del enfoque de programas han sido, principalmente, los administradores y gestores de los mismos.

El enfoque de programas –y proyectos- supone valorar los aspectos concretos y operativos del despliegue de las políticas. Investiga sobre la deficiente gestión o la implementación desacertada de las políticas públicas. Se trata de un enfoque absolutamente necesario en evaluación pero no suficiente. La propia Comisión europea requiere evaluaciones cada vez más estratégicas.

Sin embargo, viene siendo común, en la mayor parte de los foros, la toma de conciencia de lo limitada que ha resultado la evaluación de programas, así como la transversalidad de centros de poder y la dificultad de probar la racionalidad y coherencia entre objetivos y medidas de las políticas públicas cuando hay tantos actores que actúan.

En esta línea, la OCDE recoge entre los temas clave sobre evaluación de políticas públicas la necesidad de trabajar más en la incorporación de la evaluación a la formulación de las políticas de manera estratégica. Y señala que es en las grandes Agencias donde deberá concentrarse esa visión transversal y estratégica que impulse la función superior de los gobiernos, a la vez que a nivel Departamental se siga impulsando la evaluación de programas.

La evaluación de programas sigue estando en la base de la reflexión y métodos de evaluación en la mayor parte de los países; sin embargo, cada vez más los objetos de la evaluación tienden a diversificarse y a complicarse planteándose evaluaciones de una jerarquía superior y de carácter más estratégico. La toma de conciencia de lo limitada que ha sido la evaluación de programas, así como la conflictividad entre objetivos y la transversalidad de centros de poder muestra el auge de la evaluación de políticas públicas.

Además de los aspectos operativos de las políticas públicas, la evaluación habrá de abrirse a los principios de gobernanza en busca de una mayor profundización democrática, poniendo el foco de su valoración en las políticas públicas erróneas o exitosas y, en particular, aquellas que -no por ignorancia o incapacidad, sino por intencionalidad- provocan un mal gobierno.

• Evaluación de políticas

En la mayor parte de los países, el impulso evaluador ha venido marcado por razones reglamentarias, nacionales, internacionales, donde la evaluación ha conquistado, poco a poco, el nivel gestor y operativo de la acción pública, con el énfasis puesto, como se ha venido señalando, en la evaluación de programas y en los ámbitos de la prestación de servicios públicos. La evaluación de estos subconjuntos de la acción pública informa sobre partes específicas de las intervenciones en su nivel más concreto u operativo pero el mayor déficit sigue siendo la metodología específica para el enfoque de políticas públicas.

En tiempos de incertidumbre y vertiginosos cambios, la acción pública se desarrolla en terrenos complejos, donde los problemas preocupantes no afectan sólo a cuestiones de gestión o procedimiento -que deben seguir mejorando- sino de adecuación estratégica y de legitimación democrática. “Cada vez más a menudo nos enfrentamos a problemas globales interconectados, y por tanto, más difíciles de segmentar, de definir y de ser abordados desde las especializaciones que hemos ido construyendo. Los problemas que tenemos tienen poco en común con estructuras de decisión y gestión administrativa pensada para otros tiempos y para otro tipo de problemas” (Joan Subirats, 2001, p.39). La evaluación se reclama cada vez más desde el nivel superior de gobierno para la comprensión y transformación de las políticas.

Todo lo anterior pretende poner en evidencia la necesidad de diferenciar entre el objeto de evaluación de políticas públicas y el objeto de evaluación de programas. La diferencia no está ni en su dimensión ni en su complejidad – algunos programas son de una complejidad extrema-, sino en su significación en cuanto a las trayectorias político-sociales. Pero es que, además, la evaluación de políticas no es sólo la suma o la síntesis de sus componentes, sino que tiene su propia naturaleza per se.

El mayor déficit sigue estando en el nivel de las evaluaciones estratégicas y en la valoración de las políticas en sus grandes líneas, es decir, los conglomerados más complejos.

Poner el acento sobre políticas o programas, dice Bernard Perret, revela un énfasis distinto –aunque complementario- sobre la acción pública, porque políticas, programas y proyectos están estructurados sobre binomios diferentes:

Al hablar de evaluación de programas, aunque no se descarta la complejidad que puedan alcanzar, incluso el carácter estratégico de algunos de ellos, en general, la información que se persigue suele estar centrada en el nivel operativo y en la relación entre objetivos y medios.

Cuando el énfasis se pone en las políticas públicas, confluyen distintas intervenciones, con características transversales que afectan a múltiples dimensiones (geográficas, temporales, institucionales, reglamentarias) y a sectores de acción pública interconectados y con trayectorias político-sociales, que tienen como eje de su acción los problemas que surgen así como los intereses de los actores en pugna.

En resumen, desde el punto de vista evaluativo, las diferentes dimensiones del objeto de evaluación nos permiten hablar, de forma aproximativa, de niveles macro, meso y micro de las políticas públicas. Aunque algunos de ellos pueden tener límites confusos. Lo que hay que tener en cuenta es que su tratamiento será distinto en cuanto a preguntas a investigar, criterios, utilidad, necesidades de información y, probablemente, técnicas a aplicar y recomendaciones. La diferencia entre todos estos elementos no siempre queda clara y será el evaluador –preferentemente con los interlocutores implicados- quien llegue a acotar la naturaleza y dimensiones del objeto a evaluar.

• El núcleo esencial de las políticas públicas: lo complejo.

El nivel macro de la acción pública apunta al más alto grado de complejidad del objeto de estudio evaluativo, evidenciando que el núcleo esencial de la evaluación de las políticas públicas se enmarca en el orden de lo complejo (4), y no sólo de lo complejo ordinario, sino de lo complejo emergente (5) que no deja de generarse a gran velocidad.

Complejo es lo que está tejido en conjunto, de constituyentes heterogéneos, inseparablemente asociados. La complejidad es el tejido de acontecimientos, interacciones, retroacciones, determinaciones, azares, que constituyen nuestro mundo fenoménico. Y esa es la entraña de las políticas públicas y de ahí la dificultad de evaluar resultados netos e impactos.

La evaluación de las políticas públicas trata de obtener conocimiento sobre el valor global de intervenciones complejas. Se busca responder a los retos que plantea la transversalidad, la descentralización de las decisiones y la corresponsabilidad financiera que comparten los distintos niveles de Gobierno. Se alude a una dimensión superior de la acción de gobierno relacionada con la toma de decisiones estratégicas, la legitimación social de la acción pública y sus impactos y las posibles alternativas y mejoras.

• El desafío de evaluar lo complejo: la cuestión del método.

La evaluación encuentra hoy mayor dificultad al proponerse valorar los elementos más complejos del nivel de gobierno: las políticas públicas. Los procesos decisorios son básicamente, el resultado de interacciones múltiples y simultáneas en las que participan diversos actores: políticos, funcionarios de distintos niveles, grupos de interés, expertos, académicos, partidos políticos, medios de comunicación… De la decisión a la implementación se “burocratizan” los procesos políticos, se “politizan” los procesos burocráticos y se “socializan” unos y otros. De ahí que la valoración de las evaluaciones y su aportación a la toma de decisiones se mueva cada vez más en un terreno muy complejo.

(4) Se definen como sistemas complejos aquellos que no pueden ser abarcados por una única perspectiva.

(5) Los sistemas complejos emergentes son aquellos que no pueden ser explicados totalmente de una forma mecánica y funcional. En ellos, alguno de los elementos presentan características que no se encuentran en los sistemas ordinarios complejos como individualidad, novedad, reflexividad, efectos a largo plazo, incertidumbre e ignorancia, irreversibilidad de las acciones. El comportamiento de estos sistemas suele implicar decisiones urgentes y presentar un número elevado de agentes involucrados.

La dificultad no está en el proceso evaluador que, sustancialmente, sigue siendo el mismo para un objeto u otro, sino en las preguntas que han de hacerse y los criterios en los que se traducen, según se requiera la evaluación desde un nivel u otro de gobierno. En relación a ello habrá que interpretar y dar significado a los hallazgos y redactar las conclusiones y recomendaciones para alumbrar un mejor futuro. Desde esta perspectiva, uno de los pilares fundamentales son los estudios comparativos y el conocimiento de las mejores prácticas.

Pero, ¿cómo obtener evaluaciones provechosas sobre un mundo tan imbricado? ¿Cómo articular y organizar la información de la forma más útil?

¿Cómo sopesar la influencia de los contextos, lo particular y lo global de las políticas públicas? ¿Cómo conseguir que las evaluaciones de los niveles operativos sirvan de la manera más provechosa al nivel estratégico? ¿Y cómo lograr que el conocimiento que se adquiere sobre las políticas públicas, por relativo que sea, resulte creíble y significativo?

Eso plantea la necesidad de:

• Disponer de instrumentos metodológicos que respondan al nivel de lo complejo, porque lo complejo no se puede interpretar desde lo simple.

• Equilibrar lógica investigadora y lógica administrativo- política.

• Involucrar a los máximos responsables de las organizaciones en la evaluación y no sólo a los niveles gestores o técnicos.

• Aplicar cotidianamente esos valores para aprender de la experiencia.

• Desarrollar estrategias que primen la utilización de la evaluación.

La razón necesita segmentar para comprender, de ahí que la evaluación de las partes resulta un paso necesario para obtener una valoración del conjunto, pero el todo no es la suma de las partes, el todo requiere sus propias reglas y el desarrollo de su propia metodología.

Del mismo modo que en el proceso iterativo de la formulación de políticas públicas se produce lo que se denomina la paradoja de la operatividad, que sería el efecto que surge cuando se trata de operativizar al máximo las intervenciones públicas con pérdida de visión de lo complejo, lo mismo sucede en evaluación. De una parte, resulta necesario acotar ciertos límites y actuar sobre lo posible, pero de otra, se corre el riesgo de producir resultados y conclusiones desconectadas de la complejidad sobre la que se actúa. En definitiva, habrá que buscar el equilibrio entre evaluaciones excesivamente sofisticadas difíciles de operativizar y evaluaciones muy operativas pero demasiado simplistas al desdeñar el complejo marco de la realidad.

La evaluación de las políticas públicas tiene por finalidad apreciar el conjunto de los eslabones de la cadena de la acción pública, comprendiendo de la forma más completa posible la política en cuestión, incluidos sus impactos finales.