1. USA 1º en formalizar eva (años 30), boom en años 60-70 pq aumentan intervenciones y nº de científicos…

Etapas según D. Stufflebeam and Shinkfield

Etapa “0”: edad d la reforma, prehistoria eva, 1800-1900 USA: test de rendimiento en escuelas (Mann)XIX Inglaterra: comisiones xa evaluar servicios públicos Rev. Industrial eva informales.1a eva formal sobre programa edu en USA (Rice) Fin XIX: movimiento xa acreditación de instituciones. 1º

Etapa

Periodo pretyler:(1900-1930) Algunos autores origen tras I GM, 20-30’ (Guba & Lincoln, Monnier). Otros (Patton) en 50 y 60’ como área con entidad propia. En esta etapa eva + interés x sistematización, estandarización y eficacia. Uso tests y encuestas. Fin: observar rendimiento programas  2º etapa: periodo tyleriano(1930-1945): Cntx Gran Depresión: salvar eco USA dinamizando edu Tyler acuñó término “eva educ” y prototipo eva x objetivos: desplazamiento eva centrada en alumno a eva objetivos. 3º etapa: de la inocencia (1946- 1957) 40 y 50’ periodo poco “crítico”, época de plenitud pero tb pobreza, prejuicios raciales…gran avance edu pero poco interés en mejora… Avance teórico y metodológico pero ausencia de ayudas xa evaluar, eva dependía de recursos locales, basada en método científico, orientada a toma decisiones Empieza lo q realmente se denomina eva. 4º etapa: época de expansión (1958-1972)intro de proyectos a gran escala financiadas x e federales Eva con criterios de utilidad, relevancia, interés público… dif enfoques (tyleriano, tests, juicio profesional, experimental)Propuestas de nuevos modelos. 5º etapa: época profesionalismo (1973-hoy) Crisis de identidad sobre roles evaluador, campo fragmentado. Pero fin 70’: aumentan publicaciones, formación, organiz, centros, etc.

1.  h. Eva según M.A. Diez:


1º etapa: desarrollo eva(1950-75) Eva x objetivos, experimentación (enfoque positivista dominante desde ppios XX) “Sociedad experimental”: defensor Campbell, política = ciencia. Concepción racionalista, tecnocrática de eva hasta los 60’Aumento de eva x:1) crecimiento programas sociales en 50’ USA. Creación de unidades de eva en dif oficinas federales x preocupación y lucha contra pobreza. “Época dorada” de la eva en USA, aumentó eva y recursos, oficinas. 2) Imp reformas q afectaron a procesos decisión y planificación admón Públicas.Ppios 70’: gobierno federal USA encargó unas 200 eva anuales- Esto favorecíó institucionalización y profesionalización de la eva  2º etapa: crisis eva: (1975-85)factores externos: Expansión d programas y gasto público se reduce, Interés x técnicas de control y gestión se reduce, eva + política k científica. Factores internos: Uso d resultados de eva derivada de técnicas experimentales, resultados eran ignorados y no aplicados 3) Eva no ofrecía info solicitada sino solo x objetivos, eva cara Aparición enfoques + cuali y alternativos, aparecen nuevas demandas q no podían ser cubiertas x experimentos clásicos. 3º  etapa: el renacer de eva: etapa actual: Fin 80’ recortes y control gasto público hizo renovar interés x eva, Sustitución experimentos x otros enfoques y modelos de eva: participativo, pluralista, alternativo… (no sólo centrado en clientes sino en usuarios varios…) 

H. Según Guba y Lincoln:

1º generación: eva igual a medición (20’ y 30’, uso tests rendimiento), 2º generación: eva como descripción (eva es dif a medir), 3º generación: emisión de juicios (función normativa), 4º generación: aproximación alternativa (eva sensible, constructiva)Y aquí, en España…
Muy reciente. Desarrollo tardío. Factores q explica dificultades introducir eva: pobre tradición de inves aplicado, falta personal formado en eva, carácter institucionalista dominada por el Derecho Administrativo, monopolio de experiencia técnica y de info estadística/económica y financiera…

2

¿Cómo plantear los objetivos?

Det áreas, adaptar indicadores, Concretar estándares, Establecer calendario, Especificar presupuesto, Escribir objetivos y Evaluarlos.
Criterios de validación, ver si objetivo
Especifica un resultado o Describe sólo. Concreta cuándo se logrará el resultado Señala k y cd se hará Es realista y alcanzable Se relaciona con algún principio d organización Es medible  Se puede poner x escrito Obj deben ser SMART (Specific, Measurable, Achievable, Realistic, Timescaled) Naturaleza y contenido de los obj. Orden-nivel: abstracción de los obj, priorizar obj, Multiplicidad de objetivos Plazo en que se prevén sus efectos, Magnitud d efectos, Estabilidad efectos Consecuencias o efectos no esperados d objetivos. Imp ir de > a < abstracción:=”” obj=”” general=”” (“meta”),=”” objetivos=”” específicos=”” (“aims”).=”” jeraquizar=”” objetivos=”” según=”” “importancia”,=”” según=”” “utilidad”=”” o=””>objetivos:
 1. Recoger info sistemática y “científica”,  2.Emitir juicio de valor 3Algo “funciona” 4Toma de decisiones ante éxito/fracaso, 5Rendir cuentas, 6Utilizar eva xa actuar 7Análisis prospectivo, futuro, planificar 8mejorar,  9Aumentar conocimiento 10Relaciones públicas, 11Identificar necesidades, 12Asegurar eficacia, 13Conocer efectos esperados y “no esperados”, 14Compartir ideas (Feedback), 15Aportar aspectos prácticos 16 autocrítica 17. Dar poder participantes 18. Aumentar calidad funciones y relación con objetivos:–
Técnica(objetivos 1 y 3) CONTROL ( 3, 5, 12) instrumental (4, 15,18) mejora (6, 8, 11, 18) conceptual (9, 11, 14) comunicativa (5, 10, 12, 16, 17) preservativa (7, 9, 13) critica (1, 2, 8, 16)democrática (5, 8, 9, 10, 12, 17…)NO conviene evaluar: Si obj no  claros Cd no dudas sobre programa: va a continuar o no indep d eva, Cd programa refleja “sospechas” en obj,Cd no hay recursos

2

Investigación vs evaluación:

 I conocer explicar comprender E conocer, énfasis en evaluar, I fases clásicas E fases dependen tipo eva, I raíces profundas s.XVII, E historia mas reciente. I enfoque macro E concreto. I diferentes paradigmas, enfoques sociológicos clásicos, contemporáneos y recientes E distinto autores a los clásicos en sociología pero basados en ellos. I evaluativa o no E se sirve de investigación.  I proceso + largo E + breve. I destinada academias E destinado a instituciones privadas y publicas. I xa aumentar conocimiento e para tomar decisiones. I investigador conoce el sector antes de eva E investigador conoce durante. I informe se publica E no siempre. 

Auditoria

Aplicación d principios de contabilidad xa examinar una insttitución o depto “Examen completo y constructivo d la estructura organizativa, de la institución o depto, de sus métodos de control y empleo de recursos humanos y materielas”Eva además de medir éxito sistema y establecer alternativas (= auditoria) incorpora estrategias y técnicas antes-durante y después, verificando la sostenibilidad en todo el proceso.Afecta a aspectos que van más allá de la gestión interna de un depto. Cubre más campos y tipos: impacto, efectos externos, respuesta de afectados. 

Observatorios:

 No es equivalente a eva Seguimiento, indicadores, monitorización no implica eva No implica enjuiciamiento.

3. En investigación las fases son siempre =, en eva no, 2 tipos: 1.Eva tradicional: Identificación de necesidades, Planificación, diseño Puesta en marcha del programa, eva. 2 eva actual (adaptado de Alvira) Eva necesidades, Eva d conceptualización, intervención, Eva de implementación, cobertura, proceso, resultados, impacto, Eva final. 

Esquema de Fdz Ballesteros con fases d eva:

Demanda del cliente, negociación, Familiarizaron con el objeto y el cntx, Decisión sobre la viabilidad,, det aspectos básicos Diseño y elaboración del proyecto de eva, Trabajo de campo, Procesamiento, análisis e interpretación, Elaborar un informe final y presentarlo, Divulgación y aplicación-uso de resultados y recomendaciones, meta-eva, no son consecutivas hay k hacer 3: antes, durante (trabajo de campo) y después. 

Malos usos y abusos de la eva:

causas:
 1) Eva no tenían claro tipo, para qué, Organización no tiene depto eva, Forma distribución de resultados y recomendaciones, Personalidad-forma de ser de las partes y relación entre ellos, Falta presupuesto para aplicar resultados, Intereses en “ocultar” resultados, Confusión entre producir y utilizar Eva no es práctica ni útil por: incompetencia e’rs, métodos inapropiados, presentación incomprensible, Falta “cultura evaluativa” Cómo mejorar eva:
 1. Presentar mejores informes, mejorar producción, estrategia dirigida a usuario, mejorar la meta-era.. Trabajando a un nivel + individual, al nivel de programas, de intervención concreta Monnier: 

¿como mejorar uso?

Considerar dif elementos organización y programa. Ser claro en difusión informes, en criterios de juicio, info de varias fuentes, habilidades y credibilidad de e’rs, cumplir plazos, flexibilidad metodológica,… Para que eva sea práctica y útil proceso eva será: flexible, creativo, continuo, realista, participativo, planificado, capacidad de respuesta a problemas del programa

3

Técnicas de eva:cuantitativas:

 entrevista estructurada, encuesta, experimento, autoinforme, observación sistemática, utilización de fuentes y datos secundarios, test, escalas, indicadores, índices, análisis de contenido. Encuesta: pros: información cuantificada y fiable, útil para comparar, permite preguntar a muchos, evaluar resultados de un programa o de una política. Contras: requiere tiempo de realización, recursos cuantiosos, logística, datos sobre la situación inicial, moviliza un gran equipo, es complicado tomar una muestra que sea representativa, es solo una imagen simplificada de la realidad.  

Técnicas cualitativas:

1. Técnicas de conversación y narración: entrevistas en profundidad, grupos de discusión, historias de vida y autobiografías. 2. Técnicas de observación y participación: observación no participan, OP, investgacion-acción participativa. 3. Técnicas de lectura y documentación: análisis de contenido y de fuentes secundarias. Método Delphi. Los distintos métodos se pueden: complementar, combinar o converger.Las técnicas + aplicadas en evaluación de… necesidades: encuesta, informes clave, indicadores, GD; evaluabilidad: análisis de documentos, entrevistas a profesionales, observación, GD; implementación: observación sistemática y participante, encuesta, datos internos; resultados: experimentos, encuestas; impacto: indicadores ss, GD, encuesta… eficiencia, costo-beneficio: técnicas económicas, indicadores socioeconómicos.  La eva cuanti también puede ser participativa, la cuali puede ser más o menos participativa y la eva participtiva tiene técnicas cuali y cuanti(+esta)


5

TYLER:

Pionero en eva educativa. Carct eva:  Comparación resultados con objetivos previos. Antes de Tyler eva se centraba en estudiante y sus logros Ahora: en programa y sus objetivos . Principales interesados en eva: Directivos, ejecutores. Rol evaluador: Técnico, metodólogo, descriptivo. Criterios xa evaluar:basarse en coincidencia resultados-objetivos. Métodos y técnicas cuanti (tests, estadísticas…) Inversión + tiempo en instrumentos, en trabajo de campo+ que en participación. Etapas q propone: 1Establecer objetivos, 2Ordenarlos 3Definirlos 4establecer situaciones 5Explicar estrategia de los obj 6desarrollar medidas y técnicas apropiadas, Recopilar datos de trabajo, Comparar datos con objetivos de comportamiento. Pros: Aporta info y datos objetivos Eficiencia metodológica, Apariencia raciona. Puede ser guía de aprendizaje. Contras: Olvido de resultados no esperados y de objetivos no planteados Énfasis en objetivos de rendimientos. Obj no claramente definidos Solo eva al final, No considera otras actividades Tyler vs Stake: 
Evaluación preordenada Tyler: objetivo es hallar hasta q punto alcanzados objetivos, frente a evaluación respondente de Stake fin es ayudar a clientes. Tyler lleva la evaluación hasta donde se había acordado, Stake alcance + amplio. T los contratos entre partes deben ser formales, específicos amplios obligatorios, S acuerdos dbn ser flexibles, generales, sin límites. T recoger datos xa ver si objetivos cumplidos, S conocer actividades y problems del programa. T se planifica por adelantado S planificación abierta. T método experimental cuanti, S método naturalista cuali T uso test, experimentos, estadísticas, muestreo, S uso de estudio de casos, observación, muestreo. T comunicaciones entre evaluador y cliente formales e infrecuentes S informales y continuas.T prioridad es producir informes objetivos y rigurosos T prioridad k informes sean útiles xa quienes intervienen. T uso de procedimientos objetivos y perspectivas índep xa evitar sesgos S reproduce y define términos subjetivos.

5. 
Campbell(método científico tradicional): presidente d asociación americana d psicología. Teoría de causacion: no predicción, estudia impactos, tiene problemas de validez. Los cuasi-experimentos se acercan + a realidad, eliminan dificultad de selección aleatoria, facilitan inferencia causal, abren caminos a innovar en aplicar programas. Limitaciones: no comparan grupos, +coste y complejidad, desarrollo temporal lento, ausencia de explicaciones sobre caja negra, falta d datos cuanli. Da un enfoque global de la sociedad en su artículo “la sociedad experimental”  en el intentaba comprender las causas del comportamiento humano, quería comprender como la política podía ser mejorada mediante experimentación. 
SCRIVEN(eva orientada al consumidor): estudia mates y filosofía matemática, + 300 obras y publicaciones, director de “the evaluation center” en U.Michigan.  2 tipos eva: eva formativa: inf a pers k kieren mejorar objeto de estudio. Eva sumativa: inf sobre continuidad o no de un programa, + conocimiento del objeto de estudio xa  satisfacer interés general. Uso métodos experimentales. Determina criterios, estándares, mide rendimiento, juicios de valor: si satisface o no las necesidades d pbl objeto. Eva ayuda a tomar decisiones, del valor d programs, informa a pbl, identifica si hay sesgos si solo priman los intereses del cliente. Pros: conceptos de interés general y necesidad social, estándares de medición y base lógico-experimental. Contras: especificación de estándares y luego mide interés general y necesidad social, dificultad del juicio de valor, sesgo en metaeva. 


5

DANIEL STUFFLEBEAM:

investigación se centra en eva en países en vías de desarrollo, metaevaluación, estándares de evaluación, evaluación de personal y evaluación de programas. Fundador de “The Evaluation Center”. Desarrollo modelo CIPP: aplica el modelo tradicional tyleriano. Centrado en det si proyectos alcanzan objetivos.Modelo CIPP administra y perfecciona programas: identifica las principales decisiones y crea estrategias evaluativas de progreso  y del producto. Pros: da temas xa proceso y producto, contra: no tiene en cuenta metas. Ha tomado una nueva estrategia evaluativa: evalúa el cntx esto ayuda a tomar decisiones de planificación. En su desarrollo ha tenido en cuenta medios necesarios xa alcanzar metas, ha identificado y valorado los méritos de planificación. Sus estrategias: evaluación cntx xa designar metas, eva de entrada xa dar forma a propuestas, eva del progreso: guía xa realizar propuestas. Eva producto: guía xa tomar decisiones de reciclaje. Caract CIPP: orientado al perfeccionamiento, evalúa servicios sociales y educación, eva no como control, solo emite juicios. Eva como guía xa toma de decisiones, promueve comprender fenómenos. 

CIPP divergencias con modelos clásicos:

definiciones y decisiones vagas, no reconoce necesidades de actores, divide en exceso. Divergencias con stake: recopilación y análisis de juicios (vs satisfacción de necesidades valoradas) hacia ejecutores (vs hacia planificadores), coincidencias: + allá del modelo de Tyler, comienza eva antes de terminar programa, concepciones parecidas sobre estrategia evacuativa. Divergencias con Scriven: centralización en personal (vs compradores) da juicios de valor ne función de experiencia, coincidencias: planificación muy parecida, CIPP incorpora elementos de eva sumativa. Eva pluralista: multiplismo, modelos + representativos: participación, perspectiva crítica, uso… eva libre de objetivos: es la orientada al consumidor y fue realizada por Scriven.

6

Tipos de eva:

1. Según tiempo: previa o exante, pre facto, intermedia, post facto. 2. Tipo de participación: externa, mixta o interna o participativa. 

Evaluador interno

 Contratado x organización q evalúa Trabajo continuado, “informal” Forma parte d org que evalúa Pueden ser: sociólogos, psicólogos, abogados, economistas Roles: comunicador, apoyo, decisiones, planificador evaluador externo 
Generalmente bajo contrato x los sponsors Trabajo puntual, “formal” No es parte d organización a evaluar. Puede derivar de distintos org(unís, privado, independiente) Suele tener formación y experiencia en eva Roles: técnico, experto, intermediario… 

Evaluación interna: pros:

Integradora, motivadora, acogedora, menos amenazante, Más flexible con necesidades y tiempos…, Especial interés en hacer un eva con éxito Conoce la dinámica de la organización, más económica, rápida, control y uso de la eva, Favorece reflexión y autoaprendizaje, autoeva. 

Contras:

  Puede ser manipulado para que ofrezca unos resultados +. Puede ser “cualquiera” al que encarguen eva sin saber Eva externa: contras:
No es integradora. Intimida + alguien de fuera. Más formal, tareas estructurada x tiempos. Ningún interés (en principio) en que eva tenga resultados Más difícil conocer dinámica y carácterísticas org – Más cara lenta, desplazamientos, esfuerzos… Se controla menos eva y situación Puede favorecer reflexión y autoeva o no pros:
  Más difícil que sea manipulado, + independiente El evaluador contratado es el responsable, Suele tomar parte de las decisiones Supuesta objetividad, > credibilidad? Se “lleva” el conocimiento para analizarlo externamente.

6

Meta-evaluación:

 Algunos consideran fase previa a eva. Enfoques-tipos: 1. Eva d otra eva  2. Análisis de resultados de varias eva, crítica de informes eva, resumen de resultados de eva 3. Repetir una eva acabada reanalizando datos… 4. Revisiones externas de eva internas 5. Eva de funciones de eva en una organización 6. Meta-eva sumativa/formativa, meta-eva para comparar diseño, para contrastar impacto, etc. 

CRITERIOS

Objetivo: realizar una meta-evaluación, es evaluar un informe evaluativo que otros evaluadores han realizado.  

Ventajas:

 Ahorro de tiempo Coste reducido, Nula reactividad (técnica más “natural” junto a la “observación”) Supuesta “objetividad” pues no se puede/debe modificar apenas la info obtenida Ofrece gran Q  de inf de diferentes autores, periodos, estudios, métodos, etc. En países anglosajones + meta eva porque tiene + eva, obviamente. Más difícil en España. Considera distintas perspectivas y la calidad de distintos programas, contrasta. Fácil accesibilidad a info Probar calidad y mejorar uso de la eva. Aumenta credibilidad al área evaluativa. 

Limitaciones:

 Muestra limitada a la existencia de estudios e investigaciones. Hay muy pocasDifícil comparabilidad por las disparidades (método, técnicas, muestras…) de los estudios a contrastar. Diferentes métodos, tipo de info emplaada, dif perspectiva política… Dficultan la comparación. Nula participación de sujetos investigados Dificultad elaboración indicadores e índices para contraste Inflexibilidad selección info Distanciamiento objeto-investigador: falta implicación.