La Planificación del Proceso Evaluador

Metodología: ¿Cómo se evalúa?

Estrategias metodológicas

Sin ningún criterio prefijado o plan establecido:

  • Observación libre.
  • Entrevista exploratoria.
  • Técnicas de grupo: brainstorming, grupos de discusión, etc.

Con un plan establecido pero abierto:

  • Entrevista semiestructurada o abierta.
  • Observación sistemática.
  • Observación participante.
  • Técnicas de grupo: role playing o las dinámicas de grupo.

Con un plan establecido y estructurado:

  • Entrevista totalmente estructurada.
  • Cuestionarios.
  • Índices o escalas estandarizadas.
  • Observación provocada.

Procedimientos de análisis e interpretación

Para analizar la información e interpretarla, disponemos de diversos procedimientos:

  • Observación y medida de variables.
  • A través de los indicadores.
  • Comparación entre:
    • Resultados previstos y situaciones anteriores.
    • Resultados obtenidos y los resultados esperados.
  • Valoración y reflexión para la toma de decisiones en las diferentes fases del proceso de intervención.

Finalmente, se deben recoger los datos necesarios de manera exhaustiva para su valoración crítica.

Recursos: ¿Quién, cuándo, dónde y con qué?

Hay que tener en cuenta:

  • El quién. Se refiere a los recursos humanos. Se debe establecer el tipo de evaluación:
    • Interna.
    • Externa.
    • Mixta.
    • Autoevaluativa.
  • El cuándo. Hace referencia a la temporalización.
  • El dónde. Establece el lugar o espacio donde se deberá realizar.
  • El con qué. Se refiere a los recursos materiales que se dedicarán a la actividad evaluadora.

La Evaluación en las Diferentes Fases del Proyecto

La evaluación del diagnóstico

Tiene como objetivo conocer la realidad previa a la intervención. Permiten definir claramente la situación problemática:

  • El problema y el entorno en que se ha producido.
  • Las causas que generaron el problema.
  • Las consecuencias para los afectados.
  • La percepción que tienen los grupos de interés del problema.
  • Las vías de solución, de supresión o de disminución del problema.
  • Los beneficios que puede reportar el programa o proyecto.
  • La tipología de beneficiarios.

La evaluación de las necesidades permite al profesional programarse unos objetivos y tomar decisiones sobre la planificación de la intervención.

La evaluación del diseño

Debe garantizar su coherencia y va a contribuir a su aplicabilidad. El proyecto tiene que estar bien justificado en lo que se refiere a:

  • Viabilidad.
  • Factibilidad.
  • Consistencia.

Todos los elementos han de ser congruentes entre ellos y realizables:

  • Los objetivos formulados.
  • Las estrategias metodológicas.
  • Las actividades o actuaciones.
  • Los recursos.
  • La temporalización.

Si las otras fases están bien planificadas, un diseño consistente ayudará en gran medida a que el éxito sea efectivo.

La evaluación del proceso

Se realiza a lo largo del desarrollo del proyecto y se evalúa:

  • La participación del grupo de interés o público objetivo.
  • La ejecución de la intervención según la previsión.
  • La utilización de los diferentes tipos de recursos.

A través de los datos que se recogen se puede comprobar:

  • Si conseguimos la implicación y participación de los grupos de interés.
  • Si hay coherencia entre los las estrategias y las actividades.
  • Si la metodología utilizada es la más adecuada.
  • Si necesitamos introducir modificaciones en la metodología.
  • Si las actividades desarrolladas dan respuesta satisfactoria.
  • Si la secuenciación y la dificultad de las actividades es la más adecuada.
  • Si disponemos de los recursos necesarios.
  • Si estos recursos están siendo los más indicados.
  • Si la temporalización se va desarrollando acorde al cronograma.
  • Si las previsiones de los resultados son acordes con lo previsto.

La evaluación final

Se realiza una vez acabado el proceso y tiene como objeto valorar si los resultados del proyecto son acordes a los objetivos. En esta fase se analizan:

  • Los resultados obtenidos.
  • El impacto.
  • Los efectos en las personas beneficiarias.

Son aspectos evaluables en esta fase:

  • Los resultados en cuanto a la relación coste y beneficio obtenido.
  • El impacto, tanto en el ámbito de la entidad o institución como en el comunitario o social.

Soportes Informáticos y Electrónicos en el Tratamiento y la Organización de la Información

Para la recogida de datos

Disponemos de diversos dispositivos electrónicos e informáticos para la recogida de información:

  • Ordenador portátil.
  • Cámara fotográfica.
  • Cámara de vídeo.

Siempre se debe contar con el consentimiento de la persona usuaria y cumplir los criterios de privacidad y confidencialidad.

Para el proceso y el tratamiento de la información

Existen programas informáticos específicos de gestión de datos numéricos y de edición de gráficos. El tratamiento de datos cuantitativos consiste en solicitar al programa el tipo de información que deseamos: Podemos utilizar:

  • Hojas de cálculo (Microsoft Office, Open Office…).
  • Programas estadísticos (SPSS, SAS, MiniTab, Statgraphics…).

El tratamiento de datos cualitativos exige el uso de programas de gestión:

  • Programas genéricos: procesadores de textos, los gestores de bases de datos, etc.
  • Programas específicos, diseñados para el análisis de datos cualitativos: NUD*IST, NUD*IST Vivo, VINMAX, ATLAS.ti, AQUAD, ETNOGRAPH, MAXQda…

Informe Final

¿Qué es el informe?

Se utiliza también el vocablo memoria para reflejar el contenido y objetivos señalados para el informe. Es un instrumento que recoge, una vez realizado el proyecto, los resultados obtenidos y evalúa la consecución de las diferentes fases y subfases. En el informe se valora el cumplimiento de los objetivos y se reflexiona críticamente sobre los motivos y las consecuencias de los resultados. Sistematiza tanto el proceso seguido desde el principio hasta su finalización, como los resultados obtenidos. Sirve para dar a conocer los resultados finales a otras personas o a la propia entidad. Es conveniente que los resultados y las recomendaciones fundamentales se faciliten a las personas implicadas cuanto antes mejor, incluso antes de la redacción del informe.

Características de un informe

Para que la difusión de la información sea óptima, los informes deben cumplir algunas características:

  • Ser concretos y breves.
  • Estar escritos con un lenguaje comprensible para las personas o grupos a los que se dirige.
  • Contener gráficos que ayuden a la comprensión del contenido.
  • Que las explicaciones no se pierdan en largas discusiones metodológicas.
  • Contener recomendaciones de actuación.

Partes de un informe

Un informe deberá incluir los apartados siguientes:

  • Portada (con la fecha y la firma).
  • Resumen del contenido.
  • Información del proyecto que hay que evaluar.
  • Estudio valorativo.
  • Resultados.
  • Discusión.
  • Conclusión.
  • Recomendaciones.

Comunicación de los resultados

En la comunicación de los resultados se deben tener en cuenta las circunstancias concretas:

  • Al informar a las personas implicadas.
  • Al dar un mensaje de evaluación.
  • Al dar información en forma escrita.
  • Al realizar una presentación oral.
  • Al tratar con audiencias difíciles.
  • Al relacionarse con la prensa.

En cualquier circunstancia, siempre debemos ser honestos y no ir más allá de los datos de que disponemos

Aspectos Éticos de la Evaluación

Principios y dilemas éticos de la evaluación

Principios que han de guiar las decisiones éticas en la evaluación:

  • Los beneficios de la sociedad.
  • El respeto mutuo y la justicia.
  • La no coerción.
  • La no manipulación.

Hay cuatro dilemas éticos relacionados con las investigaciones sociales:

  • ¿Han de conocer las personas participantes toda la información sobre la investigación?
  • ¿Pueden las personas participantes ser expuestas a situaciones que les pueden perjudicar?
  • ¿Cuáles son los límites de la privacidad?
  • ¿Qué relación ha de haber entre los resultados y los beneficios de la investigación y las personas que participan?

Problemas éticos en la intervención social

El principio que debería regir la investigación social ha de ser la actuación ética, sin poner en peligro la validez del estudio. Existen tres niveles de problemas éticos:

  • En relación con los sujetos que participan en el estudio → Relaciones asimétricas entre equipo investigador y personas participantes
  • Sobre la comunidad en que se lleva a cabo la investigación → Defensa de la privacidad e intimidad de las personas
  • Sobre el área de conocimiento a la que se incorporarán los resultados del estudio → Cumplimiento de las exigencias de la metodología científica.

Problemas éticos en la intervención social

Principales problemas éticos en investigaciones sociales

  • Complejidad.
  • Sensibilidad.
  • Existencia de valores controvertidos.
  • Bidimensionalidad.
  • Amplitud.
  • Aspectos personales y profesionales.
  • Ética de la ciencia y de la investigación.
  • Progresividad.
  • Relatividad.
  • Viabilidad.

Se debe tener en cuenta:

  • El consentimiento libre y explícito de los participantes.
  • La confidencialidad y el derecho a la privacidad.
  • La equidad en las relaciones entre evaluadores y evaluados.
  • La consideración del impacto de los resultados y de los beneficios de la evaluación.