LA METAEVALUACIÓN
En
los últimos años la evaluación y certificación de sistemas e instituciones
ocupa un lugar importante para la toma de decisiones en políticas públicas y
adoptadas por el Sistema educativo.
Como resultado del
interés de eficientizar los Sistemas Evaluativos, con la democratización
administrativa al rendir cuentas a la sociedad, así como de crear una cultura
de evaluación para la mejora en la prestación de los servicios educativos.
Origen
Scriven
en 1969 introdujo formalmente el término “metaevaluación” donde la meta de evaluación
siempre apareció asociada a los programas evaluativos, pero fue hasta esa década
cuando los evaluadores empezaron a discutir formalmente sus procedimientos y
criterios (Stake, 1967, 1970; Stufflebeam, 1968).
Ante la búsqueda del perfeccionamiento de los programas o proyectos se
busca que el proceso evaluativo esté libre de insuficiencias y subjetividad
entre los evaluadores y el evaluador.
Por tanto, la metaevaluación coadyuvará a respetar lo
diseñado y reglamentado para llegar a lo deseado.
1.
¿Qué es la
metaevaluación?
a)
Actividad o
conjunto de actividades que consisten en la elaboración de listas de
comprobación y en la aplicación directa de estas listas a un caso específico
para, con base en ellas, construir un juicio sobre la evaluación como
resultado. (Scriven)
b) Proceso de
diseñar, obtener y utilizar información descriptiva y de enjuiciamiento acerca
de la utilidad, del valor práctico y de la adecuación ética y técnica de una
evaluación, para guiarla y hacer público el informe de sus puntos débiles y
fuertes. (Stufflebeam)
c) Es la evaluación
de la evaluación, donde la auditoría es
un examen y verificación independiente de la calidad de un plan de evaluación, de
la suficiencia con que fue puesto en práctica, de la precisión de los resultados
y de la validez de sus conclusiones. El Join Committeeon Slandars for
Educacional Evaluation (1981:166)
Es
decir el objetivo: Ayudar a
que la evaluación desarrolle todo su potencial; efectuándola correctamente
producirá mejoras directas en el sistema, los programas y las prácticas
educativas.
Stufflebeam,
propone dos enfoques sumativo y formativo que determinan el
grado en que la evaluación es técnicamente adecuada, útil para guiar en la toma
de decisiones y el uso de los recursos en la práctica y ética.
Se
entiende por:
a)
Sumativo el
estudio del mérito de una evaluación terminada. (El metaevaluador es un agente
externo, que califica el proceso y el producto)
b) Formativo pretende
ser una guía para ayudar a los evaluadores a llevar a cabo su proyecto de
evaluación. (El metaevaluador actúa como consultor)
3. ¿CÓMO SE MIDE LA CALIDAD DE UNA EVALUACIÓN?
Existen
pocos diseños que son aceptados, al aplicar adecuadamente criterios que definan
una evaluación satisfactoria, se pueden elaborar diseños consistentes
(Brinkerhoff, 1985).
Una
propuesta por Schwandt y Hapern, comprende los siguientes criterios:
Ilustración 1Criterios de calidad, Schwaandt y Halpen (1988)
Abordaré cada uno de los criterios mencionados:
1. Criterios
de rigor es uno de los principales criterios,
indica el uso de las medidas fiables y válidas, así como el método apropiado de
análisis de datos. Uno de los principales obstáculo de este criterio es la ambigüedad
de los procesos evaluativos, en la siguiente imagen observamos los principales obstáculos.
Ilustración 2 Criterios de Rigor
2. Criterios de Utilidad sugiere
y señala la selección de criterios para la obtención de la información de calidad
con una doble perspectiva.
En la imagen se observan y es importante señalar que
son prácticos o de utilidad, son necesarios comunes en la investigación científica
pero para la evaluación educativa.
Ilustración 3 Criterios de Utilidad
3. Criterios
éticos interpretan
las normas éticas para evaluadores, que no se limita al ser honesto con el
dinero, datos y los sujetos investigados. La participación es dinámica y
continua de evaluadores y evaluados, fundamental para retroalimentar al sistema
que se analiza.
Ilustración 4 Criterios éticos
Mencionaré otra propuesta
de criterios de calidad, donde toda evaluación tiene valor y utilidad en el
sistema y una evaluación de la evaluación exige los siguientes criterios:
Ilustración 5 Criterios de la Evaluación (Santos 2004)
Como se observa el
proceso de metaevaluación es riguroso, refleja congruencia y eficacia; se
pretende no existan errores y prejuicios.
1.
Elementos
normativos de evaluación
Sanders y Nafzinger
(1974) proponen tres razones para justificar las necesidades de establecer
normas de evaluación:
Ilustración 6 Normativas de Evaluación
La evaluación de los
programas influye en la toma de decisiones de quiénes son responsables, es por
ello que se requieren líneas de ejecución y control sobre la constitución de
una buena práctica evaluativa y tengan un punto referencial en común.
Por lo que se consideran
cuatro dimensiones básicas de análisis en cualquier proceso evaluativo o
metaevaluativo:
Ilustración 7 Dimensiones Básicas para el Análisis: Proceso
Metaevaluativo (Gustavo Rosales Estrada)
1. Utilidad
integra las reglas normas de evaluación para
que esta cumpla con el objetivo de ser informativa, realista y transmisible.
Todo evaluador debe ser especialista en audiencias y determinar si una
evaluación satisface las necesidades prácticas de información de los implicados
en un programa.
2. Viabilidad incorpora normas que
exigen que todo proyecto sea realizable. (Viabilidad, realismo, prudencia y
económico para el logro de los propósitos).
3. Legitimidad
o corrección indica cómo las evaluaciones educativas inciden
al ser humano en formas distintas.
4. Precisión
o exactitud introduce aquellos elementos que
determinan si una evaluación ha generado información pertinente y que las
conclusiones se ajusten a la lógica con los datos obtenidos.
¿Quieres conocer
el contexto en México? Te invito a ver: Los retos de la metaevaluación:¿para
qué evaluar la evaluación? https://youtu.be/llC9oDZzcZU
CONCLUSIONES
En conclusión la
metaevaluación surge como resultado de la modernidad en los Sistemas Políticos
y económicos esencialmente por la búsqueda constante de calidad, eficacia y
eficiencia. Es importante recordar que la Educación es la respuesta a la
necesidad de las sociedades; de construcción
y desarrollo del “conocimiento” para el desarrollo social.
Importantes aportes:
1) Brindar información confiable
a los responsables de tomar decisiones, ayudándoles a contar con información
oportuna (Fitzpatrick, Sanders y Worthen, 2004);
2) Garantizar niveles óptimos de
gestión de las evaluaciones y evitar sesgos, errores técnicos,
dificultades administrativas, costos excesivos e inutilidad de los resultados
(Stufflebeam, 2001);
3) Proporcionar credibilidad a las
evaluaciones, a través del sometimiento de los estudios de evaluación
al análisis contra estándares profesionales o criterios establecidos de manera
participativa (Patton, 1997);
4) Favorecer la justicia, la equidad
y la responsabilidad social de las evaluaciones, de tal manera que,
mediante el proceso metaevaluativo se verifique hasta qué punto las
evaluaciones han tomado en cuenta los intereses de aquellos que son afectados
por los programas y políticas que son analizados (House, 1997; Strike, 1997);
5) Determinar áreas de mejora,
así como ofrecer sugerencias para el presente y el futuro de las evaluaciones,
identificando las fortalezas y debilidades de estudios de evaluación
(Rodriguez-Campos, 2004);
6) Generar espacios de aprendizaje
colaborativo, mediante un liderazgo distribuido en donde la evaluación
favorece la construcción de capacidad para la mejora en cada uno de los agentes
que participan y fortalece los canales de comunicación y retroalimentación
(Patton,1998; Robinson y Cousins, 2004; Santos, 2003).
Bibliografía
Antonia, C. M. (1992). La evaluación, garantía de la calidad para el
centro educativo. España.
Chile, F. (2007). ¿Cómo podemos evaluar la gestión?
Obtenido de http://ww2.educarchile.cl/UserFiles/P0001/File/Cuaderno%203.pdf
Estrada, G. R. (s.f.). Obtenido de
https://dialnet.unirioja.es/servlet/articulo?codigo=5128995
Evaluation, J. C. (1988). Normas de Evaluación para
programas, proyectos y material educativo. México: Trillas.
Comentarios
Publicar un comentario