jueves, 25 de abril de 2013

Repensando el entusiasmo evaluador y las pruebas




Siguiendo recomendaciones internacionales y "siguiendo la corriente" al creciente peso asignado en los últimos años a la evaluación y al uso de pruebas estandarizadas, muchos países de América Latina y el Caribe han venido montando sistemas u operativos nacionales de evaluación escolar basados en dichas pruebas, hoy debatidas y cuestionadas en los propios Estados Unidos, que es donde ganaron notoriedad y desde donde se han expandido al resto del mundo.


Además de las iniciativas y sistemas nacionales, existen dos pruebas internacionales de rendimiento escolar en las que han participado varios países de la región, una de alcance regional y otra de alcance mundial:


(a) el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) coordinado por la oficina regional de la UNESCO (OREALC). El LLECE ha realizado hasta la fecha dos estudios, en 1997 y en 2005-2006, los cuales han evaluado dos áreas del currículo: Lenguaje y Matemáticas, en tercero y cuarto grados, y en tercero y sexto grados, respectivamente. En el segundo estudio (SERCE) se agregó Ciencias Naturales para algunos países. Se aplicará un tercer estudio - Tercer Estudio Regional Explicativo y Comparativo (TERCE) - en el 2013.

En el primer estudio participaron 13 países. En el segundo estudio participaron 16 países - Argentina, Brasil, Colombia, Costa Rica, Cuba, Chile, Ecuador, El Salvador, Guatemala, México, Nicaragua, Panamá, Paraguay, Perú, República Dominicana, Uruguay - y el estado de Nuevo León en México. Cuba ocupó el primer lugar en los resultados de las pruebas y República Dominicana el último. Ecuador, El Salvador, Nicaragua, Guatemala, Panamá, Paraguay, Perú y Rep. Dominicana conformaron el grupo de países con peores resultados.


(b) las pruebas internacionales PISA (Programme for International Student Assessment - Programa para la Evaluación Internacional de Alumnos) diseñadas por la OCDE (los países "desarrollados") que vienen aplicándose desde el año 2000 y cada tres años a estudiantes de 15 años de edad. La prueba del 2000 se centró en competencias lectoras, la del 2003 en competencias matemáticas, la del 2006 en competencias científicas y la del 2009 nuevamente en competencias lectoras (incluyendo por primera vez lectura en medios digitales). Varios países latinoamericanos han participado hasta ahora en la prueba PISA: Argentina, Brasil, Colombia, Chile, México, Panamá, Perú, Uruguay. Estos han conformado – junto con España y Portugal, en Europa - el Grupo Iberoamericano de PISA. México y Chile son los dos únicos países latinoamericanos incluidos dentro del grupo de países OCDE.




                     

Evaluando los impactos de las evaluaciones

El auge que viene cobrando, desde la década de 1990, la evaluación en educación – de los alumnos de diversos niveles, de los docentes, de las instituciones escolares (y ahora, ¡incluso de los padres de familia!, según se propone en EE.UU. ) – no se ha traducido en la anunciada "mejoría" de la calidad y de los resultados de la educación escolar. Más bien se observan varios efectos negativos de dichas evaluaciones estandarizadas, así como debilidades técnicas y problemas de comparabilidad entre ellas, a nivel regional e internacional, lo que dificulta establecer con claridad conclusiones y tendencias. Por ejemplo, los resultados de ambos estudios del LLECE no son comparables entre sí, entre otros porque: en 1997 se evaluó a alumnos de 3º y 4º grados, y en 2005-2006 a alumnos de 3º y 6º grados; el segundo estudio evaluó no sólo saberes sino “habilidades para la vida”; y 8 de los países que participaron en el segundo estudio no participaron el en primero. A su vez, los métodos, indicadores y resultados del LLECE (regional, UNESCO) y de PISA (mundial, OCDE) no son plenamente comparables entre sí.

Todo esto obliga a revisar el camino recorrido y algunas de las premisas que sustentan el entusiasmo evaluador, entre otras: 


(a) que las evaluaciones miden lo que saben o son capaces de hacer los alumnos y los docentes, y 

(b) que las evaluaciones son indispensables para mejorar la calidad de la educación, en tanto ayudan a visibilizar los resultados de la enseñanza (y a explicar algunos de los factores que contribuyen a las diferencias de sus resultados) y, de ese modo, a informar mejor - y eventualmente rectificar - políticas y acciones educativas.

La experiencia muestra que, a pesar de los recursos invertidos en reforma y en evaluación educativas desde los 1990s, no hay mejoría consistente y/o significativa en los resultados escolares de los países en los campos o aspectos evaluados. Se observan pequeños incrementos en los puntajes de las pruebas, pero también bajones. En cualquier caso, los países latinoamericanos siguen ocupando los últimos lugares de la lista de países participantes en PISA.

La divulgación de dichos resultados en forma de ránkings que comparan entre sí a los planteles escolares y a los países, no ha tenido los impactos esperados sobre las políticas ni sobre las prácticas docentes. Más bien, ha contribuido a reforzar el malestar y la resistencia docentes, pues son los docentes los primeros a quienes se responsabiliza de los malos resultados, sin ver el conjunto de “factores asociados” a los rendimientos escolares y sin que se implementen las políticas que las propias evaluaciones nacionales e internacionales muestran indispensables.Los gobiernos de los países participantes en las sucesivas pruebas PISA no están teniendo en cuenta las conclusiones y recomendaciones de dichas pruebas.

Asimismo, las evaluaciones de las evaluaciones muestran que se avanza poco en términos de construir una cultura de evaluación en el campo educativo. Más bien, vienen desarrollándose varias tendencias negativas previsibles:

 desmoralización entre estudiantes, docentes y planteles que obtienen bajos resultados, lo que contribuye no a su superación sino más bien a reforzar sentimientos de minusvalía e impotencia.

 “estudiar para la prueba” (tanto en el caso de los alumnos como de los docentes), lo que no incide realmente sobre la comprensión y el aprendizaje sino más bien sobre la memorización y la retención de información en el corto plazo.


▸ atención a las asignaturas o contenidos sujetos a evaluación, y descuido de aquellos que se sabe no entrarán en las pruebas.

▸ toda la sociedad concentrada en las pruebas y en sus resultados, asumiendo estos como indicador de la calidad de la educación escolar a nivel nacional y de cada plantel, olvidando aspectos tanto o más importantes que no se ven a través de las pruebas tales como: la relevancia y pertinencia del currículo y de los contenidos que se enseñan en las aulas, la validez pedagógica de los métodos de enseñanza utilizados, la calidad profesional y humana de los educadores, las relaciones entre profesores y alumnos y entre alumnos, el clima de aula y el clima escolar en general, el interés y la satisfacción de los alumnos y de las familias. 

▸ presionar a los profesores a que sus alumnos obtengan buenas calificaciones en las pruebas, pues de ellas depende la evaluación del "desempeño docente", aumentos salariales, incentivos, premios y castigos, y hasta despidos (En EEUU y en otros países muchos profesores dependen hoy de las notas de sus alumnos para sobrevivir y permanecer en el sistema). 

 activar la previsible "cultura del engaño", incluyendo filtración y compra-venta de pruebas, venta de cursos y materiales para prepararse y aprobarlas, evitar que se presenten a las pruebas los "malos alumnos", los "migrantes", los con "problemas de aprendizaje", etc. La selección de alumnos al momento de la prueba es un fenómeno que ha sido analizado y cuestionado desde hace mucho en Chile. Casos de engaño denunciados y ventilados públicamente se han dado por ejemplo en México (copia en la prueba nacional Enlace, venta del 'Examen Universal' - aplicado en julio 2012 - a través de Mercado Libre, en internet), Perú (pruebas aplicadas a los docentes), Brasil (ENEM: Exame Nacional do Ensino Médio), Estados Unidos (Atlanta, pruebas estandarizadas en escuelas) y en la comunidad autónoma de Cataluña en España (pruebas PISA).


 obtener buenos resultados en las pruebas como objetivo, a fin de:
(i) quedar bien parado en el marco de parámetros competitivos según los cuales son evaluadas las instituciones escolares, e incluso juzgadas como aptas o con mérito para recibir diversos tipos de incentivos,
(ii) “ubicarse lo mejor posible” en los ránkings internacionales.


Mejorar los puntajes en la prueba PISA y el ránking del país en dichas pruebas ha pasado a ser la razón de ser y el objetivo principal de las reformas educativas en varios países (por ejemplo México de cara a PISA 2012), así como un logro esperable de metas de alcance regional (por ejemplo, las Metas 2021 promovidas por la OEI. Meta 5: Mejorar la calidad de la educación. Indicador 13: Porcentaje de alumnos con niveles satisfactorios de logro en competencias básicas en las pruebas nacionales e internacionales. Nivel de logro: Disminuye en al menos un 20% el número de alumnos situados entre los dos niveles bajos de rendimiento en las pruebas LLECE 6.º grado, PISA, TIMMS o PIRLSen las que participan diferentes países. Aumentan en la misma proporción los alumnos en los dos niveles altos en dichas pruebas). 

Hay asimismo puntualizaciones importantes que hacer y que a menudo siguen sin hacerse: 

▸ evaluar la calidad de la educación es mucho más amplio que evaluar los rendimientos escolares.



 rendimiento escolar no es lo mismo que aprendizaje; los aprendizajes que se dan en el sistema escolar van mucho más allá de la asimilación de determinadas asignaturas e incluso del currículo prescrito. 


▸ las pruebas pueden medir solo una pequeña porción de lo aprendido/sabido, dejando afuera valores, aptitudes, actitudes y competencias claves que hacen al corazón mismo de la educación, la socialización y la convivencia en el medio escolar, y de las múltiples inteligencias (por ejemplo: pensamiento crítico, colaboración, iniciativa, esfuerzo, curiosidad, respeto, amabilidad, honestidad, humor, etc.).

▸ no cabe aplicar los mismos instrumentos de evaluación a países, zonas, grupos humanos, culturas, diferentes. A objetivos, condiciones, contextos, contenidos diversos, corresponden obviamente diferentes para qués, qués y cómos en términos de evaluación.





América Latina, la región más inequitativa del mundo, y los países de la OCDE


Es fundamental preguntarse acerca de la pertinencia y validez de aplicar las mismas pruebas - y posteriormente comparar sus resultados - (a) a toda la población escolar, muy heterogénea dentro de un mismo país o región, y (b) a países muy diferentes entre sí, como son los países de la OCDE - países ricos con necesidades básicas satisfechas por parte de la mayoría de la población (y que son los países que sistemáticamente obtienen los mejores resultados en las pruebas PISA) - y los países de América Latina, la región más inequitativa del mundo, con una alta proporción de su población viviendo bajo la línea de pobreza. Como corroboran las mismas evaluaciones (LLECE, PISA), el contexto socio-económico - no sólo de cada escuela sino del país en su conjunto - tiene gran peso sobre las condiciones de enseñanza-aprendizaje y sobre los resultados escolares en los diversos niveles del sistema. 


Las enormes diferencias – históricas, sociales, económicas, políticas culturales - entre los países del Norte y los países del Sur, dentro de la propia América Latina y en el interior de cada país, exigen enfoques, políticas y programas diferenciados. Esto se aplica también a la evaluación, la cual incide de manera directa sobre los currículos, las pedagogías, las expectativas, los perfiles y quehaceres docentes.


Antes que herramienta de rectificación de desigualdades, las pruebas y la evaluación en el medio escolar puede reforzar la discriminación hacia los sectores más pobres y vulnerables. En particular, los grupos y pueblos indígenas resultan los más perjudicados pues las pruebas se elaboran por lo general sin atención a sus especificidades lingüísticas y culturales. Esto ha sido oficialmente denunciado, por ejemplo, en el caso de México y su prueba nacional Enlace.



La experiencia cubana y la experiencia finlandesa 



Dos notas de cierre que llaman a la reflexión: 


▸ Cuba es el país que ha obtenido los mejores resultados escolares en ambas pruebas LLECE aplicadas hasta hoy (1997 y 2005-2006), en ambos casos con una gran diferencia respecto de los demás países que han participado en estas pruebas en América Latina y el Caribe (cabe recordar que las pruebas LLECE incluyen tanto a escuelas públicas como privadas). Cuba, no obstante, está insatisfecha con su sistema educativo y reconoce la necesidad de cambios mayores en sus políticas educativa, cultural y social. Una muestra de que los resultados de las pruebas escolares son insuficientes para dar cuenta de la calidad educativa y que los ránkings formalmente establecidos e internacionalmente validados pueden tener escasa relevancia frente a las expectativas y a los parámetros que pueden fijarse internamente los propios países.



 Finlandia, país que viene ocupando los primeros lugares en las pruebas PISA a nivel mundial, se distancia radicalmente de los preceptos que dominan la evaluación en la "reforma educativa global" en la actualidad;
- es crítica de las pruebas estandarizadas y de los ránkings;
- no aplica evaluaciones estandarizadas a sus alumnos antes de los 16 años;
- no divulga públicamente los resultados de las pruebas y no promueve la competencia entre instituciones escolares en base a dichos resultados;
- no aplica a sus profesores esquemas de "pago por desempeño" (entendiendo y valorando dicho desempeño en relación a los rendimientos escolares, según lo medido por pruebas).

Rosa María Torres en el blog OTRAEDUCACIÓN

ANEXO: 

Preguntas PISA liberadas, ¿aprobaríamos los exámenes?

Las preguntas de ediciones pasadas se han hecho públicas para conocer su contenido y practicar o prepararse para estas pruebas internacionales
  • Por AZUCENA GARCÍA
  •  
  • 24 de abril de 2013
- Imagen: ccarlstead -El Programa PISA evalúa cada tres años a los alumnos de Educación Secundaria Obligatoria de 30 países. Estos han de realizar pruebas de lectura, matemáticas y competencia científica. ¿Pero cómo son los exámenes? ¿Qué preguntas se hacen? ¿Aprobaríamos los exámenes en caso de tener que realizarlos? El Instituto Nacional de Evaluación Educativa ha publicado preguntas liberadas para que los alumnos puedan practicar y las personas interesadas, conocer su nivel en caso de tener que enfrentarse a los exámenes.


El Programa Internacional de Evaluación de los Alumnos (PISA) examina el nivel de conocimientos y habilidades de los estudiantes que están a punto de terminar la educación Secundaria. A partir de los resultados, elabora un informe con los datos de los países donde se realizan las pruebas cada tres años. En cada convocatoria, se centran en un área temática: en 2000 fue la lectura, en 2003 las matemáticas y en 2006, las ciencias. La nueva oleada de evaluaciones comenzó en 2009, cuando se examinaron las habilidades en lectura, continuó en 2012 con actividades de matemáticas y culminará en 2015, con una nueva evaluación de ciencias. El Instituto Nacional de Evaluación Educativa (INEE) ha publicado un volumen dirigido al profesorado de educación secundaria, donde se recopilan diversos ítems que han formado parte de este estudio internacional.
Las pruebas exigen entender los enunciados, responder a una serie de cuestiones y exponer las ideas con claridad
Estas actividades o estímulos son muy útiles para que los alumnos practiquen los ejercicios a los que se enfrentarán en el futuro y también pueden aprovecharlos los padres para ayudar a sus hijos y evaluar sus propios conocimientos. Tomarlos como campo de pruebas ayuda a prepararse y poner en práctica las habilidades requeridas. Son cuestiones que exigen reflexionar y leer con atención los contenidos.

Ejercicios liberados de comprensión lectora

Los estímulos propuestos hasta ahora en las pruebas de comprensión lectora han sido variados. Desde un fragmento de 'La historia interminable', de Michael Ende, y otro de 'Cien años de soledad', de Gabriel García Márquez, hasta diferentes noticias y artículos publicados en revistas u otros medios. La presentación es sencilla: a continuación del texto, cada estudiante ha de responder un cuestionario. Las preguntas se refieren a la misma lectura. Están relacionadas con el título, expresiones empleadas, el contenido u orden de las ideas y, en ocasiones, se pide aportar explicaciones con palabras propias, una de las tareas que más dificultades supone para muchas personas, puesto que requiere contar con un vocabulario amplio y exponer las ideas con claridad. Sobre todo, se evalúa que se haya entendido el texto propuesto.
Ejemplos de preguntas:
  • La frase: Ayer, domingo, vi a tu hermano Luis Enrique en el monte cuando estaba cazando. ¿Es correcta o incorrecta?
  • El antónimo de fugaz es...
  • ¿En qué conocida obra se relataban las aventuras de un caballero andante algo trastornado?

Ejercicios liberados de matemáticas

Matemáticas es una de las asignaturas más temidas por la mayoría de los estudiantes y quienes no lo son. De ahí que las pruebas PISA en esta área temática destaquen por esta misma característica. No obstante, el hecho de practicar antes de enfrentarse a las preguntas y familiarizarse con las mismas ayuda a relajarse. Para los padres, conocer el contenido de estas pruebas es un modo de ayudar a sus hijos a prepararlas.
Ejemplos de preguntas:
  • La edad de un señor es de 45 años y la de su hijo 11. Si llamamos "x" al número de años que deben transcurrir para que la edad del padre triplique a la de su hijo, ¿cuál es la ecuación que describe esta situación?
  • El coste de cada metro cuadrado de césped es de unas 1.000 pesetas. Un campo de fútbol mide entre 100 y 120 m de largo y entre 64 y 75 m de ancho. ¿Cuánto puede costar el césped de un campo de fútbol?
  • En una clase de 30 alumnos de 4º de ESO, los chicos calzan, por término medio, un 42 de zapato y las chicas un 39. Si entre todos calzan, por término medio, un 40 de zapato, ¿cuántos chicos hay en la clase?

Ejercicios liberados de ciencias

Las pruebas liberadas de ciencias evalúan "hasta qué punto los alumnos aplican algún tipo de pensamiento científico a las situaciones que puedan encontrarse en sus vidas cotidianas". De esta manera, no solo se quiere saber lo que han aprendido dentro del aula, sino también fuera. Se evalúan situaciones cotidianas o de interés para los alumnos relacionadas con la física, la química y la biología. Las preguntas se han preocupado hasta ahora por el ozono, la clonación, la lluvia ácida, la biodiversidad o el ejercicio físico, entre otras cuestiones.
Ejemplos de preguntas:
  • Un autobús circula por un tramo recto de una carretera. Raimundo, el conductor del autobús, tiene un vaso de agua sobre el panel de mandos. De repente, Raimundo tiene que frenar violentamente. ¿Qué le ocurrirá al agua del vaso?
  • ¿Cuáles son los beneficios del ejercicio físico practicado con regularidad?
  • El granito es una roca muy común en el relieve de la Península Ibérica. Habrás observado que el granito es: A) Blando y fácil de romper. B) De color negro y con cavidades. C) De color gris salpicado de negro. D) Muy poroso y permeable al agua.


No hay comentarios:

Publicar un comentario