China, como La Comunidad de Madrid

Parece que la Comunidad de Madrid y China comparten puntos de vista acerca de la transparencia educativa. Gracias Magisnet me entero de que:

El Gobierno chino prohíbe los rankings de mejores escuelas

El Ministerio de Educación de China ha prohibido una evaluación “no autorizada” de las mejores escuelas del país, debido a la preocupación de que tenga una influencia negativa sobre los alumnos y los padres. Once medios de comunicación presentaron una lista de “las 100 mejores escuelas Secundarias en China”, que fue publicada en internet.

No me dirán que esta noticia no les recuerda a la que se publicaba en la prensa española el año pasado.

Educación [de Madrid] no hará públicos todos los resultados del examen de Primaria

El objetivo es el de impedir que con la prueba de nivel de sexto de Primaria se elaboran listas con los mejores y peores colegios por los resultados de sus alumnos. (20 Minutos, 17/04/06).

La noticia del 20 Minutos incluye un enlace a una encuesta de esas que tanto gustan a los periódicos y que parecen hechas para ser criticadas por Malaprensa. Tomen los resultados, pues, con toda la cautela que estas encuentas/juegos periodísticos se merecen. Pero sorprende que por cada uno que desea que no se publiquen los resultados haya dos que desearían mayor transparencia¹.

Sorprende la tendencia hacia el oscurantismo educativo en comperación con la tranquilidad con la que se ofrece información sobre otros servicios. Vean, por ejemplo, cómo la OCU informa sin problemas acerca de precios de supermercados. Informan que, un año más, la cadena Sánchez Romero y los supermercados de El Corte Inglés son los más caros de España. Y nadie pone el grito en el cielo, ni se sorprende, ni se hunden estos establecimientos. Jamás he escuchado a nadie reclamar silencio a la OCU por poner en riesgo la continuidad de esos supermercados. Y es que las personas somos capaces de poner la información en su contexto. En esas dos cadenas, uno puede encontrar una variedad de productos mayor y con una atención al público mucho mejor a la ofrecida en otros establecimientos. A la hora de tomar la decisión acerca de dónde ir a comprar, la gente es capaz de integrar todos esos datos y tomar los datos de la OCU como lo que son: un indicador más.

Sin embargo, parece que con el tema educativo hay que sustraer a los padres el acceso a la información, no vaya a ser que puedan tomar una decisión ayudándose de más datos que lo que se habla en la calle y lo que cuentan los amigos del barrio.

¹ ¿Es lícito hacer mención a una encuesta con tantas limitaciones metodológicas? Desde mi punto de vista, sí. Toda, absolutamente toda, investigación es limitada. Unas más, otras menos, claro, pero no existe la investigación perfecta y cerrada. Todas se basan en supuestos y dar los resultados por buenos significa aceptar que, o bien esos supuestos se cumplen, o bien que su incumplimiento no cambia la interpretación de los datos. Por ejemplo, cuando uno hace un experimento de memoria con estudiantes universitarios, es evidente que la muestra no es representativa de la población general, pero se acepta que los procesos psicológicos básicos son comunes entre estudiantes y población general. Por eso, uno se permite generalizar sin problemas. En la encuesta del 20 Minutos, para darle la vuelta a los resultados, habría que justificar que las personas con preferencia por la transparencia de resultados: a) se pasan más por la página web de ese periódico; b) tienen una mayor tendencia a responder a esa encuesta. Yo, al menos, no veo razón por la que esto tenga que ser así. Por ello, y siendo consciente de las limitaciones de esa recogida de datos y aceptando un amplio margen de error en relación con los resultados de obtenidos a través de un muestreo aleatorio, creo adecuado citar la encuesta del periódico.

Conocimientos para pruebas

Como veíamos en la entrada de ayer, para la Comunidad de Madrid todo lo que rodea la prueba de nivel de sexto de Primaria es un éxito. Un éxito la idea de hacerla, un éxito los resultados, un éxito las medidas tomadas a raíz de la prueba del año pasado... Por desgracia, los datos que han ofrecido para apoyar estas afirmaciones son más bien pobres. Pecan los datos y el diseño de la prueba de defectos técnicos importantes. Me centraré en los problemas para la comparación entre grupos.

Los resultados medios de este año son francamente mejores que los resultados del curso pasado. Dos son las posibles razones para explicar esto. Una, que los alumnos del 2006 sean más capaces que los del 2005. Dos, que el examen de este año sea más fácil que el del curso pasado. ¿Cómo saber cuál de las dos opciones es la correcta?

El modo más sencillo de responder a esta pregunta es repitiendo preguntas de examen a examen. No tienen por qué ser todas, con una pequeña parte es suficiente. Esto es lo que hacen los estudios de evaluación educativa rigurosos (tipo TIMMS, PISA, etc). Estos estudios hacen pública sólo una parte de las preguntas que han administrado a los chavales. La parte que no facilitan es la que repetirán, una vez comprobado que las preguntas eran buenas, en próximas evaluaciones.

Comparando los resultados de ese grupo de preguntas administradas en las dos ocasiones, podemos ver si los chavales de un año y otro son iguales en la habilidad que medimos o no. Si se hace bien, este pequeño número de preguntas compartidas de examen a examen nos permite mantener la escala de medida constante entre años. De este modo, hablar de 'mayor', 'menor', 'mejor' o 'peor' tiene sentido.

Las preguntas que han contestado los alumnos de sexto este mayo son completamente distintas de las que respondieron sus compañeros un año mayores el curso pasado. No podemos utilizar este recurso del que hablábamos. Cuando se acaba la técnica, empieza el cálculo 'a ojo'. Y eso lo dejo para ustedes. Comparen el bloque de preguntas A con el bloque B, tomados de la parte de Cultura General de la prueba, y digan cuál creen que es más sencillo:

Bloque A:

• ¿Qué es un velero?
• ¿Cómo se llama el océano situado entre Europa y América?
• Indica el nombre del continente en el que se encuentran Marruecos, Italia, China y Ecuador.
• Ordena cronológicamente los siguientes hechos históricos: Segunda Guerra Mundial, descubrimiento de América y nacimiento de Julio Verne.

Bloque B:

• ¿En qué continente está Austria?
• Nombra tres instrumentos musicales distintos del piano y del clavicordio.
• ¿Cómo se llama la cordillera que separa España de Francia?
• Une mediante una flecha el nombre de los animales con la clase zoológica a la que pertenece: gallina, lagarto, gato, sardina y pez, mamífero, reptil, ave.
  

A mí, con la subjetividad que llega aparejado el cálculo del 'porque yo lo valgo', me parece claro que el bloque B es más sencillo. Y el bloque B es que han respondido este año. ¿Sorprende, pues, que los alumnos hayan obtenido mejores puntuaciones este curso? ¿Hay motivos que sostengan la alegría de Esperanza Aguirre y de la Consejería de Educación? Yo creo que no. Por desgracia, me tengo que quedar en el terreno de las creencias. Pasar más allá es imposible, porque el diseño de la prueba impide toda comparación mínimamente rigurosa. Lástima de tiempo y de dinero invertido. Lástima de oportunidad para la evaluación seria desaprovechada.

Conocimientos y Destrezas Imprescindibles

Prueba de Conocimientos y Destrezas Imprescindibles. Este es el nombre rimbombante que le dio la Comunidad de Madrid a la prueba de nivel de sexto de Primaria. El pasado 9 de mayo, adelantando el examen un día para evitar una huelga, se administraron las preguntas a 56.000 alumnos. Hace poco se han hecho públicos los datos globales.

Si hacemos caso a lo dicho por la CAM, se ha hecho el milagro. Extraigo parráfos de la noticia, tal y como la daba el 20 Minutos:

El 85 por ciento de los alumnos de sexto curso de Primaria de la Comunidad de Madrid que el pasado 9 de mayo se examinaron de la prueba de nivel realizada por la Consejería de Educación en lengua y matemáticas aprobaron, con una nota media de 7,22, esto es, un 20 por ciento superior a la obtenida el año pasado (6,04).

[...]

En esta ocasión, además, han aumentado el número de aprobados, de un 70 a un 85 por ciento y la nota media también ha subido.

La Consejería de Educación ha conseguido mejorar los resultados. Reduce suspensos, aumenta la nota media. Pero, estos resultados, ¿no podrán explicarse porque este año el examen era más fácil? ¡Qué va!

Aguirre no considera que el progreso se deba "en modo alguno" a que esta vez el examen "fuera más fácil".

Entonces, ¿cómo han conseguido estos logros?

La razón para el notable que obtuvieron de media los más de 56.000 alumnos que se sometieron a la prueba de nivel es que esta vez no fue un examen sorpresa y que los chicos pudieron prepararse.

¿Prepararse para qué? ¿Para hacer un dictado, algunos problemas, algo de cálculo...? ¿Es que hasta este año los alumnos de Primeria no se dedicaban a estas cosas? ¿En qué se cree Esperanza Aguirre que se le iban las horas a los chavales hasta que a su equipo de gobierno se le ocurrió lo de la prueba de nivel?

Ya se lo digo yo. La Presidenta de la Comunidad cree que los niños y niñas perdían el tiempo en el colegio, que era necesario que llegara ella para dejar los objetivos claros. Y es que la LOGSE es muy mala, te hacen estudiar poco y, además, tonterías. Pero un tiempito de Esperanza en la Comunidad y hemos avanzado. Gracias a ella, por ejemplo

se ha abandonado el carácter «localista» de Conocimiento del Medio, para abrirse al conjunto de España, Europa y el mundo.

Desde la Comunidad, pretenden hacernos creer, que la mejora en los resultados se debe a la preparación de los chavales y, también, a que

una nota superior a la del curso anterior, lo que avala, en su opinión la «eficacia» del Plan de Mejora de las Destrezas Indispensables puesto en marcha por la Consejería de Educación.

Tanta gente pensando cómo mejorar la educación y resulta que la respuesta está en la Consejería de la CAM. Obran milagros en un año. Si mantienen el ritmo, la de lumbreras que van a salir de Madrid. Un par de mandatos del PP en Madrid y Yale y Harvard serán sombras al lado de nuestro sexto de Primaria.

Esperanza Aguirre no tiene ninguna intención política con esta prueba. Qué mal pensado hay que ser para que se te pueda pasar esto por la cabeza. El diseño de la prueba y el modo de presentar los datos no son una crítica a la leyes socialistas de educación. ¡Como si ella pudiera utilizar la educación para lanzar dardos!

Esperanza Aguirre, la liberal, no utiliza los resultados de la prueba de nivel para defender una supremacía de las escuelas concertadas o privadas. A fin de cuentas, este año han decidido no presentar los datos por colegio. Si no hay datos, no hay comparativas. ¿O sí que dan datos? Por lo pronto, ya se nos dice que un privado ha sido el centro con más altos resultados. También se deja caer que

entre los diez primeros aparecen 5 colegios públicos, 3 concertados y 2 privados.

Teniendo en cuenta que, en la CAM, el 61% son públicos, el 30% concertados y el 9% privados, el dato podría interpretarse como que los públicos están infrarrepresentados entre los excelentes, mientras que los privados están sobrerrepresentados. Un dato peligroso si no se matiza, añandiendo a la comparativa el diferencia origen sociocultural de los chavales de unos y otros centros.

Hacía tiempo que no veía un 'estudio' sobre educación tan chapucero. Mañana hablaré sobre los motivos por los que lo mejor que se puede hacer con él es tirarlo a la basura y dejar de gastar dinero de los madrileños en disparates así.

(En una entrada anterior ya comenté las limitaciones psicométricas de la prueba y la opción tomada de ocultar los datos por centro).

Evaluación de Primaria en la Comunidad de Madrid

Por segundo año, la Comunidad de Madrid ha evaluado a los alumnos de Sexto de Primaria con una prueba de nivel. Los objetivos de la prueba no están claros. Unos dicen que la recogida de información es importante para poder ajustar el sistema. Otros consideran que el objetivo final es poder ofrecer datos indicando los peores resultados de los centros públicos en comparación con los privados, para así poder seguir con la supuesta política de privatización educativa de la Comunidad. Al mismo tiempo, los críticos señalan la baja calidad del proceso evaluador.

Al menos en lo que respecta al año pasado, el proceso fue francamente mejorable. Primero, no se garantizó la estandarización de las condiciones de evaluación. Por ejemplo, se comentó que en algunos centros los profesores 'soplaban' algunas respuestas para mejorar el rendimiento aparente de tal colegio. Si no todos los chavales son evaluados en las mismas condiciones, los resultados de la prueba no significan lo mismo para todos ellos. Segundo, no se informó en momento alguno de la fiabilidad de la prueba, de tal modo que no sabemos si la prueba medía bien algo. Tercero, no hubo ajuste entre los contenidos de la prueba y el currículo educativo, por lo que parece que la prueba (midiendo bien o mal, no lo sabemos) en todo caso no medía lo que debía. Cuarto, no se contó con el profesorado y se le implicó en el proceso, ni de elaboración ni de informe de los resultados.

Supongamos que se han mejorado las garantías psicométricas este año (o para algún año próximo) y finalmente pudiéramos estar seguro de que hemos medida con precisión lo que queríamos medir: el nivel de cada chaval de Sexto de Primaria. Eso no sería poco avance. El problema siguiente sería la interpretación de los resultados. Y para ello necesitamos la definición explícita d elos objetivos de la evaluación.

¿Queremos presentar una ordenación de centros según la media de los resultados de la prueba? Podemos sin problemas. ¿Nos informa esto acerca de la capacidad educativa de los centros? Desde luego que no. Las situaciones de partida de los alumnos y las condiciones laborales no son idénticas para todos los colegios. En algunos, la proporción de inmigrantes es elevada, con más o menos que no se manejan con fluidez en español; en algunos, la mayor parte de los padres son universitarios; en algunos, el claustro tiene un alto nivel de rotación y está poco cohesionado...

Para poder hablar de la calidad educativa de los centros sería necesario medir todas las covariables que se consideren relevantes (estatus socio-ecónomico o socio-cultural, nivel de conocimientos de los chavales cuando acceden al centro) y ver si los resultados tras la prueba son superiores o inferiores a lo que obtienen otros centros de similares características. El problema es que estas variables adicionales, si bien probablemente de acceso sencillo, no se incluyeron el año pasado.

Por ello, este año la Comunidad, convenientemente presionada, no hará públicos este año los resultados. Siguiendo una dinámica consolidada, en la que con dinero público se generar datos que no se devuelven al público que los ha financiado, nos quedaremos sin esta información, aunque sea incompleta.

Pero otro objetivo es posible para esta evaluación, no únicamente saber si tal centro lo está haciendo bien o mal. Esta información bien podría servir para orientar a los padres y madres sobre el centro en el que quieren escolarizar a sus hijos, dejándoles libertad a ellos para que le den a estos valores la importancia que ellos consideren conveniente y que busquen la información adicional que estimen oportuna. Y aquí es necesario decir con claridad que un ránking de centros en el que éstos se ordenen por 'resultados obtenidos dadas las covariables' no serviría para decidir. La razón: cuando tengo que decidir acerca de qué hacer con mis hijos, el nivel de análisis no puede ser el resultado promedio del centro, sino el resultado en ese centro condicionado a las características de partida de los chavales.

Un centro en el que los chavales de bajo nivel mejorasen mucho, mientras que los de alto nivel se estancaran, quedaría como un centro que mejora los resultados de sus alumnos como promedio. Pero, si yo tengo un hijo de alto nivel de capacidad, me resultará mejor escolarizarlo en un centro que haga que los mejores aprendan lo más posible, aunque en ese centro los de baja capacidad incluso retrocedieran, que en el primer colegio descrito. Pongo un caso extremo para que se vea con claridad.

Hasta donde yo sé, los resultados de ninguna prueba de evaluación de centros incluye resultados condicionados a niveles de habilidad de los chavales. Faltan los mejores datos para tomar decisiones (asumiendo que como padres fuese posible evaluar las condiciones de nuestros hijos que hace que tal o cual centro les pueda ir mejor). ¿De qué datos me fiaría yo como padre? Dos son las alternativas: a) el ránking de centros según datos brutos (media de los resultados sin atender a covariables); b) el ránking según 'mejoras en el rendimiento subtrayendo el efecto de covariables'. Yo preferiría decir según el criterio a. Creo que la mejor educación la recibirá mi hijo estando escolarizado entre gente de una capacidad afín a la suya, porque así él no tendrá necesidad de diversificaciones curriculares (ni por arriba ni por abajo) y tendrá más compañeros de los que aprender. Mejor, claro, disponer de toda la información: a, b... y si los datos están al alcance de todos, alguien capaz ya generará c, d y más.

En todo caso, los que pagamos impuestos: 1) tenemos derecho a acceder a datos que puedan ayudarnos a tomar decisiones y que pagamos; 2) tenemos derecho que estos datos sean de la mayor calidad posible. En ningún caso se puede suplir un conocimiento incompleto por la ausencia de conocomiento.