AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
21
3. Las principales políticas de ev...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
22
Science...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
23
de dar seguimiento al avance y los...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
24
tener p...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
25
de las AEE para que realicen evalu...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
26
En las ...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
27
fi ables y sistemáticos, que pudie...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
28
de logr...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
29
La evaluación abarcó de 1991 a 199...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
30
nalment...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
31
de evaluación basado en estándares...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
32
lecer l...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
33
• Se trata de pruebas de tipo crit...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
34
constru...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
35
no de Evaluación de la Calidad de ...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
36
nos, la...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
37
La próxima aplicación de PISA está...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
38
pero de...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
39
nes específi cas. Con este objetiv...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
40
escolar...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
41
Ambos reportes recogen el exhausti...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
42
• Recur...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
43
directivo de las escuelas. Dichos ...
POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la
Evaluación de la Educación
44
Los Exá...
AVANCES, LOGROS Y DESAFÍOS
Instituto Nacional para la
Evaluación de la Educación
45
En México aún no existen evaluacio...
LaCalidaddelaEducaciónBásicaenMéxico
105
CAPITULO 3
EL APRENDIZA JE DE
LOS ALUMNOS EN
2000 Y 2005
Introducción
3.1 ...
of 26

Politicas de evaluacion

Estas son las principales politicas de evaluacion en mexico
Published on: Mar 4, 2016
Published in: Education      
Source: www.slideshare.net


Transcripts - Politicas de evaluacion

  • 1. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 21 3. Las principales políticas de evaluación de la educación en México Panorama General En la historia del sistema educativo mexicano, las políticas de evaluación tienen un carácter reciente, no mayor a cuatro décadas. La sistematización de los esfuerzos, la mejora de su calidad, y la difusión de los resultados, son rasgos que sólo en la última década se han afi anzado. Tres periodos se distinguen en este desarrollo: 1. El primero abarca las décadas de 1970 y 1980. A principios de 1970 la Secretaría de Educación Pública (SEP) mejoró y sistematizó signifi cativamente la recolección de información censal para la construcción de estadísticas referidas a la educación nacional. Es también en este período cuando, en el ámbito de la SEP, se realizaron las primeras evaluaciones de aprendizajes en educación primaria. 2. El segundo periodo comprende la década de 1990. En esta etapa se implementó un amplio conjunto de instrumentos de evaluación de aprendizajes en primaria y secundaria, con diversos objetivos: desde la acreditación de niveles educativos, y asignación de incentivos a maestros, hasta la evaluación de aprendizajes en senti-do estricto. El proceso de federalización del sistema educativo marcó fuertemente el periodo, lo que incentivó el desarrollo de un Sistema Nacional de Evaluación de la Educación (SNEE) que integrara y coordinara las diversas iniciativas, incluyendo a las Áreas Estatales de Evaluación (AEE)18. Es notoria en esta década la preocupación por mejorar la calidad de los métodos de evaluación, así como por obtener información sobre los contextos culturales y organizacionales donde se desarrollan los aprendizajes. Las iniciativas más des-tacables son: a) la evaluación de los factores de Aprovechamiento Escolar y Pre-paración Profesional del Programa de Carrera Magisterial; b) la expansión y con-solidación del Instrumento para el Diagnóstico de Alumnos de Nuevo Ingreso a Secundaria (IDANIS); c) los exámenes de ingreso a la educación media superior y superior desarrollados por el Centro Nacional de Evaluación para la Educación Superior (Ceneval); d) las evaluaciones de alumnos y escuelas desarrolladas en el marco de los programas educativos compensatorios del Consejo Nacional de Fomento Educativo (Conafe); e) el programa Evaluación de la Educación Primaria (EVEP); y f ) las pruebas de aprendizaje denominadas Estándares Nacionales de Es-pañol y Matemáticas. Asimismo, en esta etapa se aplicaron en México las primeras pruebas de apren-dizajes de carácter internacional: a) En 1995: Third International Mathematics and 18 Denominación que reciben las dependencias evaluadoras del sistema educativo de cada entidad fe-derativa.
  • 2. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 22 Sciences Survey (TIMSS, a cargo de la IEA19); b) En 1997: Laboratorio Latinoameri-cano de Evaluación de la Calidad de la Educación (LLECE, a cargo de la OREALC20 - UNESCO); c) En 2000: Programme for International Student Assessment (PISA, a car-go de la OECD21). Sin duda, esto constituyó el comienzo de una experiencia muy importante para la mejora de las evaluaciones a nivel nacional. 3. El tercer periodo comienza en 2001, a partir de la asunción del actual gobierno. Esta etapa se caracteriza por dos avances de importancia en relación a los perio-dos anteriores. En el terreno político, se confi ere un papel estratégico a la eva-luación de la educación, como elemento imprescindible para la planeación y la rendición de cuentas por parte de la autoridad educativa (SEP 2001: 100). En el ámbito institucional, se da un paso fundamental hacia la reestructuración de las instancias encargadas de la evaluación, a través de la creación del Instituto Nacio-nal para la Evaluación de la Educación (INEE)22. Otras evaluaciones iniciadas en la década de 1990 se han continuado durante este periodo, mejorando progresivamente sus instrumentos y ampliando su cobertura. La SEP, a través de la Dirección General de Planeación y Programación (DGPyP23), releva periódicamente las estadísticas básicas del sistema educativo en su conjun-to. También se han continuado y mejorado los exámenes de Carrera Magisterial que realiza la DGEP, el IDANIS, las evaluaciones de los programas compensatorios del Conafe, y los exámenes aplicados por el Ceneval. Asimismo, se han instrumen-tado nuevas evaluaciones para abarcar otras áreas y programas del sistema, des-tacándose el fomento a la autoevaluación de las escuelas impulsado por la DGEP, la evaluación cualitativa del Programa Escuelas de Calidad (PEC)24, el Instrumento Diagnóstico de Habilidades para la Iniciación a la Lecto-Escritura y a las Matemáti-cas (IDHILEM) en el nivel preescolar. El Sistema de Evaluación de la Política Educativa (SEPE) y El Sistema Nacional de Evaluación Educativa (SNEE) A partir del último período se ha desarrollado progresivamente la idea de consolidar el denominado Sistema de Evaluación de la Política Educativa (SEPE), con el objetivo 19 International Association for the Evaluation of Educational Achievement. 20 Ofi cina Regional de Educación para América Latina y el Caribe. 21 Organization for Economic Cooperation and Development. 22 Dicho Instituto ocupa actualmente un lugar central en el Sistema Nacional de Evaluación, desarrollan-do nuevas pruebas nacionales de aprendizajes en educación básica, y participando en la aplicación las pruebas internacionales. También toma a su cargo el desarrollo de un sistema nacional de indicadores, y la realización de investigaciones a partir de los resultados de las pruebas. Al mismo tiempo, difunde los resultados a través de diversos medios. Esta tarea ha requerido de la colaboración de múltiples ins-tituciones, entre ellas las Áreas Estatales de Evaluación (AEE) y diversas dependencias de la Secretaría de Educación Pública. 23 Anteriormente, Dirección General de Planeación, Programación y Presupuesto (DGPPyP). 24 Este Programa, cuya evaluación se presenta más adelante en este mismo capítulo (ver sección 3.3), constituye una de las principales iniciativas del periodo de gobierno 2001-2006 en materia de educa-ción básica. Tiene como objetivo principal mejorar la calidad de la educación en este nivel a través de la modifi cación de las condiciones materiales y de gestión de las escuelas. La meta ofi cial para fi nes del periodo de gobierno es cubrir 25,000 escuelas con este Programa.
  • 3. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 23 de dar seguimiento al avance y los resultados del Programa Nacional de Educación. La concreción de dicho proyecto está pensada para fortalecer la cultura de la evalua-ción y avanzar en los procesos de rendición de cuentas de las autoridades educativas a la sociedad. La construcción del SEPE es un proyecto de largo plazo, e implica un complejo proceso de coordinación de esfuerzos, construcción de indicadores, y de-sarrollo de criterios de evaluación. Actualmente, el SEPE aún no puede considerarse completamente conformado, dado que es necesario realizar importantes avances en diversas áreas. El marco conceptual del SEPE se funda en la metodología conocida como Gestión Integral de Programas Sociales Orientada a Resultados, promovida por la UNESCO y utilizada en varios países de América Latina en programas de gestión de políticas socia-les. Bajo esta metodología, se entiende como “gestión integral” de un programa social el proceso de planifi cación, ejecución y evaluación de dicho programa, buscando la retroalimentación entre estos momentos. Para ello es necesaria una fuerte articulación y colaboración entre el conjunto de actores involucrados en cada etapa del programa, así como la circulación de información válida y adecuadamente contextualizada. Con base en esta metodología, el SEPE concibe a la evaluación como un proce-so dinámico, que debe abarcar las tres fases de desarrollo de Programa Nacional de Educación: Planeación, Ejecución y Finalización. La evaluación de la Planeación com-prende básicamente la valoración política e institucional del Programa. Por su parte, la etapa de Ejecución implica el monitoreo permanente en el desarrollo de las polí-ticas y el cumplimiento de los compromisos asumidos, como forma de diagnosticar posibles desvíos y tomar medidas correctivas. En último término, la etapa de Finaliza-ción es evaluada a partir de los resultados fi nales del período, así como por estudios específi cos de impacto de políticas y programas. Tal como se establece en el Programa Nacional de Educación 2001-2006, los obje-tivos del SEPE implican –además de la consolidación del Sistema Nacional de Evalua-ción de la Educación (SNEE, el cual se analiza en las páginas siguientes)–, el desarrollo de un sistema nacional de indicadores educativos dinámico, conceptualmente perti-nente y técnicamente riguroso25. A esto deben agregarse otros dos aspectos funda-mentales: por una parte, la evaluación integral de políticas y programas específi cos (lo que supone no evaluar únicamente su impacto, sino todas las fases del proceso: diseño, comunicación e implementación, teniendo en cuenta para ello diversos es-tándares e instrumentos); y por otra, la sistematización de las pruebas de aprendiza-jes, habilidades y conocimientos en todos los niveles del sistema. La información generada en el marco de este sistema debe ser de utilidad tanto para las autoridades educativas nacionales y estatales, los actores de base del siste-ma educativo, como para la sociedad en general. En el primer ámbito, se espera que el SEPE brinde información actualizada y confi able sobre la marcha de las políticas y programas educativos establecidos en el programa, así como sobre el cumplimien-to de los objetivos y sub-objetivos estratégicos (equidad, calidad, reforma de la ges-tión). En el ámbito de los actores de base, se destaca la función que el SEPE podría 25 Las características de este sistema de indicadores, tal como está desarrollado en la actualidad, son desarrolladas en la Sección 3.4.
  • 4. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 24 tener para el intercambio de opiniones en el seno de la comunidad educativa. Final-mente, con respecto a la sociedad en general, la principal función del sistema se en-tiende a partir de la rendición de cuentas. La construcción de un sistema nacional de evaluación de la educación (SNEE) efi - ciente y articulado, ha constituido otro gran desafío de la evaluación educativa na-cional durante la última década. Este proceso puede considerarse aún en un estadio intermedio de concreción. El avance en este sentido requiere de la defi nición y coor-dinación, para cada nivel del sistema educativo, de las atribuciones de los organismos vinculados con la evaluación (federales, estatales, e instancias externas), así como el fortalecimiento de sus capacidades. El panorama global que se presenta a continua-ción representa una propuesta simplifi cada de estructura para el SNEE, la cual debe interpretarse tomando en cuenta el largo camino que aún queda por recorrer. Como puede observarse en el cuadro 3.1 (ver fi nal del apartado), el SNEE debe articular tres ámbitos de evaluación: el que corresponde a la autoridad federal, el de las autoridades estatales, y el de las instancias externas de evaluación. En cada uno de estos órdenes deben establecerse las responsabilidades y funciones respecto de la visión estratégica del sistema (es decir, la defi nición de aspectos a ser evaluados, así como de los indicadores y estándares a utilizar), la evaluación de aprendizajes, y la evaluación de escuelas y maestros26. En la actualidad, tanto la autoridad federal como las instancias externas tienen un papel decisivo en la visión estratégica de las evaluaciones, así como en la concep-tualización de las pruebas, métodos, instrumentos y estándares. Dichos ámbitos son además los que coordinan normativa y operativamente la mayor parte de las eva-luaciones que se detallarán en las próximas páginas. Las autoridades estatales, en su mayor parte, han tenido hasta ahora un papel generalmente pasivo, limitándose a ser aplicadores y recolectores de las pruebas diseñadas en los niveles superiores. Esta afi rmación general no debe ocultar la considerable heterogeneidad existen-te entre la iniciativa de las AEE respecto de la evaluación. Como se ha expresado en los primeros capítulos, las autoridades estatales enfrentan condiciones muy hetero-géneas en la provisión de los servicios educativos. Esto, aunado al hecho de que aún no se ha consolidado una cultura de la evaluación en la forma que sería deseable, lleva a que las autoridades estatales otorguen pesos diferentes a la evaluación en los programas educativos. Por lo tanto, pueden observarse notorias diferencias en la for-ma como los estados se involucran en la evaluación educativa, y en el modo como difunden y utilizan sus resultados. Por lo anterior, si bien aún es necesario realizar avances en la integración de la activi-dad de la autoridad federal y de las instancias externas, sin duda el aspecto susceptible de mayores mejoras es el que concierne a la participación de las Áreas Estatales de Eva-luación (AEE). Debe promoverse que, en el futuro cercano, todos los estados participen activamente en la elaboración de los instrumentos (tanto conceptuales como técnicos) de evaluación, enriqueciendo los criterios utilizados de forma que refl ejen la diversidad de situaciones educativas nacionales. Al mismo tiempo, debe fortalecerse la capacidad 26 Por razones de simplicidad en la presentación no se ha considerado el área de evaluaciones interna-cionales.
  • 5. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 25 de las AEE para que realicen evaluaciones propias, tanto de los programas y políticas educativas de nivel estatal, de las formas de gestión y administración del sistema edu-cativo, como de las pruebas de aprendizaje aplicadas por las instancias externas o la autoridad federal. Esto contribuiría a que los resultados fuesen aprovechados en forma más sistemática para la toma de decisiones y la rendición de cuentas a nivel estatal. Algunas entidades muestran avances signifi cativos en este sentido, pero es necesario que la totalidad de los estados se integren a este proceso. En lo que concierne específi camente al nivel de educación básica, la construcción del SNEE supone la articulación de la actividad de los organismos evaluadores de-pendientes de la autoridad federal (en particular de la nueva Unidad de Planeación y Evaluación de Políticas Educativas, UPyEPE), de las subsecretarías para cada nivel educativo (Subsecretaría de Educación Básica, SEB; Subsecretaría de Educación Me-dia Superior, SEMS), las Áreas Estatales de Evaluación, y el INEE. En el nivel medio superior, se agrega la participación de las Comisiones Estatales para la Planeación de la Educación Media Superior (CEPEMS) para el área de visión es-tratégica, del Ceneval en la evaluación de aprendizajes, y se tiene prevista la creación de un nuevo organismo encargado específi camente de la evaluación de este nivel. En el nivel superior, la actividad de evaluación a nivel de la autoridad federal co-rrespondería a la Subsecretaría de Educación Superior (SES), articulándose con ins-tancias externas como el Ceneval, los CIEES, y el Copaes (ver Sección 3.5). A nivel de las entidades, se integrarían las Comisiones Estatales para la Planeación de la Educa-ción Superior (COEPES) en el área de visión estratégica. CUADRO 3.1: EL SISTEMA NACIONAL DE EVALUACIÓN Niveles Autoridad federal Autoridades estatales Instancias externas Educación Básica Visión estratégica UPyEPE (DGEP) SEB AEEs INEE Evaluación de aprendizajes Evaluación de escuelas y maestros Educación Media Superior Visión estratégica UPyEPE (DGEP) SEMS CEPEMS INEE, nuevo organismo Evaluación de aprendizajes AEEs INEE, Ceneval, nuevo organismo Evaluación de escuelas y maestros UPyEPE (DGEP) SEMS INEE, nuevo organismo Educación Superior Visión estratégica SES COEPES Evaluación de aprendizajes Ceneval Evaluación de escuelas y maestros SES CIEES, Copaes Fuente: Adaptado del Plan Maestro de Desarrollo 2004-2012 del INEE (INEE 2004a, Anexo C).
  • 6. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 26 En las secciones siguientes se exponen en detalle las iniciativas de evaluación más importantes desarrolladas en México, como forma de dar a conocer la magnitud, di-versidad y calidad de los esfuerzos requeridos para la construcción del sistema na-cional de evaluación. 3.1. Evaluaciones de aprendizajes en el ámbito nacional 3.1.1. Primeras experiencias de evaluación: las décadas de 1970 y 1980 En esta etapa se implementan las primeras iniciativas de evaluación del sistema educativo. Debido a este carácter inicial, así como al estado del conocimiento so-bre evaluación, las pruebas de aprendizaje de este periodo no poseían la calidad que caracteriza a las actuales. No se disponía, por ejemplo, de técnicas psicométricas y estadísticas que garantizaran la comparabilidad de los resultados y la estabilidad de las escalas (SEP 2002a: 388). Por otra parte, consideraciones de orden político se oponían a la difusión de resultados, y difi cultaban su incorporación como insumo sistemático para el diseño de políticas. No existía, en este sentido, una cultura de la evaluación desarrollada. A pesar de estas difi cultades, los esfuerzos realizados deno-tan la inquietud creciente de las autoridades por conocer el estado de la educación como forma de mejorar las decisiones de política. Destaca particularmente en este periodo, el esfuerzo realizado por la SEP para mejorar la información censal sobre el sistema educativo, con el objeto de desarrollar estadísticas confi ables y comparables a través del tiempo. Gracias a estos esfuerzos es posible contar hoy con series extensas que permiten conocer tanto la evolución de aspectos básicos (matrícula, cobertura) como algunos procesos escolares relevan-tes para la calidad (efi ciencia terminal, deserción, rezago). Las primeras evaluaciones de aprendizajes que tuvieron lugar en esa época esta-ban más orientadas a la selección para el ingreso a niveles educativos superiores que a la evaluación en sentido estricto. En 1972 se aplican las primeras pruebas en gran escala, como insumo de decisión sobre el ingreso de alumnos a la educación secun-daria. En el año 1974 se crea la Subdirección de Evaluación y Acreditación27, dentro de la Secretaría de Educación Pública (SEP), y se continúan aplicando pruebas de se-lección. La primera evaluación de aprendizajes, en sentido estricto, se realiza duran-te el sexenio 1976-1982 a través de un proyecto denominado “Evaluación del rendi-miento académico de los alumnos de 4º y 5º grado de educación primaria”, basado en muestras de alumnos con representatividad nacional. 3.1.2. Evaluaciones de aprendizajes desarrolladas en la década de 1990 La década de1990 representó un avance signifi cativo respecto del período anterior. La federalización del sistema educativo coincidió con un aumento en la preocupa-ción de las autoridades educativas por desarrollar instrumentos de evaluación con- 27 Esta Subdirección sería transformada, en 1984, en la Dirección General de Evaluación (DGE), y en 2005 se denominó Dirección General de Evaluación de Políticas (DGEP).
  • 7. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 27 fi ables y sistemáticos, que pudieran ser utilizados para diseñar políticas educativas efi caces. La Ley General de Educación de 1993 establece explícitamente que la eva-luación general del sistema corresponde a la SEP; que esta evaluación deberá ser sis-temática y permanente; que deberá contribuir a la toma de decisiones por parte de las autoridades educativas; y que deberá ser difundida entre los diferentes actores del sistema, las familias y la sociedad en general (artículos 29, 30 y 31). En este contexto, la DGEP se convierte en un actor central (Fernández y Mida-glia 2003), encargándose del diseño y la coordinación de múltiples evaluaciones. Sus funciones generales, a cumplir de manera coordinada con las instancias correspon-dientes, son: • Evaluar de manera sistemática y permanente el desarrollo del sistema educativo, el cumplimiento de sus objetivos, programas y proyectos, así como su impacto, de acuerdo con lo establecido por el Programa Nacional de Educación. • Evaluar la asignación de recursos públicos por parte de la Secretaría de Educación Pública, proponiendo medidas correctivas cuando fuera necesario. • Participar en el desarrollo y coordinación de la política nacional de evaluación educativa, del sistema nacional de evaluación educativa, y de la participación de México en las evaluaciones internacionales. • Participar en el desarrollo de criterios y parámetros de evaluación. • Proponer lineamientos generales de evaluación a las autoridades locales. • Proponer, a partir de la evaluación, prioridades, políticas y programas de carácter estratégico. Durante la década de 1990, la DGEP continuó con la aplicación del Instrumento para el Diagnóstico de Alumnos de Nuevo Ingreso a Secundaria (IDANIS), iniciado sistemáticamente en 1989. A partir de 1994, desarrolló la evaluación del Aprovecha-miento Escolar en el marco del Programa de Carrera Magisterial y la evaluación del Programa para Abatir el Rezago Educativo (PARE); desde 1996, el programa Evalua-ción de la Educación Primaria (EVEP); a partir de 1998, las pruebas de Estándares Na-cionales. Algunas de estas pruebas continúan aplicándose en la actualidad, mientras que otras han sido sustituidas o sustancialmente modifi cadas. Instrumento para el Diagnóstico de Alumnos de Nuevo Ingreso a Secundaria (IDANIS) El IDANIS se aplica sistemáticamente desde 1989 a los alumnos de 6º año de edu-cación primaria con el objetivo de tener un conocimiento individualizado de las ha-bilidades básicas en las áreas verbal, matemática, y de razonamiento, a fi n de dis-tribuirlos en las escuelas secundarias. Inicialmente, se aplicó selectivamente en dos entidades, y en 1991 se expandió a 16, con carácter censal. Actualmente la prueba se aplica en veinte de las 32 entidades del país28. Los resultados de las pruebas aportan información sobre las habilidades de cada alumno, que se ubican en cuatro niveles de logro. Estos resultados también se agru-pan por escuela, pero no permiten realizar comparaciones rigurosas entre sus niveles 28 En la tabla 10 del Anexo I pueden consultarse otras características relevantes de esta prueba.
  • 8. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 28 de logro, debido a que, con excepción del Distrito Federal, las pruebas no se acompa-ñan de cuestionarios de contexto. Dichos cuestionarios sí fueron aplicados durante los primeros años de desarrollo de la prueba en todas las entidades participantes, lo que permitió la realización y publicación, a nivel internacional, de los primeros aná-lisis multivariados de base censal orientados a conocer el impacto de los factores de contexto sobre la calidad de la educación en México (Palafox, Prawda y Vélez 1992). Evaluación del Factor de Aprovechamiento Escolar (Carrera Magisterial) El programa de Carrera Magisterial se inicia en 1992. Su objetivo principal es esta-blecer una estructura de incentivos económicos y escalafonarios a los maestros y directores, de acuerdo a su desempeño y al de sus alumnos. Se evalúan dos factores básicos: la preparación profesional del docente, y el aprovechamiento (aprendizaje de los alumnos). Actualmente a través de este último se evalúa a cerca de 7,000, 000 de alumnos de Educación Básica. Esto no constituye, sin embargo, una muestra repre-sentativa de la realidad nacional, debido a que el programa es de naturaleza volunta-ria: los docentes eligen si desean inscribirse. La DGEP tiene la responsabilidad principal en la evaluación. Su amplitud ha re-querido del establecimiento de estructuras orgánicas donde se involucra tanto al personal centralizado como a las autoridades educativas estatales (Velázquez 2000: 663). Las pruebas utilizadas son del tipo “basadas en normas”29, lo que ocasiona que no pueda conocerse en sentido estricto lo que los alumnos han aprendido con respecto a los Programas ofi ciales. A esto debe agregarse que no se recoge información sobre el contexto sociocultural del alumno, lo que no permite hacer estimaciones del valor agregado de las prácticas docentes. Todos estos rasgos derivan en que estas pruebas no puedan ser consideradas como evaluaciones de la calidad de los aprendizajes en sentido estricto. Con excepción de reportes básicamente descriptivos, no se conocen análisis evaluativos de esta información. La evaluación del Programa para Abatir el Rezago Educativo (PARE) y el Programa Evaluación de la Educación Primaria (EVEP) El PARE fue un programa compensatorio a cargo del Consejo Nacional de Fomento Educativo (Conafe), iniciado en el ciclo escolar 1991-1992, orientado a mejorar la ca-lidad de las escuelas en los cuatro estados con mayor nivel de marginación. Uno de los componentes del programa fue la evaluación de los aprendizajes y de los proce-sos de aula. Se pretendía contar con elementos que permitieran conocer los impac-tos del programa sobre los aprendizajes, así como mejorar la calidad de los procedi-mientos de evaluación que utilizan los docentes, y propiciar la autoevaluación de las escuelas (Velázquez 2000: 655). 29 El diseño de estas pruebas supone que tanto los reactivos más sencillos como los más difíciles sean eliminados. Asimismo, los resultados individuales se reportan por referencia a la media poblacional.
  • 9. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 29 La evaluación abarcó de 1991 a 1995, considerándose niveles de aprendizaje y ha-bilidades de los alumnos, características socioeconómicas y antecedentes escolares, así como las condiciones de la oferta educativa (diversas características de los maes-tros y directores). A partir de estas evaluaciones la SEP presentó informes descripti-vos, de gran exhaustividad, desde el año 199230. A partir de esta experiencia, se diseñó el Programa para Abatir el Rezago en la Educación Básica (PAREB), en cuyo marco se desarrolló el Programa Evaluación de la Educación Primaria (EVEP). Su objetivo era obtener información que permitiera generar series históricas sobre el nivel de aprendizajes no solamente en los estados que eran objeto de políticas compensatorias, sino también en el resto de las escuelas del país. Desde el primer levantamiento del EVEP, en 1996, se aplicaron pruebas de apren-dizaje de Español y Matemáticas a alumnos de 3º y 6º grado, junto con cuestionarios de contexto a padres, docentes y directores. En los años siguientes se ampliaron las áreas de conocimiento evaluadas, totalizando cinco levantamientos en una muestra panel de escuelas hasta el año 2000, y se publicaron los resultados en la página Web de la SEP, desagregados de diversas formas. No se conocen análisis más complejos de la información a nivel cuantitativo. La importancia del EVEP radica en que constituye el primer intento de realizar una evaluación de aprendizajes exhaustiva, del tipo de las que estaban difundiéndose en la década de 1990 en América Latina. Constituye un valioso antecedente para la evaluación de aprendizajes que actualmente desarrolla el INEE. Por otra parte, el de-sarrollo de este programa contribuyó a fortalecer a las Áreas Estatales de Evaluación (AAE), dado que se capacitó al personal técnico de las entidades mediante diversos diplomados, seminarios, cursos y talleres. Olimpíadas del Conocimiento Infantil El objetivo principal de este instrumento, creado en 1993, es estimular el esfuerzo de los estudiantes a través de un sistema de incentivos y becas. La prueba está destina-da a alumnos de 6º grado de primaria, así como de tercer nivel de Cursos Comunita-rios, Escuelas Indígenas y Escuelas Particulares. Diversas instituciones son responsa-bles de la implementación de esta prueba, incluyendo a las autoridades educativas estatales, lo que supone una importante coordinación de esfuerzos. Se cubren seis áreas de conocimiento en las pruebas, vinculadas al currículo vi-gente: Español, Matemáticas, Geografía, Historia, Ciencias Naturales y Educación Cí-vica. Cada una de estas áreas es evaluada a través de un conjunto de reactivos de opción múltiple. No obstante, las Olimpíadas no constituyen un instrumento de eva-luación de aprendizajes en sentido estricto, debido a que se selecciona para su apli-cación a los alumnos que obtienen resultados más destacados en cada entidad (fi - 30 Existen, además, investigaciones cualitativas que enriquecieron signifi cativamente el conocimiento de la situación de las escuelas rurales y de la educación indígena, así como de los desafíos para su me-jora (Ezpeleta y Weiss 1996, 2000).
  • 10. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 30 nalmente participan entre diez y treinta alumnos por entidad). De esta forma, en el ciclo 2003-2004, participaron más de 3,200 alumnos en todo el país. Exámenes del Centro Nacional de Evaluación para la Educación Superior (Ceneval) En educación media y media superior destacan, por la amplitud de su cobertura y la calidad de sus instrumentos, los exámenes que aplica el Ceneval. Dicho centro es una Asociación Civil constituida en 1994, con el objetivo de aplicar exámenes de ingreso a educación media superior y superior, a solicitud de las instituciones interesadas. Los resultados de estos exámenes son utilizados por múltiples instituciones para la admisión de alumnos a los cursos de educación media superior y superior. Interesa destacar aquí los Exámenes Nacionales de Ingreso denominados EXANI-I y EXANI-II31. El EXANI-I se aplica anualmente desde 1994 a los alumnos que desean ingresar a la educación media superior. Las pruebas evalúan la habilidad verbal y matemática, conocimientos disciplinarios, e información sociocultural de los estudiantes. Actual-mente el número anual de sustentantes es de aproximadamente 600,000. El EXANI-II también se aplica desde 1994, y evalúa las habilidades de quienes de-sean ingresar a la educación superior (más de 250,000 sustentantes anualmente). En la defi nición del contenido de las pruebas ha participado un gran número de insti-tuciones de educación superior, debido a la necesidad de consensar mecanismos de evaluación acordes a sus múltiples necesidades. Las pruebas están divididas en di-versos módulos, algunos comunes, y otros optativos según las demandas de las ins-tituciones interesadas. Es importante destacar que el Ceneval no toma decisiones sobre ingreso y asigna-ción de estudiantes a las instituciones educativas, sino que provee la información ne-cesaria para que las propias instituciones conozcan las características de su demanda y tomen las decisiones sobre admisión de estudiantes. Estándares Nacionales de Español y Matemáticas Las pruebas de Estándares Nacionales (EN) representaron una innovación dado que se orientaron a conocer el grado en que los alumnos alcanzaban los estándares mí-nimos propuestos en los programas ofi ciales. La DGEP tuvo a cargo la elaboración de las pruebas y el diseño de los mecanismos de evaluación entre los años 1998 y 2003. A partir de ese año, su aplicación se trasladó al Instituto Nacional para la Evaluación de la Educación (INEE). Su diseño buscó elevar la validez y confi abilidad de los instrumentos, para lo cual la SEP convocó a diversos especialistas y funcionarios. No obstante, las pruebas pre-sentaron diversas fallas debido a factores técnicos, administrativos, al gran volumen de las aplicaciones, y al propio carácter novedoso de la iniciativa. La mejora en la con-ceptuación y observación de los aprendizajes se refl eja en la adopción de un modelo 31 En la tabla 11 del Anexo I se encuentra un resumen de las características de ambas pruebas.
  • 11. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 31 de evaluación basado en estándares, así como en la estimación de los resultados me-diante el método Rasch. Sin embargo, la defi nición de dominios y estándares no está sufi cientemente fundada en el currículo nacional; también se han detectado fallas técnicas en las escalas de resultados (INEE 2003a: 45). Se aplicaron cuestionarios de contexto para los alumnos, así como cuestionarios para revelar las características de los docentes, directores y escuelas. No obstante, hasta el año 2003 no se disponía de un marco conceptual defi nido para su diseño. En parte debido a esto, se aplicaron cuestionarios diferentes en cada ciclo, lo cual di-fi cultó el uso de los datos para contextualizar los resultados, así como para realizar comparaciones entre ciclos escolares. Durante los primeros años de la aplicación predominó una lógica que llevaba a re-coger información para seis grados escolares cada año, lo cual es poco efi ciente dado que la información necesaria para construir buenos diagnósticos puede recogerse a partir de diseños menos costosos, espaciando la evaluación de los grados en el tiem-po. La misma aplicación de las pruebas presentaba debilidades: no se realizaban pi-lotajes, y los levantamientos de datos no se realizaron en los mismos momentos del período escolar en todos los años. Estos factores ocasionaron que no se realizaran estudios intensivos de la información (INEE 2003a: 46). 3.1.3. La evaluación a partir del año 2000 La mayor parte de las evaluaciones implementadas durante la década de 1990 se han continuado y ampliado durante los últimos años, afi anzándose como elemen-tos permanentes en la construcción de un sistema nacional de evaluación. En forma progresiva, se han mejorado los instrumentos utilizados para evaluar aprendizajes, y se observa un incremento en la calidad de la participación de algunas entidades, así como en la difusión de sus resultados. Diversos esfuerzos se han realizado durante los últimos años para avanzar en la con-solidación del sistema nacional de evaluación. De entre estos cabe destacar particular-mente la creación del Instituto Nacional para la Evaluación de la Educación (INEE), el cual ocupa actualmente un lugar central en la evaluación educativa nacional. El Instituto Nacional para la Evaluación de la Educación (INEE) El INEE se crea en el mes de agosto de 2002 por decreto presidencial32. El decreto de creación establece que al Instituto le corresponde evaluar la educación básica y media superior, a través de las siguientes actividades: el desarrollo de un sistema de indicadores que permita evaluar la calidad del Sistema Educativo Nacional; apoyar la realización de evaluaciones nacionales de aprendizaje; desarrollar modelos de eva-luación de escuelas; apoyar la evaluación educativa en las entidades federativas; di-señar instrumentos y sistemas de evaluación adecuados a cada nivel, apoyando en su aplicación y análisis, así como supervisando su implementación; impulsar y forta- 32 Los artículos 1 a 5 de este Decreto pueden consultarse en el Anexo II, Fragmento 6.
  • 12. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 32 lecer la cultura de la evaluación, difundir resultados y capacitar en materia de evalua-ción; realizar investigaciones en la materia, y coordinar la participación de México en los proyectos de evaluación internacionales. El INEE cuenta con condiciones institucionales de trabajo que favorecen la cali-dad de las evaluaciones. Uno de sus principios defi nitorios es la autonomía técnica respecto de las autoridades educativas (INEE 2004a), que garantiza la imparcialidad de los juicios sobre el sistema educativo. De esta manera, el INEE es reconocido como una autoridad confi able y rigurosa en materia de evaluación. Un elemento decisivo de esta autonomía está dado por la composición de su Consejo Técnico, integrado por reconocidos académicos y especialistas en materia de educación, tanto mexica-nos como extranjeros. El segundo principio defi nitorio del INEE es la cercanía, esto es, una relación estre-cha tanto con las autoridades educativas nacionales y estatales, como con la socie-dad en general y las familias de los alumnos en particular. A través de este principio se busca acercar los resultados de las evaluaciones a los actores mencionados, con el fi n de contribuir al desarrollo de políticas educativas efi caces, y fomentar la parti-cipación social. En tercer lugar, el INEE representa un cambio importante en la política de difusión y uso de los resultados, aspecto en el cual se busca explícitamente la mayor transpa-rencia posible, y al que se dirigen múltiples actividades de difusión (ver capítulo 4). Las pruebas de aprendizaje desarrolladas por el INEE Actualmente, el INEE evalúa al sistema educativo en diez grandes áreas, las cuales in-tegran el denominado Sistema Nacional de Indicadores (ver Sección 3.4). Entre estas áreas destacan por su relevancia los resultados educativos de los alumnos de nivel básico, en las asignaturas de Español, Matemáticas, Ciencias Naturales y Ciencias So-ciales. En este apartado se presentan las características de las pruebas de aprendiza-jes desarrolladas por el INEE para generar dicha información, y de los cuestionarios de contexto que acompañan tales pruebas. A partir de 2003, el INEE está a cargo de las pruebas nacionales de aprendizaje, ba-sadas en muestras con representatividad nacional y estatal, en los niveles primario y secundario de la educación básica. Desde entonces se ha buscado mejorar la calidad de los instrumentos, desarrollándose en 2005 una nueva generación de pruebas de-nominadas Exámenes de la Calidad y el Logro Educativos (Excale), cuyas característi-cas se enumeran a continuación33. 33 La tabla 10 del Anexo I resume los rasgos distintivos de estas pruebas, desarrolladas en sustitución de Estándares Nacionales. Constituyen una experiencia inédita en México debido al carácter colegiado, la ex-haustividad, y la calidad de sus procesos de planeación y construcción. Se han recogido experiencias de reconocida calidad en el ámbito nacional e internacional, y se ha contado con el asesoramiento de nume-rosos especialistas, académicos, y actores del sistema educativo. Cada etapa del diseño, construcción, apli-cación, análisis y validación de las pruebas Excale está cuidadosamente especifi cada en manuales técnicos y marcos de referencia (de acceso público en la página Web del INEE www.inee.edu.mx o www.inee.com. mx). Información más detallada sobre el proceso de elaboración puede consultarse en el documento Plan General de Evaluación de Aprendizaje. Proyectos Nacionales e Internacionales (INEE 2005).
  • 13. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 33 • Se trata de pruebas de tipo criterial. A diferencia de las pruebas de tipo norma-tivo (donde los resultados individuales se interpretan por referencia a las pun-tuaciones obtenidas por otros individuos), éstas se interpretan de acuerdo con el grado en que los sujetos evaluados dominan un conjunto específi co de con-tenidos. • Las pruebas están alineadas al currículo nacional. Dado que México cuenta con programas unifi cados, libros de texto gratuitos y una formación docente homogé-nea, es posible elaborar reactivos de aplicación nacional, los cuales se evalúan de acuerdo con los estándares fi jados por estos mismos programas. Esto ha supuesto la realización de un gran esfuerzo de identifi cación y precisión de contenidos, en el que han participado numerosos especialistas. • Los reactivos se aplican siguiendo un diseño matricial. Esto implica, en términos simplifi cados, que para evaluar un dominio curricular no es necesario que todos los alumnos respondan la totalidad de los reactivos, sino que éstos pueden mues-trearse entre el conjunto de individuos. Esta técnica permite que cada alumno res-ponda un número menor de reactivos (perdiéndose precisión a nivel individual), pero que en la totalidad de la muestra se cubra un espectro muy amplio de conte-nidos (garantizando su validez a nivel agregado). • Se ha diseñado un plan de aplicación que comprende la evaluación de cinco gra-dos del sistema educativo, desde el nivel preescolar hasta la educación media superior, a través de pruebas específi cas. Debido a que los resultados tienden a mostrar escasa variación de un año a otro, no se considera necesario evaluar en cada oportunidad a todos los grados, sino que se ha diseñado un programa cíclico hasta el año 2016 en el cual los grados evaluados se alternan34. • En cada nivel, las pruebas abarcan diferentes dominios curriculares y cogniti-vos. Los dominios curriculares son considerablemente más amplios en estas prue-bas que en la generación anterior, ya que a la evaluación de matemáticas y com-prensión lectora agregan –además de una sección de redacción de español– dos nuevos dominios temáticos: Ciencias Naturales y Ciencias Sociales35. Estas prue-bas también evalúan las destrezas cognitivas o habilidades de los alumnos en los dominios curriculares relevantes (capacidad de interpretación y recuperación de información; capacidad de razonamiento y resolución de problemas; elaboración de explicaciones, etcétera). • Los reactivos utilizados son fundamentalmente de opción múltiple. Sin embargo, debido a que estos presentan limitaciones cuando se pretende evaluar conteni-dos complejos o habilidades, se han incluido reactivos de respuesta construida36 en una sub-muestra nacional (como es el caso de la sección de redacción en la prueba de español). En este punto importa destacar la complejidad conceptual de las pruebas, que incluyen en cada área reactivos de diferentes niveles de difi - cultad, y orientados a diferentes aspectos del aprendizaje. El complejo proceso de 34 La tabla 13 del Anexo I presenta el ciclo de evaluaciones previsto por el INEE hasta 2016. 35 La tabla 14 del Anexo I ofrece una síntesis de los dominios evaluados en cada grado. 36 En este tipo de reactivos, a diferencia de los de opción múltiple, los sujetos evaluados deben elaborar y escribir la respuesta.
  • 14. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 34 construcción, validación y piloteo de estos reactivos puede ser consultado en los Manuales Técnicos disponibles en la página Web del INEE. • Las muestras de alumnos y escuelas han sido cuidadosamente diseñadas para garantizar la representatividad de los resultados a nivel nacional y de cada una de las 32 entidades. En 2005 se evaluaron aproximadamente 50,000 alumnos en cada nivel, 2,800 escuelas de nivel primario (6º año), y otros tantos en 2,400 escuelas de nivel secundario (3er año). • Finalmente, los resultados de las pruebas se presentan mediante escalas cons-truidas a través de procedimientos estadísticos basados en la Teoría de Respuesta al Item. Los resultados de alumnos, escuelas, entidades y modalidades pueden compararse dentro de cada escala. No obstante, la forma de construcción de cada escala hace que éstas no sean comparables entre sí (es decir, no pueden compa-rarse los resultados en Matemáticas y Español). Estas escalas son divididas en ni-veles de logro, a través de los cuales es posible interpretar los resultados en for-ma conceptualmente signifi cativa. Simultáneamente con las pruebas de aprendizaje se aplica un conjunto de cues-tionarios denominados “de contexto”, cuya información es fundamental para conocer los procesos implicados en la calidad de los resultados educativos. Dichos cuestiona-rios son el producto de un proceso de elaboración riguroso conceptual y metodoló-gicamente, en el que participan numerosos especialistas tanto internos como exter-nos al INEE. Concretamente, se aplican los siguientes instrumentos: • Un cuestionario de alumnos, orientado principalmente a obtener información so-bre su contexto familiar y sociocultural, así como aspectos psicológicos y pedagó-gicos que afectan su rendimiento académico, tales como: trayectorias escolares; ex-pectativas, preferencias y estrategias de aprendizaje; apoyo académico en la familia; uso de recursos informáticos; clima de aula; y percepciones acerca del maestro. • Un cuestionario de maestros (aproximadamente 26,000 y 14,000 en primaria y se-cundaria respectivamente), que además de sus características socioeconómicas registra información sobre años de experiencia docente, capacitación y actualiza-ción, clima escolar, y currículum implementado. • Un cuestionario de directores, donde a la información anterior se agrega informa-ción sobre la infraestructura y los recursos de la escuela, así como características de la gestión escolar. Desde 2003, el INEE reporta anualmente los resultados de sus pruebas, a través de la publicación La Calidad de la Educación Básica en México. Los resultados incluyen, además de los nacionales globales: comparaciones entre modalidades educativas; comparaciones entre entidades; comparaciones por género; modelos de asociación lineal entre los resultados obtenidos y las características socioeconómicas de las en-tidades federativas (INEE 2004b, Capítulo 2). 3.2. Evaluaciones internacionales de aprendizajes Desde 1995 en México se han implementado tres evaluaciones internacionales de calidad de la educación. Siguiendo un orden cronológico, estas evaluaciones han sido: Trends in Mathematics and Science Study (TIMSS); Laboratorio Latinoamerica-
  • 15. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 35 no de Evaluación de la Calidad de la Educación (LLECE); y Programme for International Student Assessment (PISA). Dichos estudios no solamente son importantes porque aportan datos para ubicar la calidad de la educación mexicana en el contexto inter-nacional, sino también porque su desarrollo, aplicación y análisis representan una oportunidad inmejorable para desarrollar conocimientos que permitan mejorar los sistemas nacionales de evaluación. En este sentido, cada uno de ellos ha aportado lecciones diferentes. Trends in Mathematics and Science Study (TIMSS) El TIMSS es un proyecto patrocinado por la International Association for the Evalua-tion of Educational Achievement (IEA). Ha sido aplicado hasta ahora en tres ocasiones (1995, 1999 y 2003), en más de 40 países, con el objetivo de evaluar los conocimien-tos curriculares en Matemáticas y Ciencias. Conjuntamente con las pruebas, el TIMSS aplica cuestionarios para revelar el contexto sociocultural de los estudiantes y sus actitudes frente al aprendizaje, así como las características de las escuelas y el tipo de enseñanza que reciben (esto último mediante cuestionarios dirigidos al director y a los maestros de las escuelas). En el año 1995 México participó en la primera aplicación del TIMSS; fueron eva-luadas muestras representativas a nivel nacional de alumnos de nueve y 13 años de edad (más de 20,000 y 24,000, respectivamente). Su aplicación en México estuvo a cargo de la Secretaría de Educación Pública. Antes de la publicación de los resultados, el gobierno mexicano retiró su partici-pación del estudio y decidió no publicar la información obtenida. En el año 2000, la SEP, a través de la Dirección General de Evaluación (DGEP), decidió replicar las prue-bas. No obstante, los resultados de este levantamiento tampoco fueron publicados ni analizados. Hasta hoy, el único análisis de estos resultados fue realizado por el INEE en el año 2003. Sin embargo, las bases de datos presentan carencias de información que limi-tan su aprovechamiento. Los análisis realizados por el INEE (Backhoff y Solano 2003) son básicamente de tipo comparativo, aunque también se analizan correlaciones en-tre los indicadores socioculturales de las entidades y los niveles de logro alcanzados en cada una. Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) Este estudio está patrocinado y diseñado por la Ofi cina Regional de Educación para América Latina y el Caribe (OREALC), perteneciente a la UNESCO. Fue realizado en 1997, y participaron 13 países de la región. Esto convierte al LLECE en una experien-cia particularmente interesante dado que se trata de un proyecto de carácter regio-nal, que implicó el trabajo colegiado de numerosos actores, y el desarrollo autónomo de un proceso por demás complejo. El estudio evaluó los aprendizajes de muestras nacionales de alumnos de 3º y 4º grado de primaria. Además de evaluarse las competencias curriculares en Matemáti-cas y Lengua, se aplicaron extensos cuestionarios referidos al contexto de los alum-
  • 16. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 36 nos, la gestión escolar y las prácticas pedagógicas de los maestros. La OREALC publi-có tres informes de resultados en 1998, 2000 y 2001, que permitieron contar con un panorama general sobre la calidad de la educación en la región, y presentaron intere-santes hallazgos respecto de los factores escolares asociados a los aprendizajes. A pesar de una serie de difi cultades experimentadas (ver Capítulo 5, Sección 5.1.2), el LLECE ha representado una experiencia enriquecedora tanto a nivel regional como para el caso mexicano. Ha sido posible extraer valiosas lecciones para mejorar los es-fuerzos de evaluación en América Latina. La próxima aplicación del LLECE se realizará en 2006, instancia en la que México ha decidido participar, involucrándose activa-mente desde las etapas de planeación inicial. Programme for International Student Assessment (PISA) El PISA es un programa especial desarrollado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE) en el que han participado 49 países. Su objetivo general es evaluar las “habilidades para la vida” (OCDE 2004: 20) de los estudiantes de 15 años inscritos en la educación media. Se enfatiza la necesidad de apoyar con estos resultados las políticas educativas de cada país participante, lo que supone la partici-pación de expertos nacionales en el diseño y adaptación de las pruebas. También se implementan actividades de capacitación de los equipos nacionales encargados de la aplicación y codifi cación de los resultados. En tanto miembro de la OCDE, México participó en las dos rondas del PISA de los años 2000 y 2003. En ambos levantamien-tos se evaluaron las áreas de Lenguaje, Matemáticas y Ciencias37. Los instrumentos aplicados, fundamentados en un sólido marco conceptual acor-dado por los gobiernos de los países participantes, tienen como objetivo la evalua-ción de “la capacidad de los estudiantes de aplicar conocimiento y habilidades, y de analizar, razonar y comunicarse efectivamente a medida que plantean, resuelven e interpretan problemas en una variedad de situaciones” (OCDE 2004: 23, traducción de los autores). Por este motivo, también se evalúan habilidades generales (familia-ridad con computadoras, estrategias de manejo de los propios aprendizajes, y reso-lución de problemas). Se aplican además cuestionarios de contexto a los alumnos, que incluyen infor-mación sobre su interés en las áreas de conocimiento enfatizadas, la autopercepción de sus competencias, y sus estrategias de aprendizaje. Los directores de las escuelas contestan, asimismo, un cuestionario donde se revelan las características generales e instruccionales de la escuela, así como aspectos relacionados con la estructura de autoridad y las relaciones entre los miembros. La gran cantidad de información obtenida habilita un potencial muy amplio de análisis, desde descripciones y comparaciones simples, hasta regresiones jerárqui-cas para detectar qué factores inciden en los niveles de aprendizaje. No obstante, los análisis realizados hasta el momento en México han sido básicamente de tipo des-criptivo y comparativo. 37 En la tabla 12 del Anexo I pueden consultarse otras características específi cas de las aplicaciones de todas las pruebas internacionales en México.
  • 17. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 37 La próxima aplicación de PISA está prevista para el año 2006; en esa oportunidad México tendrá una participación más activa que en las anteriores aplicaciones (ver cuadro 5.1 en la Sección 5). Sería deseable que a ese incremento en la participación correspondiera un análisis más elaborado de los datos. 3.3. Evaluaciones de escuelas y maestros La calidad de la educación implica algo más que evaluar sus resultados; también es necesario conocer la calidad de las condiciones y los procesos en que se desarrollan los aprendizajes. Una buena evaluación del sistema educativo requiere, además de observar el aprendizaje de los alumnos, conocer a las escuelas, sus recursos, sus con-diciones de operación y sus procesos organizacionales. También es necesario un co-nocimiento detallado sobre los maestros y directores, sus condiciones de trabajo y su capacidad pedagógica. En México la evaluación de escuelas y maestros no tiene aún el grado de desarro-llo de las evaluaciones de la calidad de los aprendizajes. Existen, sin embargo, iniciati-vas que aportan un considerable caudal de información, no obstante lo cual todavía debe avanzarse en el desarrollo de instrumentos e indicadores de evaluación más elaborados. Evaluación del Factor de Preparación Profesional (Carrera Magisterial) Este factor, instrumentado desde 1994, constituye la primera experiencia sistemática de evaluación de maestros. Actualmente, más de 700,000 docentes participan cada año en todo el territorio. No obstante, debe recordarse que el Programa tiene como objetivo principal la distribución de incentivos entre los docentes, no la realización de un diagnóstico sobre el sistema educativo. Al igual que en el Factor de Aprove-chamiento escolar, los resultados no pueden considerarse representativos debido a la naturaleza voluntaria del programa. La evaluación se basa en la aplicación de exámenes sobre conocimientos y prepa-ración profesional de tres tipos de agentes: a) docentes que tienen grupo a cargo; b) directores de centros educativos; y c) personal docente de apoyo técnico-pedagógico. Cada una de estas vertientes, además, es evaluada mediante exámenes distintos se-gún las modalidades de educación comprendidas. En términos generales, las pruebas incluyen el conocimiento de contenidos curriculares, normatividad del sistema educa-tivo, así como propósitos y sugerencias didácticas contenidas en los Programas Ofi cia-les. En el caso de los directores se agrega una dimensión referida a la gestión escolar. Dado que se trata de pruebas que tienen un impacto directo en la situación pro-fesional de los docentes, los reactivos incluidos no sólo deben ser aprobados por la autoridad educativa, sino también por el Sindicato Nacional de Trabajadores de la Educación (SNTE). La publicación y análisis de los resultados está a cargo de la DGEP. Los resultados individuales se reportan de acuerdo a un índice estandarizado a partir de promedios nacionales, lo que obviamente impide la comparabilidad de los resultados en dife-rentes años. Los reportes incluyen distintos tipos de agregaciones y ordenamientos,
  • 18. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 38 pero debido a las características antedichas no pueden considerarse evaluaciones de la calidad docente en sentido estricto. Instrumento de Diagnóstico y Clasifi cación para el Ingreso a Educación Normal (IDCIEN) En el año de 1984, los estudios de educación normal se elevaron a categoría de li-cenciatura. Ese mismo año, la SEP decidió aplicar, por intermedio de la DGEP (en ese entonces con otro nombre), un examen de ingreso en las escuelas normales soste-nidas por el gobierno federal, que servía como instrumento de selección de aspiran-tes. La caída de la demanda de ingreso a las escuelas normales experimentada desde 1987 implicó que el examen fuera resignifi cado para convertirse en un instrumento de diagnóstico. En 1989, como consecuencia, la prueba pasó a denominarse IDCIEN, utilizándose para obtener un panorama cualitativamente signifi cativo sobre los co-nocimientos de los estudiantes de educación normal. A partir de la fi rma del ANMEB en 1992, con la transferencia de los servicios edu-cativos a las entidades, la aplicación de exámenes en educación normal dejó de ser obligación de la DGEP –con excepción del Distrito Federal–, pasando a constituir una responsabilidad de cada estado. Desde entonces, la DGEP ha apoyado a aquellos es-tados interesados en aplicar la prueba a sus aspirantes para ingresar a las institucio-nes formadoras de docentes. El marco teórico-metodológico y la estructura actuales de la prueba fueron dise-ñados en 1998, desplazándose el énfasis del dominio de contenidos disciplinares a las habilidades para el aprendizaje. Tres conjuntos de habilidades son evaluadas: ver-bal, matemática, y de razonamiento formal, distinguiéndose diferentes sub-habilida-des en cada uno. La califi cación de las pruebas es relativamente sencilla, a partir del porcentaje de aciertos sobre el total de ítems, lo que permite ubicar a los sustentan-tes en cuatro niveles diferentes de desarrollo de habilidades. El fomento a la autoevaluación de las escuelas propiciado por la DGEP Debe destacarse especialmente el gran esfuerzo que, desde la década de 1990, viene desarrollando la Dirección General de Evaluación de Políticas (DGEP – SEP) en torno a la autoevaluación de escuelas. Dado que no siempre era posible utilizar los resul-tados de las evaluaciones externas para la mejora de las prácticas organizacionales y pedagógicas concretas, la DGEP advirtió la necesidad de fortalecer las capacidades de autoevaluación38 de las propias escuelas, a partir de sus necesidades y condicio- 38 La autoevaluación de las escuelas se defi ne como un proceso de refl exión de la propia organización, a partir de la observación de sus propios procesos y resultados, que puede desarrollarse utilizando di-versos instrumentos y estrategias de comunicación. En un sentido general, alguna forma de autoeva-luación es un requisito inherente a toda actividad organizacional. No obstante, la autoevaluación como aquí se entiende es un proceso sistemático de diagnóstico, conscientemente dirigido, que utiliza instru-mentos relativamente estandarizados, y es compartida por el conjunto de los docentes y directivos que operan en la escuela. Su objetivo es identifi car las áreas fuertes y de oportunidad de la práctica escolar (en lo referente a condiciones, procesos y resultados), para proyectar acciones sustantivas de fortaleci-miento y mejora.
  • 19. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 39 nes específi cas. Con este objetivo, dicha Dirección ha impulsado diversas iniciativas que han implicado, además de la participación activa de las escuelas, el involucra-miento de otros actores educativos, las autoridades educativas estatales, las AEE, y el sector intermedio del sistema39. • De estas iniciativas, la primera consistió en la elaboración de una breve guía de autoevaluación para ser distribuida masivamente entre las escuelas, denomi-nada Las Escuelas Públicas Mexicanas de Educación Básica. Algunos aspectos a considerar en la autoevaluación escolar (SEP, 2002). Su objetivo es ofrecer a los supervisores, maestros y directores, una referencia básica sobre la importancia de la autoevaluación, y las etapas que constituyen dicho proceso. El documento incluye, también, una breve descripción de las características que mostraban las escuelas con mejores resultados en las investigaciones realizadas por la propia Dirección. • La segunda iniciativa posee un carácter más ambicioso en sus objetivos e imple-mentación, y se fundamenta en un exitoso modelo de autoevaluación de escue-las de educación básica desarrollado en Escocia40. En 2003 la DGEP tradujo este documento al español y lo adaptó a la realidad del sistema educativo mexicano. El resultado fue un documento denominado ¿Qué tan buena es nuestra escue-la? Adaptación de los principales indicadores de desempeño para la Autoevaluación en los Centros Escolares de Educación Básica (SEP 2002c), del cual se imprimieron 40,000 ejemplares para ser distribuidos entre los supervisores de toda la Repúbli-ca. Dicho documento consiste básicamente en una guía de autoevaluación basa-da en indicadores de desempeño en siete grandes áreas41. • La más reciente de las iniciativas, desarrollada a partir de 2002, es aún más ambi-ciosa y rigurosa en sus objetivos. Consiste en promover una autoevaluación en-marcada en el Modelo Nacional para la Calidad Total, adaptada al contexto de la educación básica. Esta propuesta es un producto consensado entre las autorida-des educativas estatales y otros actores del sistema educativo, con la asesoría téc-nica de un reconocido experto internacional en la materia. El modelo ofrece a las escuelas un programa exhaustivo de autoevaluación, dotándolas de documentos e instrumentos que especifi can al detalle los elementos a evaluar y los procedi-mientos para hacerlo. La evaluación del Programa Escuelas de Calidad (PEC) El Programa Escuelas de Calidad es una iniciativa del Gobierno Federal orienta-da a las escuelas públicas de educación básica. Su operación inició en el ciclo 39 Por sector intermedio se entienden los funcionarios ubicados entre las autoridades educativas y las escuelas: jefes de nivel, jefes de sector, y supervisores. 40 How good is our School? Self-evaluation using performance indicators. The Scottish Offi ce Education and Industry Department (1998). 41 Las áreas propuestas para evaluar son: i) aplicación del currículo; ii) enseñanza y aprendizaje; iii) logros de los alumnos; iv) apoyo a los alumnos; v) identidad y clima organizacional; vi) recursos; vii) dirección y liderazgo.
  • 20. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 40 escolar 2001-2002, incorporándose más de 35,000 escuelas en el ciclo 2004- 200542. La evaluación de este ambicioso programa constituye una tarea de grandes pro-porciones, encabezada por la SEP, que involucra a diversas instituciones. Una prime-ra línea de evaluación destacable es la encargada por la Subsecretaría de Educación Básica (SEB – SEP) al Centro de Investigación y Docencia Económicas (CIDE). Hasta el presente se han presentado cuatro extensos informes de evaluación, entre los años 2001 y 2004. Dichos informes no realizan una evaluación directa de las escuelas y sus procesos, sino de la articulación de aspectos más amplios del programa. A los efectos de evaluar el programa a nivel de las escuelas, el PEC cuenta desde su inicio con una segunda línea de evaluación, de tipo cualitativo43. La misma tiene por objetivo principal identifi car los cambios que pueden atribuirse al programa en materia de gestión, participación y prácticas pedagógicas de las escuelas. También se propone retroalimentar las decisiones concernientes al programa, y desarrollar capa-cidades de evaluación locales, fundamentalmente a nivel estatal (SEP 2003a: 13)44. Desde 2001 se han aplicado múltiples instrumentos de investigación45 sobre una muestra de escuelas inscritas al Programa desde el primer año (476 escuelas selec-cionadas aleatoriamente al inicio del Programa, en 31 entidades). Esto confi gura una experiencia inédita de evaluación longitudinal cualitativa, que utiliza mediciones an-teriores y posteriores a la instrumentación del Programa. Los informes más signifi ca-tivos publicados hasta ahora son: 1) un extenso reporte descriptivo sobre esta mues-tra de escuelas, publicado en 2003; dicho informe incluye información exhaustiva sobre el perfi l de los maestros y sus prácticas pedagógicas, la gestión organizacional, y la participación social en las escuelas seleccionadas, antes de que el programa co-menzara a instrumentarse; 2) un extenso informe publicado en agosto de 2005, que identifi ca los cambios asociados al programa en la muestra inicial de escuelas, tan-to en las dimensiones antedichas como sobre el logro académico de los alumnos46 (Loera 2005). En este informe se presta una atención especial a la equidad de los re-sultados, los factores asociados a los aprendizajes, y el cumplimiento de estándares de proceso y logro educativos. 42 Su objetivo general es mejorar la calidad de la educación de las escuelas a través del fortalecimiento y articulación de las áreas federales, estatales y municipales, así como del fomento a nuevos modelos de gestión escolar, práctica docente y participación social orientados a transformar la cultura organizacio-nal y el funcionamiento de las escuelas incorporadas al Programa (Bracho 2004). 43 Dicha evaluación es coordinada por una institución denominada Heurística Educativa, por encargo de la SEB. 44 La estructura de esta evaluación cualitativa se corresponde con la estructura federalizada de la edu-cación mexicana. Esto signifi ca que en este esfuerzo se ha requerido la participación de las áreas esta-tales de evaluación y de la DGE, junto con el equipo de Heurística Educativa. La DGE aplicó en 2002 las pruebas de Estándares Nacionales para conocer los niveles de logro en esas escuelas. Cada área estatal debe entregar reportes propios. Para asegurar la calidad de estos esfuerzos compartidos se implemen-tó un diplomado dirigido a las áreas estatales, integrado por diversos cursos en métodos y técnicas de evaluación cualitativa. 45 En total se han aplicado 20 instrumentos, que incluyen entrevistas, cuestionarios, grupos focales, eva-luación de desempeño en áreas de aprendizaje, análisis documental, e incluso videograbaciones. 46 Para la evaluación del logro educativo en Matemáticas y Español fueron utilizadas las pruebas nacio-nales aplicadas por la DGE y el INEE.
  • 21. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 41 Ambos reportes recogen el exhaustivo trabajo de múltiples evaluadores estata-les, quienes elaboraron informes para cada entidad y cada una de las escuelas de la muestra47. 3.4. El sistema nacional de indicadores educativos Como se ha visto, una evaluación del sistema educativo con fi nes diagnósticos re-quiere de múltiples iniciativas y políticas articuladas en un sistema nacional de eva-luación. Idealmente, la información recogida a través de estas instancias debería converger en la construcción de un sistema nacional de indicadores educativos, que permitiera un monitoreo permanente de las múltiples dimensiones del sistema edu-cativo, la calidad de sus insumos, procesos y resultados. Según ha sido defi nido en el marco conceptual del Sistema de Evaluación de la Política Educativa (SEPE), la construcción de los indicadores debe estar regida por cuatro criterios generales: i) pertinencia; ii) sensibilidad; iii) relevancia; iv) viabilidad. La pertinencia de un indicador refi ere a su “validez de constructo”, es decir, a la capacidad que tiene de medir efectivamente el referente empírico del concepto de interés. La sensibilidad hace referencia a su capacidad de registrar variaciones signi-fi cativas en el fenómeno medido. La relevancia de un indicador se relaciona con su capacidad para proveer información sobre los problemas sustantivos –en este caso del sistema educativo– , y por ende, de ser útil para la toma de decisiones. Finalmen-te, la viabilidad hace referencia a la posibilidad de contar con la información necesa-ria para la construcción del indicador, lo que implica tener en cuenta las difi cultades de localización y acceso, así como los costos implicados en su obtención. En México, el desarrollo del sistema nacional de indicadores corresponde a la SEP, junto con la participación del INEE desde su creación en 200248. Para su construcción se recurre a múltiples fuentes: Instituto Nacional de Estadística, Geografía e Informá-tica (INEGI), Consejo Nacional de Población (Conapo), UNESCO, diversas dependen-cias de la SEP, y las propias pruebas de aprendizaje y cuestionarios de contexto desa-rrollados por el INEE. Con la publicación anual del Panorama Educativo de México (2003b, 2004c), el INEE ha dado los primeros pasos hacia la consolidación del sistema nacional de in-dicadores. Esto ha supuesto un gran esfuerzo de defi nición conceptual, así como de selección, sistematización y procesamiento de la información. En 2004 fueron repor-tados cerca de un centenar de indicadores, agrupados en diez grandes conceptos (INEE 2004c): • Contexto sociodemográfi co (11 indicadores). • Contexto socioeconómico (11 indicadores). • Contexto socioeducativo (diez indicadores). • Recursos humanos en las escuelas (11 indicadores). 47 Sería recomendable que, además de estos reportes, se hicieran públicos los diversos registros de in-formación y las bases de datos construidas, con el objeto de permitir la realización de investigaciones desde múltiples perspectivas e intereses. 48 Ver fracción I del Artículo 3º del Decreto de Creación del INEE (Anexo II, fragmento 6).
  • 22. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 42 • Recursos materiales en las escuelas (diez indicadores). • Recursos fi nancieros del sistema educativo (ocho indicadores). • Acceso y permanencia en el sistema educativo (cinco indicadores). • Gestión escolar (cinco indicadores). • Procesos escolares (17 indicadores). • Resultados educativos (11 indicadores). Estos indicadores están desagregados de acuerdo a diversos criterios: entidades federativas, tipo de localidad, niveles educativos, sexo, etcétera. En este apartado, siguiendo los lineamientos establecidos, se focalizará la atención en los indicadores respecto de escuelas y maestros, así como en los indicadores de las trayectorias edu-cativas de los alumnos. Finalmente, debe destacarse en este ámbito el trabajo conjunto de la SEP y el INEE, que ha llevado en 2005 a la preparación de un primer conjunto común de indi-cadores básicos. Indicadores sobre escuelas y maestros Como se ha expuesto, el sistema construido por el INEE incluye un conjunto de indi-cadores básicos referidos a los recursos materiales y humanos de las escuelas. La ma-yor parte están reportados como porcentajes, desglosados por entidad federativa y por modalidad de servicio educativo49. Por otra parte, en la última publicación de Panorama Educativo de México (2004c) el INEE ha incluido información sobre la gestión escolar, recogida en las prue-bas nacionales de aprendizaje a través de los cuestionarios a maestros y directores. Estos indicadores constituyen un aporte novedoso debido a que se centran tanto en las prácticas como en las percepciones y juicios de los actores escolares. Se destacan especialmente los siguientes índices: • Satisfacción de los directores con el ambiente escolar (incluye desde juicios acer-ca de los recursos hasta aquellos referidos a las relaciones interpersonales). • Trabajo colegiado de los docentes. • Percepción sobre el logro académico de los alumnos. • Liderazgo del director (diversos ámbitos). • Monitoreo que el equipo de la escuela realiza de los avances y resultados escola-res (tanto en los aspectos curriculares como en otras áreas de trabajo). Indicadores sobre el avance educativo de los alumnos El principal insumo para la construcción de indicadores del avance educativo de los alumnos lo constituyen los datos recogidos por la Dirección General de Planeación y Programación (DGPyP) de la SEP. Esta dirección revela información en forma perma-nente de la totalidad de los planteles nacionales. El instrumento utilizado para recoger los datos se conoce como Forma 911, inte-grada por un conjunto de formularios que deben ser completados por el personal 49 Dichos indicadores pueden consultarse en la tabla 15 del Anexo I.
  • 23. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 43 directivo de las escuelas. Dichos formularios son repartidos en los centros de traba-jo al principio y al fi n de cada ciclo escolar, con lo que se tienen dos levantamientos cada año. El espectro de información cubierto por estos formularios es muy amplio: incluye datos relacionados con la cantidad y las características de los alumnos, y con el personal docente y de servicio de las escuelas. A partir de la información recogida por la Forma 911, el INEE construye y reporta diversos indicadores relacionados con las trayectorias de los alumnos en el sistema educativo, tanto en el nivel primario como en el secundario (INEE, 2004c). Para la construcción de estos indicadores también se utilizan datos del Censo General de Población y Vivienda 2000 del INEGI. Los indicadores más signifi cativos son los si-guientes: • Porcentaje de alumnos en edad normativa. • Tasa de aprobación. • Tasa de promoción. • Tasa bruta de transición. • Tasa de deserción total. • Tasa neta de deserción intracurricular. • Efi ciencia terminal. • Porcentaje de jóvenes que concluyeron primaria y/o secundaria. 3.5. Evaluaciones de otros aspectos educativos 3.5.1. Evaluaciones externas en educación superior La evaluación del nivel superior de educación en México está integrada por múltiples iniciativas en las que participa un amplio espectro de actores institucionales. Dada la complejidad del sistema de educación superior y la gran cantidad de evaluaciones, no es posible presentar en este informe un reporte exhaustivo. Sólo se hará mención, por lo tanto, de las evaluaciones de carácter externo. • Exámenes del Centro Nacional de Evaluación para la Educación Superior (Cene-val). Además de los exámenes mencionados hasta aquí, el Ceneval aplica un numeroso conjunto de exámenes de conocimientos y habilidades en educa-ción superior, ampliamente reconocidos por su calidad. Dichos exámenes tie-nen por objetivo la evaluación de conocimientos de educación superior, tanto para que los sujetos evaluados continúen con estudios de posgrado (Exani III) como para que acrediten estándares de conocimientos al finalizar la licencia-tura (EGEL). El Examen Nacional de Ingreso III (Exani III), que se aplica desde 1997, es utilizado por las universidades interesadas para tomar decisiones sobre la admisión de los sustentantes a los cursos de posgrado. En su diseño participan numerosos actores provenientes del ámbito académico, representantes de universidades y de órga-nos educativos nacionales. Se trata de un examen normativo, basado en reactivos de opción múltiple con distintos niveles de difi cultad que cubren un amplio es-pectro de conocimientos, habilidades e información general. El número de sus-tentantes del Exani III en 2004 superó los 10,400 individuos.
  • 24. POLÍTICAS Y SISTEMAS DE EVALUACIÓN EDUCATIVA EN MÉXICO Instituto Nacional para la Evaluación de la Educación 44 Los Exámenes Generales para el Egreso de Licenciatura (EGEL) tienen por objetivo evaluar conocimientos específi cos al término de los estudios de licenciatura. Actual-mente el Ceneval aplica diferentes EGEL a un total de 23 carreras, dentro de cada una de las cuales se evalúan sub-áreas de conocimiento. Además de estas pruebas, el Ceneval aplica una docena más de exámenes de acre-ditación, entre los que se incluyen la certifi cación de competencias técnicas y labo-rales, así como exámenes de licenciaturas en educación preescolar y primaria. • Los Comités Interinstitucionales de Evaluación de la Educación Superior (CIEES)50. Los CIEES fueron creados en 1991 en forma concertada por la SEP y la Asociación Na-cional de Universidades e Instituciones de Educación Superior (ANUIES). Consti-tuyen una excepcional experiencia de evaluación de pares, esto es, evaluación de programas profesionales por parte de colegas reconocidos. Los CIEES son nueve cuerpos colegiados, integrados por académicos, que tienen como objetivo la eva-luación interinstitucional de los programas, servicios y proyectos que operan más de 90 de instituciones de educación superior. Esta evaluación es básicamente de tipo diagnóstico, orientada a la mejora de la calidad de los servicios impartidos. No obstante, los CIEES también acreditan programas académicos a través de órga-nos especializados, y asesoran a instituciones de educación superior. Las publicaciones de los CIEES son numerosas y de diverso tipo. Actualmente se publican materiales de apoyo a la evaluación, boletines informativos, estudios transversales de tipo diagnóstico sobre el estado de diversas ramas educativas, y marcos de referencia utilizados en la evaluación por cada uno de los Comités. • El Consejo para la Acreditación de la Educación Superior, (Copaes). Finalmente, debe destacarse la experiencia del Copaes, asociación civil instituida en el año 2000 a partir de los esfuerzos de la ANUIES, reconocida por la SEP e integrada además por diversas asociaciones profesionales. El Copaes se creó con el objeto de asegurar la calidad de la educación impartida por las instituciones de educación superior, a través de la regulación, evaluación y reconocimiento formal de las actividades de acreditación que desarrollan diversas organizaciones. Para ello, el Consejo elabo-ra criterios de reconocimiento claros, objetivos y públicos. También genera pau-tas que los organismos acreditadores deben observar en el cumplimiento de sus funciones. Actualmente son 15 los organismos reconocidos por el Consejo, y otros ocho se encuentran en proceso de reconocimiento. 3.5.2. Evaluaciones de otros aspectos de la calidad educativa Una evaluación de la calidad educativa adecuada a los objetivos nacionales no de-bería restringirse a medir los conocimientos de los alumnos en algunos dominios de conocimiento. Como se establece en el Capítulo 2, los objetivos de la educación mexicana trascienden la transmisión de conocimientos, incluyendo la formación en valores favorables a la democracia, la tolerancia, el respeto a la diversidad, y el desa-rrollo de conductas socialmente responsables. 50 La información específi ca sobre los comités, las instituciones evaluadas, y las publicaciones de los CIEES pueden ser consultadas en el sitio Web del organismo: www.ciees.gob.mx.
  • 25. AVANCES, LOGROS Y DESAFÍOS Instituto Nacional para la Evaluación de la Educación 45 En México aún no existen evaluaciones sistemáticas sobre la medida en que se alcanzan estos objetivos, por lo que en el futuro cercano deberían desarrollarse ini-ciativas efi cientes para avanzar en este campo. Esto implicará un gran esfuerzo con-ceptual, donde además de evaluar la calidad de la educación en valores deberá con-siderarse el desarrollo de habilidades de interacción y participación social, y de la capacidad de control sobre las decisiones vitales. Otro aspecto que debería evaluar-se sistemáticamente desde los organismos ofi ciales es la medida en que la educación incide en las oportunidades económicas y laborales de los individuos51. Resulta obvio que la conceptuación y observación de tales efectos es una tarea más compleja que la evaluación de aprendizajes, por lo que el desarrollo de instru-mentos adecuados deberá ser el producto de un cuidadoso proceso acordado entre múltiples actores. Asimismo, un espectro tan amplio de problemas no podrá abarcar-se exclusivamente desde las instancias públicas ofi ciales. Éstas deben asegurar infor-mación de calidad y proveer elementos sufi cientes para su adecuado uso e interpre-tación, pero un aprovechamiento óptimo de la información disponible requiere del concurso de otros actores académicos y educativos. 51 En este ámbito cabe destacar una incipiente iniciativa del INEE. En su publicación Panorama Educativo de México 2004 (INEE 2004c: 80) se calculan tasas privadas y sociales de retorno de la educación, desglo-sada por sexo y estratos geográfi cos. También se ofrecen datos sobre tasas de desempleo y participa-ción según niveles educativos, desglosadas según diversos criterios (2004c: 89-101).
  • 26. LaCalidaddelaEducaciónBásicaenMéxico 105 CAPITULO 3 EL APRENDIZA JE DE LOS ALUMNOS EN 2000 Y 2005 Introducción 3.1 Metodología 3.1.1 Dominios de las prue-bas 3.1.2 Cualidades técnicas de las pruebas 3.2 Resultados 3.2.1 Medias nacionales 3.2.2 Niveles de ejecución 3.2.3 Puntuaciones percentila-res 3.2.4 Variabilidad de las res-puestas 3.2.5 Matemáticas de 3º de se-cundaria Síntesis y conclusiones