������������������������������������������������������������������������������

 

Equiparaci�n estad�stica de puntuaciones en 4to y 7mo de Educaci�n General B�sica del Ecuador utilizando software R.

 

Statistical equating of scores in 4th and 7th grade of General Basic Education in Ecuador using R software.

 

Equa��o estat�stica das pontua��es no 4� e 7� ano do Ensino B�sico Geral no Equador utilizando software R.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

�������� �������������������������

 

Correspondencia: hmullo@espoch.edu.ec ����

 

 

Ciencias de la Educaci�n ������

Art�culo de Investigaci�n�

 

 

* Recibido: 25 de abril de 2022 *Aceptado: 16 de mayo de 2022 * Publicado: 16 de Junio de 2022

 

 

        I.            Ingeniero en Estad�stica Inform�tica, M�ster Universitario en Estad�stica Aplicada, Doctor en Estad�stica Matem�tica y Aplicada, Escuela Superior Polit�cnica de Chimborazo (ESPOCH), Riobamba, Ecuador.

     II.            Ingeniero en Estad�stica Inform�tica, M�ster Universitario en Estad�stica Aplicada, Universidad Nacional de Chimborazo (UNACH), Riobamba, Ecuador.

   III.            Ingeniero en Administraci�n de Empresas, Instituto Nacional de Evaluaci�n Educativa (INEVAL), Quito, Ecuador.

  IV.            Ingeniero Estad�stico, Instituto Nacional de Evaluaci�n Educativa (INEVAL), Quito, Ecuador.

     V.            Ingeniero en Sistemas Inform�ticos, Mag�ster en Gesti�n de Bases de Datos, Escuela Superior Polit�cnica de Chimborazo (ESPOCH), Riobamba, Ecuador.

Resumen

La investigaci�n trata sobre la evaluaci�n de los aprendizajes educativos de 4to y 7mo nivel de Educaci�n General B�sica del Ecuador, donde se desarrolla una comparativa temporal de los resultados de las evaluaciones en los ciclos 2014, 2015, 2016, 2017, 2018 y 2019, mediante una equiparaci�n con bloques rotados siguiendo la metodolog�a de valores plausibles, considerando un dise�o de grupos no equivalentes con covariables (edad y sexo) e �tems ancla. Dentro de los principales resultados, se destaca el uso del estad�stico de la mediana, para 4to EGB, la habilidad mediana de los sustentantes desde el ciclo 2014 a 2017 se incrementa. Sin embargo, a partir del ciclo 2017 a 2019 la habilidad disminuye. Luego, para 7mo EGB desde el ciclo 2014 se observa una disminuci�n de la habilidad hasta el ciclo 2016. Seguido, a partir de 2016 se tiene un aumento de la habilidad hasta el ciclo 2019. Finalmente, estos resultados sugieren que los logros de aprendizaje de los estudiantes fluct�an y no muestran un patr�n de tendencia concordante para 4to y 7mo en conjunto. Por lo tanto, es necesario una evaluaci�n minuciosa de las pol�ticas a favor del aumento de los logros de aprendizaje del Ministerio de Educaci�n del Ecuador en los periodos de aumento y disminuci�n de los logros de aprendizaje, para detectar fortalezas y �reas de mejora de la calidad educativa en el Ecuador.

Palabras Claves: Evaluaci�n Educativa; Educaci�n General B�sica; Equiparaci�n; Psicometr�a.

 

Abstract

The research deals with the evaluation of educational learning of the 4th and 7th level of General Basic Education in Ecuador, where a temporary comparison of the results of the evaluations in the 2014, 2015, 2016, 2017, 2018 and 2019 cycles is developed, through a comparison with rotated blocks following the methodology of plausible values, considering a design of non-equivalent groups with covariates and anchor items. Among the main results, the use of the median statistic stands out, for the 4th EGB, the median ability of the supporters from the 2014 to 2017 cycle increases. However, from the 2017 to 2019 cycle the ability decreases. Then, for the 7th EGB from the 2014 cycle, a decrease in ability is observed until the 2016 cycle. Next, from 2016 there is an increase in ability until the 2019 cycle. Finally, these results suggest that the learning achievements of students fluctuate and do not show a concordant trend pattern for 4th and 7th grades combined. Therefore, a thorough evaluation of the policies in favor of the increase in learning achievements of the Ministry of Education of Ecuador is necessary in the periods of increase and decrease in learning achievements, to detect strengths and areas for quality improvement. education in Ecuador.

Keywords: Educational Evaluation; Basic General Education; Equating; Psychometry.

 

Resumo

A investiga��o trata da avalia��o da aprendizagem educacional nos 4� e 7� n�veis do Ensino B�sico Geral no Equador, onde � desenvolvida uma compara��o temporal dos resultados das avalia��es nos ciclos de 2014, 2015, 2016, 2017, 2018 e 2019, atrav�s de uma equa��o com blocos rotativos seguindo a metodologia de valores plaus�veis, considerando uma concep��o de grupos n�o equivalentes com covariatos (idade e sexo) e itens de �ncora. Entre os principais resultados, destacamos a utiliza��o da estat�stica mediana, para o 4� EGB, a capacidade mediana dos tomadores de teste do ciclo de 2014 a 2017 aumenta. Contudo, a partir do ciclo de 2017 a 2019 a capacidade diminui. Depois, para o 7� GBS a partir do ciclo de 2014, observa-se uma diminui��o da capacidade at� ao ciclo de 2016. Depois, a partir de 2016 h� um aumento das capacidades at� ao ciclo de 2019. Finalmente, estes resultados sugerem que os resultados de aprendizagem dos estudantes flutuam e n�o mostram um padr�o de tend�ncia concordante para o 4� e 7� ano como um todo. Por conseguinte, � necess�ria uma avalia��o minuciosa das pol�ticas pr�-realiza��es do Minist�rio da Educa��o equatoriano durante per�odos de aumento e diminui��o dos resultados de aprendizagem para detectar pontos fortes e �reas para melhorar a qualidade da educa��o no Equador.

Palavras-chave: Avalia��o Educacional; Educa��o B�sica Geral; Equipoise; Psicometria.

 

Introducci�n

La evaluaci�n educativa es el ejercicio permanente mediante el cual se pretende estimar y formular juicios sobre el proceso educativo del estudiante, as� como sobre sus resultados de aprendizaje con el objetivo de aumentar y/o mantener la calidad de la educaci�n (Ministerio de Educaci�n Nacional, 1997). En este sentido el Instituto Nacional de Evaluaci�n Educativa (Ineval) desarrolla peri�dicamente el proyecto de evaluaci�n educativa Ser Estudiante (SEST) el cual eval�a los aprendizajes educativos del nivel de Educaci�n General B�sica (EGB) y Bachillerato General Unificado (BGU) del Ecuador (Ineval, 2022). Los resultados de la evaluaci�n SEST permiten conocer los logros de aprendizaje de los estudiantes del Sistema Nacional de Educaci�n, y con base a estos se puede detectar fortalezas y �reas de mejora, para elevar la calidad educativa del Ecuador (Ineval, 2021 a). Si bien es cierto el Ineval desarrolla el proyecto de evaluaci�n educativa SEST peri�dicamente y presenta resultados sobre este proceso (ver por ejemplo: Ineval, 2021 b; Ineval, 2021 c). Sin embargo, no se tiene una comparativa temporal entre los logros de aprendizaje de los estudiantes, esto no permite tener un panorama claro sobre la evoluci�n del aprendizaje en el Sistema Nacional de Educaci�n del Ecuador y reduce la capacidad de tomar decisiones bien informadas en favor de la calidad de la educaci�n. Por lo tanto, en el marco del proyecto Ser Estudiante se pretende en este trabajo realizar una equiparaci�n de calificaciones de los distintos periodos de evaluaci�n 2013-2019 para 4to y 7mo EGB, para colocar en una misma escala las puntuaciones de los diferentes periodos de evaluaci�n.

Para lograr el objetivo planteado en el ac�pite anterior, se describe a continuaci�n la teor�a de la equiparaci�n siguiendo a Gonz�lez y Wiberg (2017), junto con el procedimiento de recolecci�n de datos en equiparaci�n. Antes de esto, es importante tener en cuenta que en el proceso de equiparaci�n de puntuaciones en evaluaciones educativas, las diferencias de puntuaci�n no se deben exclusivamente a diferencias en la dificultad de las formas de las pruebas^[1]. Puede suceder que un grupo de examinados sea simplemente m�s h�bil que el otro, en cuyo caso, una comparaci�n entre grupos mediante el uso de las puntuaciones de las pruebas, confunde la habilidad de los individuos de los dos grupos. En este sentido, una definici�n de equiparaci�n debe considerar los puntajes en dos formas de prueba como equivalentes en un grupo de sustentantes, si representan la misma posici�n relativa en el grupo.

Formulaci�n estad�stica del problema de equiparaci�n

Aunque en muchos casos, se deben equiparar m�s de dos formas de prueba, para facilitar la exposici�n, se consideran solo dos formas de prueba y las denotaremos como �e . Se supondr� que estas dos formas se administran a �y �sustantivos seleccionados al azar, respectivamente. Las puntuaciones obtenidas de la forma de prueba �se indican con �, y las obtenidas con �como �. Se supone que las puntuaciones �e �son variables aleatorias que se definen en consecuencia en los espacios muestrales �e , y que siguen las distribuciones �y , respectivamente.

El problema estad�stico de la equiparaci�n consiste en modelar la relaci�n entre un puntaje en una forma de prueba y su puntaje correspondiente en otra forma. Matem�ticamente, esto significa que se debe definir una funci�n que tome valores en �y d� como resultado un valor en . La siguiente definici�n es general para cualquier funci�n de transformaci�n de equiparaci�n.

Definici�n 1: Sean �e �dos espacios muestrales. Una funci�n �se denomina transformaci�n de equiparaci�n.

La definici�n 1 establece que la transformaci�n de equiparaci�n mapea los puntajes de una forma de prueba en la escala de otra. Una forma matem�tica expl�cita para , depender� de la definici�n de equiparaci�n o, en otras palabras, de la forma en que se operacionalice la idea de tratar las puntuaciones como si procediera de la misma prueba.

Definici�n 2 (Definici�n de equiparaci�n de Braun y Holland (1982)): Sean �e �dos formas de prueba que generan ambos datos de puntuaci�n �e , respectivamente. Se dice que las formas �e �se equiparan en la poblaci�n �por �si .

La definici�n 2 indica que dos puntuaciones �e �se equiparan si la distribuci�n de �y la de las puntuaciones transformadas (equiparadas) �son iguales. Bajo esta definici�n, podemos obtener una forma expl�cita para �que iguale �a �en . De hecho, si �e �son los cuantiles en las distribuciones de las puntuaciones de las pruebas �e �para una proporci�n acumulativa com�n arbitraria �de la poblaci�n, es decir, �y , se sigue que, para cada , con el requisito de que , se puede obtener una puntuaci�n equivalente �en la prueba �para una puntuaci�n �en �como

.

Aunque la ecuaci�n anterior se puede utilizar en general para la comparaci�n de dos muestras o distribuciones de variables aleatorias, en la literatura de igualaci�n la funci�n �se conoce como la transformaci�n equipercentil. La heur�stica detr�s de esta definici�n es simple: definir puntajes equiparados como aquellos que tienen el mismo rango percentil en un grupo dado de examinados.

Recopilaci�n de datos en equiparaci�n

En la pr�ctica, se necesitan datos de puntuaci�n para la estimaci�n de . Debido a que las diferencias en la distribuci�n de puntajes pueden atribuirse a diferencias en la dificultad de las formas de prueba administradas o debido a diferencias en la habilidad de los sustentantes, es necesario desentra�ar la confusi�n antes de que se produzca cualquier v�nculo entre �e . La equiparaci�n corrige las diferencias en la dificultad de las formas de prueba, por lo que primero necesitamos un m�todo de corregir las diferencias en la habilidad. El modo en que se realice dicha correcci�n se guiar� por el m�todo en que se recopilen los datos de puntuaci�n. Dependiendo de la situaci�n, se usar�n personas o �tems comunes para desentra�ar la confusi�n entre estos dos factores.

Aunque en principio es posible obtener datos de cualquier n�mero de grupos diferentes de examinados dentro de cualquier n�mero de poblaciones diferentes, la exposici�n que sigue considerar� s�lo dos poblaciones y dos grupos dentro de cada poblaci�n. Del mismo modo, s�lo se considerar�n dos formas de prueba y una prueba de anclaje^[2], aunque en teor�a cualquier n�mero de ellos podr�a usarse para igualar.

Al definir los dise�os de equiparaci�n, la poblaci�n de inter�s o la poblaci�n objetivo de la que se obtendr�n los datos de puntuaci�n se indicar� como . Si los examinados no pueden considerarse equivalentes, sino que se considera que provienen de diferentes poblaciones, entonces las dos diferentes poblaciones se denotan como �y . En tal caso, �ser� una especie de mezcla de �y . La Tabla siguiente muestra un resumen de los dise�os de equiparaci�n para recopilar datos de puntuaci�n que se utilizan com�nmente en la literatura de equiparaci�n.

Descripci�n de los dise�os de equiparaci�n con respecto a poblaciones, grupos y qu� informaci�n se recopila

 

Tabla 1. Descripci�n de dise�os de equiparaci�n seg�n poblaciones, grupos e informaci�n recopilada

Fuente: (Gonz�lez y Wiberg, 2017)

Elaborado: Autores

 

Donde en la Tabla 1 se representa como:: Covariables, : Prueba de anclaje, : Poblaci�n objetivo, : Forma de prueba , : Forma de prueba , : Poblaci�n , : Poblaci�n , SG: Solo un grupo, EG: Grupos equivalentes, CB: Contrapesada, NEAT: Grupos no equivalentes con prueba de anclaje, NEC: Grupos no equivalentes con covariables.

En las diferentes evaluaciones que desarrolla el Ineval, como Ser Estudiante, Ser Maestro, Quiero Ser Maestro Intercultural Biling�e, etc. Se plantea el uso de varias formas de prueba con �tems anclados a diferentes grupos de la poblaci�n. Adem�s, se incluye una Encuesta de Factores Asociados que responde a circunstancias que pueden incidir en el desempe�o de las y los estudiantes evaluados. Por lo tanto, el dise�o de equiparaci�n impl�cito que ocupa el Ineval es de Grupos no equivalentes con prueba de anclaje (NEAT) y/o Grupos no equivalentes con covariables (NEC).

Por otro lado, el Ineval en los �ltimos a�os tiene una apuesta decidida a la utilizaci�n de la Teor�a de Respuesta al �tem (TRI) para analizar pruebas, en este sentido, se utiliza para la equiparaci�n la TRI en el contexto de una combinaci�n de NEAT y NEC. Luego, como el objetivo es realizar la equiparaci�n de puntuaciones de los distintos periodos de evaluaci�n para 4to y 7mo EGB del proyecto SEST, se realiza la equiparaci�n con bloques rotados (Kolen y Brennan, 2004) siguiendo la metodolog�a de valores plausibles (Fuentealba, 2020).

 

Metodolog�a

Participantes: Los participantes de la evaluaci�n de resultados de aprendizaje para 4to EGB de Ecuador fueron 10680, 7589, 8850, 7340, 10715 y 13769 para los ciclos 2013-2014 (2014), 2014-2015 (2015), 2015-2016 (2016), 2016-2017 (2017), 2017-2018 (2018) y 2018-2019 (2019). Mientras que el n�mero de participantes para 7mo EGB fueron 11453, 112368, 10423, 7853, 10930 y 13892 para los ciclos 2014, 2015, 2016, 2017, 2018 y 2019 respectivamente.

Evaluaci�n: El instrumento de evaluaci�n const� de un n�mero determinado de �tems de los campos disciplinares de Matem�tica, Lengua y Literatura, Ciencias Naturales y Ciencias Sociales. El formato de evaluaci�n fue presencial, esta evaluaci�n se aplica en 4 d�as, donde se ocupa un d�a por campo disciplinar y el tiempo de evaluaci�n fue de 120 minutos.

Proceso: La obtenci�n de los datos que se muestran a continuaci�n, se realiz� a trav�s de una solicitud ciudadana de datos codificados y anonimizados al Ineval. Esta informaci�n responde a las pol�ticas de datos abiertos del Ineval para salvaguardar los lineamientos de confidencialidad que exige la ley.

1.    Mapas t�cnicos^[3] de 4to y 7mo de Educaci�n General B�sica de los ciclos 2014, 2015, 2016, 2017, 2018 y 2019.

2.    Matriz de 0/1^[4] de 4to y 7mo de Educaci�n General B�sica de los ciclos 2014, 2015, 2016, 2017, 2018 y 2019.

3.    Matriz de factores asociados^[5] (FA) con informaci�n de variables primarias como sexo y edad.

Posteriormente se defini� el proceso de equiparaci�n del siguiente modo:

1.    Se verifica la consistencia entre la informaci�n de los mapas t�cnicos y las matrices de 0/1 correspondientes, verificado el c�digo �nico de los �tems de ambas matrices.

2.    Se verifica la consistencia entre la informaci�n de las matrices de 0/1 y la matriz de factores asociados, verificado los c�digos de identificaci�n de los sustentes, seg�n las variables clip, amie y c�dula seg�n sea el caso.

3.    Se realiza la equiparaci�n con bloques rotados (Kolen y Brennan, 2004) siguiendo la metodolog�a de valores plausibles (Fuentealba, 2020) de 4to y 7mo y 7mo de Educaci�n General B�sica de los ciclos 2014, 2015, 2016, 2017, 2018 y 2019. Esto mediante la informaci�n de las matrices de 0/1 y de factores asociados. Se considera como escala base al ciclo 2014. La equiparaci�n se desarrolla considerando un dise�o de grupos no equivalentes con covariables^[6] e �tems ancla, siguiendo los pasos:

a)   Preparaci�n de la matriz 0/1 y covariables de los ciclos iniciales y final.

b)   Calibraci�n de los ciclos inicial y final con covariables mediante regresi�n latente (Adams y Wu, 2007; Adams, Wilson y Wu, 1997).

c)   Calibraci�n concurrente de los ciclos inicial y final (Wingersky y Lord, 1984).

d)  Calibraci�n del ciclo inicial con par�metros de los �tems fijos obtenidos del paso dos (Kim, 2006). Los �tems fijos son aquellos �tems considerados como anclas.

e)   Obtenci�n de constantes de transformaci�n lineal, utilizando el m�todo de momentos y el enfoque de valores plausibles. Es importante, guardar las constantes de transformaci�n lineal en todas las equiparaciones entre ciclos.

f)    Escalamiento del ciclo final a la escala del ciclo inicial utilizando los resultados del paso anterior. Se guardan, las equiparaciones obtenidas entre los ciclos.

4.         Mediante un proceso de encadenamiento (es decir, transformado secuencialmente), las constantes de transformaci�n lineal obtenidas en el paso anterior se utilizan para colocar las equiparaciones de los diferentes ciclos en la escala base 2014. Despu�s de este proceso de encadenamiento, todas las distribuciones de habilidad estimadas est�n en la escala base 2014. Adem�s, la media y la desviaci�n est�ndar de las distribuciones de habilidad estimadas transformadas a la escala base 2014 se pueden utilizar para comparar la diferencia en la habilidad media y la variabilidad en los diferentes ciclos de evaluaci�n (Kolen y Brennan, 2004).

Es importante indicar que para el procedimiento de equiparaci�n se utiliz� b�sicamente el paquete �TAM� de los autores Kiefer, Robitzsch y Wu (2016) del software estad�stico R.

 

Resultados

Consistencia entre la informaci�n de las matrices de 0/1 y la matriz de factores asociados

En general para 4to y 7mo EGB, existe una buena consistencia entre la informaci�n de las matrices de 0/1 y la matriz de factores asociados, esto permite seguir el procedimiento planteado para la equiparaci�n mediante covariables.

 

Tabla 2. 4to EGB: Consistencia entre la informaci�n de las matrices de 0/1 y la matriz de factores asociados, seg�n ciclos

*Valores iguales o inferiores a 0, que fueron imputados mediante la mediana.

Fuente: (Ineval, 2022)

Elaborado: Autores

Tabla 3. 7mo EGB: Consistencia entre la informaci�n de las matrices de 0/1 y la matriz de factores asociados, seg�n ciclos

*Valores iguales o inferiores a 0, que fueron imputados mediante la mediana.

**N�mero de �tems luego de quitar aquellos con m�s del 96% de valores faltantes. Esto, debido a que el proceso de calibraci�n no converge sin este cambio.

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Cantidad de �tems ancla entre ciclos

Tanto para 4to y 7mo EGB, se tiene una buena cantidad de �tems ancla entre ciclos contiguos que permiten desarrollar el procedimiento planteado para la equiparaci�n mediante covariables e �tems ancla.

 

Tabla 4. Cantidad de �tems ancla seg�n ciclo y nivel educaci�n general b�sica

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Escalamiento y constantes de transformaci�n lineal

Para realizar la equiparaci�n se utiliza la transformaci�n , esto en forma de ecuaci�n lineal es: . Las constantes de transformaci�n lineal se obtienen, utilizando el m�todo de momentos y el enfoque de valores plausibles como se indica a continuaci�n:

 

Los resultados del c�lculo de las constantes de transformaci�n lineal se presentan en la Tabla 5 y 6.

 

Tabla 5. Constantes de transformaci�n lineal de 4to EGB, seg�n ciclo inicial y final de la equiparaci�n

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Tabla 6. Constantes de transformaci�n lineal de 7mo EGB, seg�n ciclo inicial y final de la equiparaci�n

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Equiparaci�n con bloques rotados siguiendo la metodolog�a de valores plausibles y proceso de encadenamiento de 4to y 7mo EGB

Los resultados del proceso de equiparaci�n de 4to EGB se pueden observar en la Figura 1 y Tabla 7. El estad�stico de la mediana muestra que la habilidad de los sustentantes desde el ciclo 2014 a 2017 se increment�. Sin embargo, a partir del ciclo 2017 a 2019 la habilidad disminuy�. La variabilidad de las distribuciones de habilidad disminuye conforme pasan los ciclos.

Como una forma de contrastar los resultados de equiparaci�n se muestra los resultados de la estimaci�n de las distribuciones de habilidad sin considerar la equiparaci�n. En el caso de 4to EGB se muestra esta informaci�n en la Figura 2 y Tabla 8. Al comparar los resultados de manera r�stica y utilizando la mediana, se tiene que en generar la habilidad aumenta y luego disminuye en el siguiente ciclo. Claramente, estos resultados son err�neos y se presentan s�lo para analizar, qu� pasar�a si no se considera la equiparaci�n en la comparaci�n de resultados de evaluaci�n estandarizada.

Por otro lado, utilizando la mediana para 7mo EGB desde el ciclo 2014 se observa una disminuci�n de la habilidad hasta el ciclo 2016. Luego, a partir de 2016 se tiene un aumento de la habilidad hasta el ciclo 2019. La desviaci�n est�ndar se mantiene estable para todos los ciclos de evaluaci�n (ver Figura 3 y Tabla 9). Estos resultados contrastan con los obtenidos en la comparaci�n sin considerar la equiparaci�n (ver Figura 4 y Tabla 10).

 

Figura 1. Distribuci�n de valores plausibles EQUIPARADOS de 4to EGB, seg�n ciclos y sin datos at�picos

Elaborado: Autores

 

 

Figura 2. Distribuci�n de valores plausibles NO EQUIPARADOS de 4to EGB, seg�n ciclos y sin datos at�picos

Elaborado: Autores

Tabla 7. Estad�sticas descriptivas de los valores plausibles EQUIPARADOS de 4to EGB, seg�n ciclos

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Tabla 8. Estad�sticas descriptivas de los valores plausibles NO EQUIPARADOS de 4to EGB, seg�n ciclos

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Figura 3. Distribuci�n de valores plausibles EQUIPARADOS de 7mo EGB, seg�n ciclos y sin datos at�picos

Elaborado: Autores

 

 

 

Figura 4. Distribuci�n de valores plausibles NO EQUIPARADOS de 7mo EGB, seg�n ciclos y sin datos at�picos

Elaborado: Autores

 

 

Tabla 9. Estad�sticas descriptivas de los valores plausibles EQUIPARADOS de 7mo EGB, seg�n ciclos

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Tabla 10. Estad�sticas descriptivas de los valores plausibles NO EQUIPARADOS de 7mo EGB, seg�n ciclos

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Conclusiones

Esta investigaci�n desarroll� con �xito la equiparaci�n con bloques rotados siguiendo la metodolog�a de valores plausibles, para 4to y 7mo de Educaci�n General B�sica de los ciclos 2014, 2015, 2016, 2017, 2018 y 2019. Esto utilizando covariables de encuesta de factores asociados. Se utiliz� un proceso de encadenamiento, es decir, una transformaci�n secuencia entre ciclos contiguos, para que sean comparables las diferencias en la media y la desviaci�n est�ndar de las distribuciones de habilidad estimadas de los diferentes ciclos, con respecto a la escala base 2014.

El estad�stico de la mediana muestra que, para 4to EGB, la habilidad mediana de los sustentantes desde el ciclo 2014 a 2017 se incrementa. Sin embargo, a partir del ciclo 2017 a 2019 la habilidad disminuye. Con respecto a la variabilidad de las distribuciones de habilidad, esta disminuye conforme pasan los ciclos. Por otro lado, utilizando la mediana para 7mo EGB desde el ciclo 2014 se observa una disminuci�n de la habilidad hasta el ciclo 2016. Luego, a partir de 2016 se tiene un aumento de la habilidad hasta el ciclo 2019. La desviaci�n est�ndar se mantiene estable para todos los ciclos de evaluaci�n.

Los resultados obtenidos del proceso de equiparaci�n para 4to y 7mo EGB en los ciclos 2014, 2015, 2016, 2017, 2018 y 2019 muestran que los logros de aprendizaje de los estudiantes fluct�an y no muestran un patr�n de tendencia concordante para 4to y 7mo en conjunto. Por lo tanto, es necesario una evaluaci�n minuciosa de las pol�ticas a favor del aumento de los logros de aprendizaje del ministerio de educaci�n del Ecuador en los periodos de aumento y disminuci�n de los logros de aprendizaje, para detectar fortalezas y �reas de mejora de la calidad educativa en el Ecuador.

Dentro de los limitantes de este trabajo se encuentra la imposibilidad de realizar la equiparaci�n discriminando entre los campos evaluados de Matem�tica, Lengua y Literatura, Ciencias Naturales y Ciencias Sociales. Esto debido a que no se cuenta con �tems ancla que permitan la implementaci�n de la metodolog�a utilizada en esta investigaci�n.

Finalmente, se detect� que es necesario en el Ineval, establecer un dise�o de equiparaci�n est�ndar para el Proyecto de evaluaci�n Ser Estudiante, entre ciclos. Tambi�n, ser�a �ptimo instaurar un dise�o de equiparaci�n, entre niveles de Educaci�n General B�sica, para evaluar el crecimiento del desempe�o seg�n los niveles de EGB.

Referencias

1.      Adams, R. J., & Wu, M. L. (2007). The mixed-coefficients multinomial logit model. A generalized form of the Rasch model. In M. von Davier & C. H. Carstensen (Eds.): Multivariate and mixture distribution Rasch models: Extensions and applications (pp. 55-76). New York: Springer. doi:10.1007/9780387498393_4

2.      Adams, R. J., Wilson, M. R., and Wu, M. L. (1997). Multilevel item response modelling: An approach to errors in variables regression. Journal of Educational and Behavioral Statistics, 22, 47-76.

3.      Braun, H., & Holland, P. (1982). Observed-score test equating: a mathematical analysis of some ETS equating procedures. In P. Holland & D. Rubin (Eds.), Test equating (Vol. 1, pp. 9�49). New York: Academic Press.

4.      Fuentealba, F. (2020). Sesi�n 3 � ERCE y Rosseta Stone, ERCE � Metodolog�a y Aplicaci�n. Organizaci�n de las Naciones Unidas para la Educaci�n, la Ciencia y la Cultura.

5.      Gonz�lez, J., & Wiberg, M. (2017). Applying test equating methods. Cham: Springer International Publishing.

6.      Ineval. (2021 a). Ficha t�cnica, Ser Estudiante, Cuarto de Educaci�n General B�sica. http://evaluaciones.evaluacion.gob.ec/BI/ser-estudiante/

7.      Ineval. (2021 b). Acci�n 21-3: Capacidad en la resoluci�n de problemas en los sistemas informatizados, de las personas que participaron en la tercera ronda del Programa para la Evaluaci�n Internacional de las Competencias de los Adultos (PIAAC). http://evaluaciones.evaluacion.gob.ec/BI/ser-estudiante/

8.      INEVAL. (2021 c). Acci�n Boletines de Investigaci�n y Evaluaci�n: Involucramiento parental y rendimiento acad�mico en escolares de 7mo de Educaci�n General B�sica.

9.      Ineval. (2022). Ser Estudiante. Consultado el 24 de febrero de 2022. http://evaluaciones.evaluacion.gob.ec/BI/ser-estudiante/

10.  Kiefer, T., Robitzsch, A., & Wu, M. (2016). TAM: Test analysis modules. R Package Version 1.995-0.

11.  Kim, S. (2006). A comparative study of IRT fixed parameter calibration methods. Journal of Educational Measurement, 43(4), 355�381.

12.  Kolen, M. J., Brennan, R. L., & Kolen, M. J. (2004). Test equating, scaling, and linking: Methods and practices (pp. 177-180). New York: Springer.

13.  Ministerio de Educaci�n Nacional. (1997, p. 17). Evaluaci�n en el aula y m�s all� de ella. Bogot�.

14.  Wingersky, M. S., & Lord, F. M. (1984). An investigation of methods for reducing sampling error in certain IRT procedures. Applied Psychological Measurement, 8(3), 347�364.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

� 2022 por los autores. Este art�culo es de acceso abierto y distribuido seg�n los t�rminos y condiciones de la licencia Creative Commons Atribuci�n-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)

(https://creativecommons.org/licenses/by-nc-sa/4.0/).