����������������������������������������������������������������������������������

 

 

Equiparaci�n de puntuaciones mediante m�xima verosimilitud y valores plausibles

 

Equation of scores using maximum likelihood and plausible values

 

Equa��o de pontua��es usando m�xima verossimilhan�a e valores plaus�veis

 

 

 

 

 

 

 

 

 

 

 

 

Correspondencia: hmullo@espoch.edu.ec

 

Ciencias T�cnicas y Aplicadas

Art�culo de Investigaci�n

 

* Recibido: 10 de marzo de 2024 *Aceptado: 20 de abril de 2024 * Publicado: �09 de mayo de 2024

 

        I.            Ingeniero en Estad�stica Inform�tica, M�ster Universitario en Estad�stica Aplicada, Doctor en Estad�stica Matem�tica y Aplicada, Escuela Superior Polit�cnica de Chimborazo (ESPOCH), Riobamba, Ecuador.

      II.            Estudiante de Ingenier�a en Estad�stica en la Escuela Superior Polit�cnica de Chimborazo (ESPOCH), Riobamba, Ecuador.

   III.            Estudiante de Ingenier�a en Estad�stica en la Escuela Superior Polit�cnica de Chimborazo (ESPOCH), Riobamba, Ecuador.

   IV.            Estudiante de Ingenier�a en Estad�stica en la Escuela Superior Polit�cnica de Chimborazo (ESPOCH), Riobamba, Ecuador.

Resumen

La investigaci�n se centra en desarrollar un proceso de simulaci�n y estimaci�n de la habilidad en datos para dos formas de prueba que se ajusten al modelo de teor�a de respuesta al �tem de Rasch. Se busca minimizar el error cuadrado medio en la estimaci�n de la habilidad de sustentantes de la prueba. Se considera aspectos cruciales como el porcentaje de �tems ancla, la distribuci�n de las dificultades de los �tems y el sesgo de la distribuci�n. Utilizando estos datos, se estima la habilidad mediante la m�xima verosimilitud y valores plausibles. Un total de 768 escenarios, evaluando el error absoluto medio y el error cuadr�tico. Los resultados obtenidos muestran 15 escenarios que minimizaron las medidas de error, en general, esto ocurri� cuando la distribuci�n de la dificultad de los �tems es normal est�ndar, adem�s, cuando la estimaci�n de las habilidades se desarrolla en un ambiente de desconocimiento de las dificultades de los �tems. La conclusi�n m�s importante es que el mejor m�todo de estimaci�n de la habilidad es el de m�xima verosimilitud, donde las dificultades de los �tems siguen una distribuci�n normal.

Palabras Clave: Equiparaci�n; Psicometr�a; Valores plausibles; Teor�a de Respuesta al �tem.

 

Abstract

The research focuses on developing a process of simulation and estimation of ability in data for two forms of testing that fit the Rasch item response theory model. The aim is to minimize the mean square error in estimating the ability of test takers. Crucial aspects such as the percentage of anchor items, the distribution of item difficulties and the skewness of the distribution are considered. Using this data, skill is estimated using maximum likelihood and plausible values. A total of 768 scenarios, evaluating the mean absolute error and the squared error. The results obtained show 15 scenarios that minimized the error measurements, in general, this occurred when the distribution of the difficulty of the items is standard normal, in addition, when the estimation of the skills is developed in an environment of ignorance of the difficulties of the items. The most important conclusion is that the best method for estimating ability is maximum likelihood, where item difficulties follow a normal distribution.

Keywords: Equation; Psychometry; Plausible values; Item Response Theory.

 

 

Resumo

A pesquisa se concentra no desenvolvimento de um processo de simula��o e estimativa de habilidade em dados para duas formas de testes que se enquadram no modelo da teoria de resposta ao item de Rasch. O objetivo � minimizar o erro quadr�tico m�dio na estimativa da habilidade dos candidatos. S�o considerados aspectos cruciais como a percentagem de itens �ncora, a distribui��o das dificuldades dos itens e a assimetria da distribui��o. Usando esses dados, a habilidade � estimada usando m�xima verossimilhan�a e valores plaus�veis. Um total de 768 cen�rios, avaliando o erro m�dio absoluto e o erro quadr�tico. Os resultados obtidos mostram 15 cen�rios que minimizaram as medidas de erros, em geral, isso ocorreu quando a distribui��o da dificuldade dos itens � padr�o normal, al�m disso, quando a estimativa das habilidades � desenvolvida em um ambiente de desconhecimento das dificuldades de os itens. A conclus�o mais importante � que o melhor m�todo para estimar a habilidade � a m�xima verossimilhan�a, onde as dificuldades dos itens seguem uma distribui��o normal.

Palavras-chave: Equa��o; Psicometria; Valores plaus�veis; Teoria de Resposta ao Item.

 

Introducci�n

Las evaluaciones de aprendizaje a gran escala forman parte del campo te�rico de la psicometr�a, espec�ficamente se enmarcan en las teor�as de los test, los cuales construyen modelos te�ricos y metodol�gicos (Mu�iz, 2010). El primer modelo que se formul� se conoce como la Teor�a Cl�sica de los Test (TCT), luego surgi� nuevas teor�as y t�cnicas de medici�n que han superado la perspectiva cl�sica, si bien existen varios modelos, la Teor�a de Respuesta al �tem (TRI) es la m�s reconocida (Attorresi et al., 2009). La TRI agrupa varias l�neas de investigaci�n psicom�tricas, donde el factor com�n de estos desarrollos es que �establecen una relaci�n entre el comportamiento de un sujeto frente a un �tem y el rasgo responsable de esta conducta (rasgo latente)� (Attorresi et al., 2009, p. 180). El an�lisis de las respuestas en una prueba que propone la TRI es radicalmente diferente a la TCT, pues se enfoca �en los componentes constituyentes de la misma (es decir, los �tems) en vez del resultado global de la medici�n� (Leenen, 2014, p. 41).

Dentro de los modelos de la TRI, se encuentra el modelo (Rasch 1960) que utiliza la siguiente funci�n para modelar la probabilidad de que un sustentante con habilidad , responda correctamente un �tem con dificultad

 

donde �es la puntuaci�n del sustentante que toma valores de 0 (respuesta incorrecta) o 1 (respuesta correcta).

La TRI es apropiada para analizar instrumentos como las pruebas estandarizadas. Para ello, es importante definir el rasgo latente que subyace en la prueba y que se intenta estimar. El rasgo latente es un constructo te�rico de car�cter cognitivo, procedimental o actitudinal que no puede ser medido directamente debido a que no es observable expl�citamente, el cual se estima a trav�s de los indicadores que conforman un instrumento de evaluaci�n.

En las evaluaciones estandarizadas a gran escala se aplican instrumentos de evaluaci�n a los sustentantes de poblaciones de inter�s. En estas a menudo es necesario comparar los resultados de los sustentantes en dos formas de prueba que eval�an el mismo constructo, esto se puede realizar mediante una equiparaci�n entre las dos formas de prueba utilizando TRI cuando los grupos evaluados de cada forma no son equivalentes (es decir, los grupos son de diferentes poblaciones) y se cuenta con covariables (variables de estratificaci�n utilizadas en el proceso de muestreo o dise�o muestral) e �tems anclas (es decir, �tems que son comunes en las dos formas de prueba). En el proceso de equiparaci�n de puntuaciones en evaluaciones, las diferencias de las puntuaciones se deben a: i) diferencias en la dificultad de las pruebas de cada ciclo y ii) diferencias en las habilidades de los sustentantes de cada ciclo. Una definici�n formal de equiparaci�n dado por Braun y Holland (1982) es la siguiente:

Sean �y �dos pruebas que generan ambos datos de puntuaci�n �e , respectivamente. Se dice que �e �se equiparan en la poblaci�n �por �(transformaci�n de equiparaci�n) si , donde �y �representan la funci�n de distribuci�n de �y �respectivamente.�

Para la estimaci�n de las puntuaciones (o habilidad) se puede realizar mediante el m�todo de m�xima verosimilitud ponderada o utilizando valores plausibles. Esto cuando se tiene dos formas de prueba aplicados a dos grupos no equivalentes, donde se cuenta con �tems ancla entre formas (Grupo �tems ). La siguiente tabla ejemplifica lo anterior

 

 

Tabla 1: Dise�o de prueba con matriz incompleta

Elaborado por: Direcci�n de An�lisis Psicom�trico

Fuente: Fuentealba, 2020

 

La matriz incompleta se utiliza para cubrir la longitud de la estructura de evaluaci�n, este es un tema importante para tener en cuenta en el proceso de equiparaci�n de dos formas de prueba. En el mismo sentido, la utilizaci�n de m�xima verosimilitud o valores plausibles en el paquete TAM es un tema de inter�s que se relaciona directamente con la utilizaci�n de una matriz incompleta para cubrir la longitud de la estructura de evaluaci�n para un mismo constructo.

Seg�n Wu (2022) los valores plausibles son sorteos aleatorios de la distribuci�n posterior, donde la distribuci�n posterior es aquella que se obtiene despu�s de que los sustentantes rindieron la evaluaci�n, mediante la informaci�n de la distribuci�n anterior (distribuci�n de los sustentantes en el rango de la habilidad) y los resultados de la evaluaci�n combinados.

En este sentido el objetivo del presente trabajo de investigaci�n es determinar el mejor m�todo de estimaci�n de la habilidad entre la m�xima verosimilitud y valores plausibles en el contexto de una equiparaci�n de dos formas de prueba aplicados a grupos de prueba independientes. Se buscar� el mejor m�todo mediante el c�lculo del error absoluto medio y el error cuadr�tico medio.

 

Metodolog�a

Para alcanzar el objetivo de la investigaci�n se simula datos de respuesta al �tem que se ajustan al modelo de Rasch. Estos datos son matrices una por forma de prueba con 1000 sustentantes y 100 �tems, se considera una tasa de no respuesta de �tems del 4.8%. La simulaci�n de los datos se desarrolla en el software estad�stico R mediante el paquete �MIRT� desarrollado por Chalmers et al. (2023). La equiparaci�n mediante m�xima verosimilitud [(Myung, 2003), (Eliason, 1993), (Hambleton et. al 1985) y (Banerjee, 2008)] y valores plausibles (Thompson, 2009), y la comparaci�n de los m�todos se realiza mediante el paquete �TAM� de autor�a de Kiefer, Robitzsch y Wu (2016).

Simulaci�n de Datos Rasch: En este punto se considerar tres aspectos importantes en el dise�o de pruebas como son: i) el porcentaje de �tems ancla en relaci�n con n�mero total de �tems del

instrumento de evaluaci�n, ii) la distribuci�n de probabilidad de las dificultades de los �tems, y iii) el sesgo de la distribuci�n.

Estimaci�n de las habilidades de los sustentantes: Para este punto se toma en cuenta tres aspectos que son: i) el n�mero de valores plausibles extra�dos de la distribuci�n posterior de las habilidades, ii) se considera modelos con dificultades fijas (es decir conocidas en la simulaci�n de los datos) y modelos con dificultades no conocidas, y iii) el rango de la distribuci�n de la habilidad, para la extracci�n de los valores plausibles.

En la simulaci�n y estimaci�n de la informaci�n se hizo fluctuar los par�metros descritos en los dos p�rrafos anteriores con los siguientes valores:

Simulaci�n de Datos Rasch:

• Porcentaje de �tems ancla: .
• Distribuci�n de probabilidad de las dificultades de los �tems: �y .
• Sesgo de la distribuci�n: Para la distribuci�n normal est�ndar se considerar un par�metro de sesgo de .

Estimaci�n de las habilidades de los sustentantes:

�     N�mero de valores plausibles extra�dos: .

�     Modelo TRI con dificultades: .

�     Rango de la distribuci�n de la habilidad, para la extracci�n de los valores plausibles: .

A partir de los par�metros anteriores se establecieron 768 escenarios, donde se simularon datos Rasch (dos formas de prueba) y se estim� la habilidad mediante m�xima verosimilitud y valores plausibles, considerando una calibraci�n concurrente (en una sola matriz), es decir, se calibr� a partir del dise�o de prueba con matriz incompleta (ver Tabla 1.). Se compar� el ajuste de los modelos mediante el error cuadr�tico medio y la desviaci�n media absoluta, posteriormente se toma los primeros 10 mejores ajustes para la discusi�n de los resultados.

 

Resultados

De la simulaci�n y estimaci�n de las habilidades en los 768 escenarios se obtuvo el error cuadr�tico medio y la desviaci�n media absoluta para la estimaci�n de la habilidad mediante m�xima verosimilitud y valores plausibles versus las habilidades iniciales. A continuaci�n (ver Tabla 2.) se presenta los 15 mejores escenarios que minimizaron las medidas de error, en general, esto ocurri� cuando la distribuci�n de la dificultad de los �tems es normal est�ndar. Adem�s, cuando la estimaci�n de las habilidades se desarrolla en un ambiente de desconocimiento de las dificultades de los �tems. En relaci�n con los dem�s par�metros se tiene que, el porcentaje de �tems anclas puede variar del 10% al 30%, el par�metro del sesgo de la distribuci�n de la dificultad puede variar entre 0 a 0.9, el n�mero de valores plausibles debe ser de por lo menos 5 y el rango de valores plausibles de 2 0 4.

Lo anterior indica que, i) podemos estimar de manera precisa las habilidades de los sustentantes sin conocer a priori las dificultades, sin embargo, es necesario que la distribuci�n de las dificultades sea una norma est�ndar sin importar su sesgo; ii) el porcentaje de �tems ancla debe ser inferior o igual al 30% de los �tems de la forma de prueba; iii) el n�mero de valores plausibles para la estimaci�n es de por lo menos 5; y iv) el rango de los valores plausibles puede ser de 2 o 4.

Ahora, se interpreta el primer modelo de la Tabla 2. Dado un conjunto de datos que siguen un modelo de Rasch con dificultades de los �tems distribuidos normalmente (normal est�ndar) sin sesgo con 10 �tems ancla de 100 presentes, con un 4.8% de no respuestas de los �tems. La estimaci�n por valores plausibles de las habilidades de los sustentantes con 5 valores plausibles y con un rango de 2, tiene un valor de 0.1382 de la ra�z cuadrada del error cuadr�tico medio y una desviaci�n absoluta media de 0.1045. Esto quiere decir que el escenario en estudio es el m�s preciso en la estimaci�n de la habilidad, adem�s se espera que en promedio se cometa un error m�ximo de 0.1045 al momento de estimar la habilidad, tomando en cuenta que regularmente la habilidad fluct�a en el intervalo �este error es peque�o. Del mismo modo, en la estimaci�n por m�xima verosimilitud se tiene un RMSE de 0.0512 y una MAD de 0.0406, evidentemente n�meros m�s peque�os en comparaci�n de los valores plausibles (esto se repiti� en todos los escenarios). Por lo tanto, la mejor opci�n de equiparaci�n de dos formas de prueba en el contexto descrito en este trabajo es mediante m�xima verosimilitud, sin embargo, los resultados de valores plausibles son alentadores y con alta precisi�n.

 

 

 

Tabla 2: Primeros 15 mejores escenarios en la estimaci�n de la habilidad mediante m�xima verosimilitud y valores plausibles

Fuente: (Autores, 2022)

Elaborado: Autores

 

En la Tabla 3. se muestra los 15 peores escenarios que maximizaron las medidas de error, en general, ocurre esto cuando la distribuci�n de la dificultad de los �tems es uniforme en el intervalo . Adem�s, cuando la estimaci�n de las habilidades se desarrolla conociendo las dificultades de los �tems. Para los dem�s par�metros se tiene que, el porcentaje de �tems anclas puede variar libremente al igual que el par�metro del sesgo de la distribuci�n de la dificultad, el n�mero de valores plausibles debe ser de uno, y el rango de valores plausibles de 5.

 

 

 

Tabla 3: �ltimos 15 peores escenarios en la estimaci�n de la habilidad mediante m�xima verosimilitud y valores plausibles

Fuente: (Autores, 2022)

Elaborado: Autores

 

En las Figuras 1. y 2. se muestran la funci�n densidad de las habilidades de los sustentantes (theta) y las estimaciones mediante m�xima verosimilitud (theta.mv) y valores plausibles (theta.vp). Lo anterior para el mejor y peor escenario. En el caso del mejor escenario se mira un buen ajuste de la curva de theta.mv hacia theta, mientras que la curva de theta.vp no tiene a ubicarse sobre la curva de theta. Obviamente en el peor escenario las curvas de theta.mv y theta.vp no presentan un buen ajuste a la curva de theta, sin embargo, el ajuste de theta.mv es mejor (esto ocurri� en los 768 escenarios). Por lo tanto, en sinton�a con lo indicado en los anteriores p�rrafos la estimaci�n por m�xima verosimilitud es la mejor opci�n en cualquier escenario de equiparaci�n.

 

 

Figura 1: Mejor escenario: Distribuci�n de densidad de las variables habilidad (theta), habilidad estimada mediante m�xima verosimilitud (theta.mv) y habilidad estimada mediante valores plausibles (theta.vp).

Elaborado: Autores

Figura 2: Peor escenario: Distribuci�n de densidad de las variables habilidad (theta), habilidad estimada mediante m�xima verosimilitud (theta.mv) y habilidad estimada mediante valores plausibles (theta.vp).

Elaborado: Autores

Conclusiones

Se desarroll� un proceso de simulaci�n de datos de dos formas de prueba que se ajustan al modelo de teor�a de respuesta al �tem de Rasch. Donde se consider� aspectos importantes como i) el porcentaje de �tems ancla, ii) la distribuci�n de probabilidad de las dificultades de los �tems, y iii) el sesgo de la distribuci�n. A partir de estos datos, se estim� la habilidad de los sustentantes mediante m�xima verosimilitud tomando en cuenta un modelo con dificultades conocidas o desconocidas. Adem�s, se estim� la habilidad a trav�s de valores plausibles, considerando el i) n�mero de valores plausibles extra�dos de la distribuci�n posterior de las habilidades, y ii) el rango para la extracci�n. En total se trabaj� con 768 escenarios donde se calcul� el error absoluto medio y el error cuadr�tico medio. Se lleg� a las siguientes conclusiones, teniendo en mente que se busca el escenario que minimice el error absoluto medio y el error cuadr�tico medio (es decir, la mejor estimaci�n de la habilidad de los sustentantes):

• Para la equiparaci�n de dos formas de prueba no es importante el porcentaje de �tems ancla (l�gicamente llegando m�ximo al 30%). Tampoco es importante sesgos leves de la distribuci�n de las dificultades de los �tems.
• En general, cuando se construye un instrumento de evaluaci�n se desconoce las dificultades y su distribuci�n. De los resultados de esta investigaci�n se tiene que no es importante conocer las dificultades, sin embargo, estos deben seguir una distribuci�n normal est�ndar. Esto es importante en la estimaci�n de las habilidades mediante m�xima verosimilitud.
• En la estimaci�n de la habilidad por valores plausibles, es recomendable extraer 5 o m�s valores plausibles y considerar un rango de extracci�n de 2 o 4.
• Los peores escenarios muestran que esto ocurre cuando la distribuci�n de la dificultad de los �tems es uniforme en el intervalo . Al respecto, al construir una prueba de evaluaci�n no es buena idea elegir �tems que generen una distribuci�n uniforme de las dificultades en la prueba, m�s bien, deben generar una distribuci�n normal est�ndar.

Algunos autores han estudiado el problema de la estimaci�n de la habilidad en un entorno de equiparaci�n, al respecto Seong (1990) muestra que el aumento del n�mero de puntos de cuadratura mejor� la precisi�n de la estimaci�n de los par�metros del �tem. Kim y Nicewander (1993) exploraron los estimadores de m�xima verosimilitud [MLE (θ)], probabilidad ponderada [WLE (θ)], modal bayesiano [BME (θ)], esperado a posteriori [EAP (θ)], ellos muestran que las estimaciones de la habilidad de estos estimadores son razonablemente imparciales para el rango de habilidades correspondiente a la dificultad de una prueba, y que sus errores est�ndar eran relativamente peque�os. Estos autores presentan evidencia a favor de los resultados de este trabajo.

Por otro lado, algunos autores presentan resultados que contrastan con los de este trabajo. Guam�n y Sepa (2023) indican que las estimaciones m�s precisas, son con la estimaci�n mediante valores plausibles, sin embargo, en esta investigaci�n no se demuestra que los datos se ajustan a un modelo psicom�trico de Rasch, por lo tanto, los resultados no son confiables. Lord (1953) menciona que la estimaci�n optima de la habilidad, mediante �tems de opci�n m�ltiple con un nivel de dificultad del �tem algo m�s f�cil que el punto medio entre 0.5 y 1.

Dentro de las limitaciones de esta investigaci�n est�n, el estudio de la precisi�n de la estimaci�n de la habilidad cuando el tama�o muestral aumenta. Adem�s, solo se consideraron dos estimadores de la habilidad. Al respecto se podr�a considerar en la investigaci�n futura otros estimadores como el algoritmo EM (Bock y Aitkin, 1981). Tambi�n, se podr�a estudiar m�todos para reducir el sesgo cuando se desconoce las dificultades de los �tems (Zhan, 2005).

 

Referencias

      1.            Attorresi, H. F., Lozzia, G. S., Abal, F. J. P., Galibert, M. S., & Aguerri, M. E. (2009). Teor�a de Respuesta al �tem. Conceptos b�sicos y aplicaciones para la medici�n de constructos psicol�gicos. Revista Argentina de cl�nica psicol�gica, 18(2), 179-188.

      2.            Banerjee, O., El Ghaoui, L., & d'Aspremont, A. (2008). Model selection through sparse maximum likelihood estimation for multivariate Gaussian or binary data. The Journal of Machine Learning Research, 9, 485-516.

      3.            Bock, RD, Aitkin, M. Estimaci�n de m�xima verosimilitud marginal de los par�metros del �tem: aplicaci�n de un algoritmo EM. Psicometrika 46, 443�459 (1981). https://doi.org/10.1007/BF02293801

      4.            Braun, H., & Holland, P. (1982). Observed-score test equating: a mathematical analysis of some ETS equating procedures. In P. Holland & D. Rubin (Eds.), Test equating (Vol. 1, pp. 9�49). New York: Academic Press.

      5.            Chalmers, P., Pritikin, J., & Oguzha, O. (2023). MIRT: Multidimensional Item Response Theory. R Package Version 3.6.0.

      6.            Eliason, SR (1993). Estimaci�n de m�xima verosimilitud: L�gica y pr�ctica (N� 96). Sabio.

      7.            Guam�n, E., & Sepa M. (2023). Comparaci�n En La Estimaci�n De La Habilidad De Sustentantes Entre La Teor�a De Respuesta Al �tem Vs La Metodolog�a De Valores Plausibles.

      8.            Hambleton, R. K., Swaminathan, H., Hambleton, R. K., & Swaminathan, H. (1985). Estimation of Ability. Item Response Theory: Principles and Applications, 75-99.

      9.            Kiefer, T., Robitzsch, A., & Wu, M. (2016). TAM: Test analysis modules. R Package Version 1.995-0.

  10.            Kim, JK, Nicewander, WA Estimaci�n de capacidad para pruebas convencionales. Psicometrika 58, 587�599 (1993). https://doi.org/10.1007/BF02294829

  11.            Leenen, I. (2014). Virtudes y limitaciones de la teor�a de respuesta al �tem para la evaluaci�n educativa en las ciencias m�dicas. Investigaci�n en educaci�n m�dica, 3(9), 40-55.

  12.            Lord, FM Una aplicaci�n de intervalos de confianza y de m�xima verosimilitud a la estimaci�n de la capacidad de un examinado. Psicometrika 18, 57�76 (1953). https://doi.org/10.1007/BF02289028

  13.            Mu�iz Fern�ndez, J. (2010). Las teor�as de los tests: teor�a cl�sica y teor�a de respuesta a los �tems. Papeles del Psic�logo: Revista del Colegio Oficial de Psic�logos.

  14.            Myung, I. J. (2003). Tutorial on maximum likelihood estimation. Journal of mathematical Psychology, 47(1), 90-100.

  15.            Rasch, G. (1960). Studies in mathematical psychology: I. Probabilistic models for some intelligence and attainment tests.

  16.            Seong, T. J. (1990). Sensitivity of marginal maximum likelihood estimation of item and ability parameters to the characteristics of the prior ability distributions. Applied psychological measurement, 14(3), 299-311.

  17.            Thompson, N. A. (2009). Ability estimation with item response theory. Assessment Systems Corporation, 20.

  18.            Wu, M. (2022). A Course on Test and Item Analyses. https://www.edmeasurementsurveys.com/IRT/index.html

  19.            Zhang, J. (2005). Bias correction for the maximum likelihood estimate of ability. ETS Research Report Series, 2005(2), i-39.

 

 

 

 

 

 

 

 

� 2024 por los autores. Este art�culo es de acceso abierto y distribuido seg�n los t�rminos y condiciones de la licencia Creative Commons Atribuci�n-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)

(https://creativecommons.org/licenses/by-nc-sa/4.0/).

 

 

 

 

 

 

 

�������������������������������������������������������������������������������������������������������������������������