Relación entre el Índice de Desarrollo de las TICs y el rendimiento académico medido mediante la prueba PISA

 

Relationship between the ICT Development Index and academic performance measured by the PISA test

 

Relação entre o Índice de Desenvolvimento de TIC e o desempenho acadêmico medido pelo teste PISA

 


Lelly María Useche-Castro I

lellyestadistica@outlook.es

https://orcid.org/0000-0002-4294-9009

 

Jean Carlos Pérez-Parra II

jcarlospp@gmail.com

http://orcid.org/0000-0002-7971-1782

 

Víctor Ernesto Márquez-Pérez III

victore.marquezp@gmail.com

https://orcid.org/0000-0003-2458-2415

 

Correspondencia: lellyestadistica@outlook.es

 

Ciencias de la educación  

Artículo de investigación        

                                                   

*Recibido: 30 de junio de 2020 *Aceptado: 30 de julio de 2020 * Publicado: 15  de agosto de 2020

 

        I.            Ingeniero Industrial, Instituto de Ciencias Básicas, Universidad Técnica de Manabí (UTM), Portoviejo, Ecuador.

     II.            Doctor en Ciencias Mención en Química, Ingeniero Químico,  Universidad Técnica de Manabí (UTM), Portoviejo, Ecuador.

   III.            Magíster Scientiae en Estadística Aplicada, Doctor en Estadística, Ingeniero de Sistemas, Universidad Técnica de Manabí (UTM), Portoviejo, Ecuador.

 

                                                              


Resumen                                                                                                    

Se determinó la influencia de TICs en la enseñanza-aprendizaje en la educación mundial y latinoamericana. A nivel mundial, se comparó mediante correlaciones el Índice de Desarrollo de las TICs (IDI) publicado por la Unión Internacional de Comunicaciones del año 2017 con respecto a la prueba del Programa Internacional para la Evaluación de Estudiantes (PISA) para el año 2018, obteniéndose correlaciones bajas a nivel mundial, sin embargo, a nivel latinoamericano, se presentan correlaciones medianas a pesar del crecimiento de la implementación de TIC, estos resultados indican que aún no se ha encontrado la manera de capitalizar el beneficio de éstas herramientas en la educación. También se construyó un Análisis de Componentes Principales y un Clúster, ambas técnicas separan en dos grupos, los países desarrollados con altas inversiones en tecnología y los que están en vías de desarrollo entre ellos los países latinoamericanos con baja inversión en tecnología.  Luego se lleva a cabo mediante la creación de Odd Ration las estimaciones de los cambios en las puntuaciones en la prueba PISA según los cambios en IDI en el que se pudo aprecia que, los países de bajas inversiones no tienen probabilidades de condicionadas a altas calificaciones, sus probabilidades están en calificaciones bajas y medias, mientras que los países con altas inversiones tienen altas probabilidades de calificaciones altas y nulas en calificaciones bajas. Hay excepciones de baja inversión y alta calificación con los países; Austria, Bélgica, Croacia y la Federación Rusa.

Palabras claves: TICs; IDI; PISA; educación; análisis de componentes principales; clúster; odd rations.

 

Abstract

The influence of ICTs in teaching-learning in world and Latin American education was determined. At a global level, the ICT Development Index (IDI) published by the International Union of Communications for the year 2017 was compared by means of correlations with the test of the International Program for Student Assessment (PISA) for the year 2018, obtaining Low correlations at the world level, however, at the Latin American level, there are medium correlations despite the growth of ICT implementation, these results indicate that a way to capitalize on the benefit of these tools in education has not yet been found. A Principal Component Analysis and a Cluster were also built, both techniques separate into two groups, developed countries with high investments in technology and those that are developing, including Latin American countries with low investment in technology. Then, through the creation of Odd Ration, the estimates of the changes in the scores in the PISA test are carried out according to the changes in IDI in which it could be seen that, the countries with low investments are not likely to be conditioned to high scores, their odds are for low and medium ratings, while high-investment countries have high odds for high ratings and zero for low ratings. There are exceptions of low investment and high qualification with the countries; Austria, Belgium, Croatia and the Russian Federation.

Keywords: ICTs; IDI; PISA; education; principal component analysis; cluster; odd rations.

 

Resumo

A influência das TICs no ensino-aprendizagem na educação mundial e latino-americana foi determinada. Em nível global, o Índice de Desenvolvimento de TIC (IDI) publicado pela União Internacional de Comunicações para o ano de 2017 foi comparado com o teste do Programa Internacional de Avaliação de Alunos (PISA) para o ano de 2018, obtendo Baixas correlações em todo o mundo, no entanto, no nível latino-americano, há correlações médias, apesar do crescimento da implementação das TIC, esses resultados indicam que ainda não foi encontrada uma forma de capitalizar o benefício dessas ferramentas na educação. Também foram construídos uma Análise de Componentes Principais e um Cluster, ambas técnicas separadas em dois grupos, países desenvolvidos com altos investimentos em tecnologia e aqueles em desenvolvimento, incluindo países da América Latina com baixo investimento em tecnologia. Em seguida, por meio da criação do Odd Ration, as estimativas das mudanças nas pontuações no teste PISA são realizadas de acordo com as mudanças no IDI em que se pôde constatar que os países de baixo investimento não têm probabilidade de serem condicionados a altas pontuações, suas chances estão em classificações baixas e médias, enquanto países com alto investimento têm chances altas de classificações altas e zero chance em classificações baixas. Há exceções de baixo investimento e alta qualificação com os países; Áustria, Bélgica, Croácia e Federação Russa.

Palavras-chave: TICs; IDI; PISA; Educação; análise do componente principal; grupo; rações estranhas.

 

Introducción

En los últimos años muchos países han aumentado la inversión en tecnologías de información y comunicación (TICs), esto ha hecho que se experimente un incremento acelerado en el uso de las TICs a nivel mundial. Para el 2015, los principales países que lideraban la lista del índice de desarrollo de las TICs fueron: Singapur, Finlandia, Suecia, Holanda y Noruega. Sin embargo, ya para el año 2017 los países que la lideraban eran; Islandia, República de Corea, Dinamarca, Suiza y Reino Unido, observándose cambios en el tiempo UIT (2017).

Latinoamérica y el Caribe no escapan a esta corriente de crecimiento en el uso de las TICs, por ejemplo; según CEPAL (2016), los usuarios de internet en Latinoamérica realizan un uso intensivo de las redes sociales, con tasas superiores a la de EEUU y Europa. Sin embargo, hace referencia a lo que siempre ha sido un obstáculo en cuanto al uso de las TICs, la brecha tecnológica, ubicándolas como una nueva modalidad de exclusión social. Además, Sunkel G. y col. (2014) señala que no se dispone de información a nivel regional sobre la reducción de la brecha digital en la calidad del acceso o en la eficiencia de éste, por ejemplo; internet o banda ancha, si es el acceso es en un laboratorio de informática o en el hogar, sí existen límites en el tiempo de conexión o por el contrario es ilimitado y si tiene que compartir la red con varios computadores. Es poca la información que se tiene de la región sobre los aspectos antes mencionados, esto hace necesario organizarla para poder realizar una evaluación que permita conocer la verdadera situación de nuestros países en lo que respecta al acceso a internet.

Los países latinoamericanos presentan desempeños diferentes en el uso de la tecnología considerando el aporte del PIB para gastos en tecnología (Torres, et al, 2020), La brecha tecnológica o también llamada digital, que se encuentra latente en Latinoamérica y el Caribe aunque no se pueda cuantificar aun hoy en día, muy posiblemente estará influyendo en la educación de la región específicamente en la educación primaria y media, ya que los centros educativos se encuentran en diversas zonas de la región tanto urbana como rural afectando algunas escuelas con respecto a las que se encuentran en las ciudades, en cambio, los centros de educación superior en la mayoría de los casos están ubicados en las grandes ciudades con acceso a tecnología.

La educación en el mundo especialmente en Latinoamérica, ha mejorado con el uso de las TICs, así lo han expresado diversos investigadores en el tema. Cabero y Gisbert (2005) manifiestan que los aportes del internet en el ámbito docente ponen a disposición del estudiante, permite la deslocalización del conocimiento, fomenta el autoaprendizaje del estudiante, ofrece diferentes herramientas de comunicación sincrónica y asincrónica para los estudiantes y docentes, facilita una formación grupal y colaborativa, interactividad entre docentes, deja constancia de la actividad realizada y ahorra recursos y desplazamientos entre otros. La web 2.0 y los espacios virtuales son actualizados constantemente, son interactivos y poseen un entorno amigable, es decir de fácil uso para cualquier persona, los estudiantes y docentes pueden planificar su tiempo de manera flexible, seleccionando cómo y cuándo publicar.

De Haro (2009) citado por Tuñez, M y Sixto, J (2012) considera que las redes sociales en el ámbito docente tienen tres ventajas fundamentales: minimizan la necesidad de formación porque todos usan el mismo recurso, favorece la comunicación con los estudiantes debido a que es bidireccional y su carácter generalista permite el uso universal de las mismas. Ante tales ventajas es notorio suponer que la inversión llevada a cabo por un país influye en el mejoramiento de la educación de sus ciudadanos y por tanto en mejores profesionales que contribuyen a un desarrollo más eficaz de la nación, he allí la importancia de conocer con que fuerza está influyendo dicha inversión en la educación.

El crecimiento de las TIC en la educación ha creado nuevas competencias en el estudiante y en el docente virtual, que anteriormente no existían. En el estudiante ha creado competencias como: el manejo de la web, la búsqueda del material correcto entre una cantidad de información muchas veces no real, el aprendizaje en grupo y los resultados sean expuestos al público de tal manera que se facilite su comprensión. El docente virtual además de resolver dudas, mantiene la participación del grupo, el material a colocar en la web requiere de más horas para la elaboración y debe ser concreto y explícito, mantener el ambiente bajo control donde todos en la medida de lo posible participen, para ello requiere de técnicas de enseñanza nuevas. Fariña, Gonzáles y Area (2012) concluyen que las TICs en la educación ha dejado de ser sólo una experiencia que realizaban algunos docentes interesados en integrarlas en la docencia para ser una realidad en continuo crecimiento. Sin embargo, a pesar de que los docentes conocen el potencial innovador y pedagógico de las TICs, estas se usan principalmente como repositorio de información y para el seguimiento de actividades que realizan con los estudiantes. Por tanto, es necesario dar lugar a una docencia virtual activa, participativa y colaborativa.

Ya Cabero y Gisbert (2005), habían expresado que las TICs, sobre todo las redes telemáticas, permitirían que los estudiantes y profesores realicen las actividades formativas y de interacción comunicativa independientemente del espacio y del tiempo en el que cada uno se sitúe; es decir, van a permitir la colaboración e intercambio de información entre el profesor y el estudiante, más allá de los límites espacio-tiempo donde ambos se ubiquen, siendo una de las principales ventajas de las TICs, ya que ha permitido que muchos personas se hayan integrado a los procesos educativos a pesar de estar trabajando o haciendo otras actividades, y esto no ocurre sólo con la educación universitaria sino también con la educación primaria y de bachillerato.

Varios estudios han indagado sobre la relación entre el acceso y el uso de las TICs y los logros de los estudiantes en términos de aprendizaje. Sin embargo, la evidencia empírica todavía no es concluyente respecto a esta cuestión (Alderete, 2017). Ancira y Mortera (2011) señalan algunos beneficios en el uso de las TICs en el proceso de enseñanza-aprendizaje a nivel de educación media, los cuales son: acceso a materiales, incrementos en motivación y productividad, mejoras en la comprensión y el desempeño de los estudiantes. Si embargo, señalan además algunos obstáculos para el uso de la tecnología en la educación, como son el acceso a recursos y la capacitación del profesorado.

Es por ello que nivelar y solventar las diferentes causas de los problemas en la utilización de las TICs aún es un camino por resolver que inicialmente debe partir por la caracterización actual de la situación tanto a nivel mundial como en Latinoamérica. Por lo anteriormente expuesto se plantea este estudio, cuyo objetivo es evaluar la relación entre el desarrollo de las TICs y el rendimiento académico a nivel de bachillerato, a nivel mundial, y más específicamente, en Latinoamérica.

En Latinoamérica, los gobiernos han hecho grandes inversiones en los últimos años en tecnología, la cual se ha visto reflejada en el sector de la educación en sus distintos niveles tanto a nivel de primaria, bachillerato y a nivel universitario. Sin embargo, los cambios en cuanto al rendimiento estudiantil no han sido notorios, aunque falta profundizar más en las investigaciones acerca de la situación actual y las causas del por qué nuestros países no han podido estar al nivel de otros países del mundo. Algunas investigaciones relevantes al respecto tenemos;

Lugo M., (2010) expresa que las TICs no son la panacea para los problemas educativos, representan una ventana de oportunidad para innovar en la gestión del conocimiento, en las estrategias de enseñanza, en las configuraciones institucionales, en los roles de los profesores y los alumnos. Los países de la región han entendido la importancia de integrar las TICs en sus proyectos educativos como una forma de lograr proyectos democráticos de inclusión y justicia. Es así que se desarrollan iniciativas de integración de las TICs que se encuentran en diferentes etapas y modalidades. Entre una serie de iniciativas de TICs paradigmáticas evaluadas, se ha encontrado que ninguna está en la etapa más avanzada de desarrollo; sin embargo, el escenario es alentador ya que en todos los países de América Latina se están llevando a cabo experiencias que apuntan a la inclusión y la igualdad.

Gabriel Sánchez (2015) expresa que, una mayor inversión sola no puede resolver problemas de educación. Es por eso que se necesita una conversación en América Latina, que se centre en maneras innovadoras para mejorar la calidad, lo antes posible.

Algunos casos específicos de países de la región tenemos; en relación a Latinoamérica se tiene que, por ejemplo en México, los cambios en la educación en los últimos años han sido muy pocas, manteniendo muy cercanos en la prueba PISA, a pesar de los esfuerzos en inversiones de todo tipo, lo que podría generar un cambio es en el currículo especialmente al docente, razón por la cual se puede incorporar a esta opinión del autor que el currículo debería estar integrado el manejo eficiente de las TICs en las aulas de clase (Martínez, 2018).  Por otro lado, Said, Valencia y Silveira (2016) establecieron y analizaron los factores de competencia, actitudinales y del ambiente escolar asociados al aprovechamiento de las tecnologías de información y las comunicaciones (TICs) en los docentes de Brasil, lo cual concluyó en que se debe mejorar el conocimiento instrumental de la tecnología para la incorporación total en las escuelas, para ello se debe mejorar la dinámica organizacional en conjunto con todos los involucrados, responsables públicos, docentes, directivos, estudiantes y comunidad.

Balankat et al. (2006) citado por Correa y Martínez (2010) identificaron limitaciones en la implementación de las TICs agrupándolos en tres niveles, a nivel micro que es con el docente, a nivel meso que es en la institución y a nivel macro que es el sistema en sí. Se ha invertido a nivel de sistema con las prácticas y políticas gubernamentales en los países latinoamericanos, a nivel de institución aún están en proceso de implementación en cuanto a la infraestructura y acceso a las TIC, mencionando nuevamente el tema de la brecha tecnológica, en el cual en acceso a la tecnología en algunas escuelas están muy bien implementadas pero en otras no, sobre todo en las zonas rurales, y a nivel micro se considera la barrera principal que aunque una institución tenga políticas  e implementación TICs, es importante que los docentes dominen prácticas pedagógicas con uso de TICs, para ello se debe entrenar y preparar incluso a nivel de currículo de formación profesional, manejar las TICs en el proceso enseñanza-aprendizaje en los salones de clase.

Si se han hecho estudios estadísticos más allá de unas estadísticas descriptivas univariantes para analizar los resultados obtenidos en las pruebas PISA, principalmente con el objetivo de comparar bajo condiciones similares los resultados de los puntajes en países latinoamericanos. En uno de estos estudios realizados por González y San Martín (2009), mediante el uso de modelos jerárquicos, establecieron comparaciones de otros países con respecto a Chile, llegando a la conclusión que aun cuando hay países con puntajes superiores a Chile, el rendimiento de este país es superior al de la mayoría de los países latinoamericanos.

Como lo expresa Andión Mauricio (2018): “Se necesitan maestros que habiten en un mundo cibernético como nativos, estén formados en el nuevo paradigma de la educación centrado en el aprendizaje. La formación de este nuevo tipo de maestros mejor preparados y su integración eficaz al medio escolar implica, necesariamente, la transformación del currículo y los perfiles profesionales de las escuelas normales, así como de la misma estructura curricular de la educación básica y el desarrollo de nuevos paquetes de materiales educativos en todo tipo de soportes y formatos mediáticos”.

Es por ello que se desea medir la relación existente entre la inversión que hacen los países en las TICs y la influencia en la educación principalmente de secundaria medida mediante la prueba PISA.

 

Metodología

Se inicia con un cálculo de las correlaciones de Pearson entre las variables relacionadas con Tics con las variables relacionadas con educación. Haciéndose dos comparaciones, una a nivel mundial y otra a nivel de Latinoamérica y el Caribe.

Para la comparación mundial y a nivel de Latinoamérica del uso de las TICs en la educación, se usó el índice de desarrollo de las TICs (IDI) publicado por la Unión Internacional de Comunicaciones desde el año 2009. Este índice está compuesto por 11 indicadores, cuyo objetivo principal es medir: nivel y evolución de las TICs, brecha digital, potencial de desarrollo de las TICs y el grado en que los países pueden hacer uso de ellas para mejorar el crecimiento y desarrollo en el contexto de las capacidades y habilidades disponibles (García, A., 2015).

En relación al rendimiento académico a nivel mundial, se utilizó el indicador que estandariza ésta variable mediante la aplicación de la prueba PISA (por sus siglas en inglés: Programme for International Student  Assessment), la cual se ha implementado desde el año 1997 y se lleva a cabo cada tres años por la Organización para la Cooperación y el Desarrollo Económico (OCDE) para monitorear la situación educativa de sus países miembros y asociados, incluye alumnos entre 15 y 16 años que hayan terminado 6 cursos de enseñanza obligatoria. Para el muestreo, se seleccionan aleatoriamente los establecimientos educativos que participaran en el programa, y luego en una segunda etapa se seleccionan aleatoriamente los estudiantes que realizaran la prueba. Esta se concentra en tres áreas del conocimiento: Ciencias, Lectura y Matemáticas.

Luego se hace una clasificación de los países según Índice de Desarrollo de las Tics (IDI) y PISA (en sus tres áreas de conocimiento) para poder obtener grupos según estos indicadores, observando la ubicación de los países latinoamericanos en estos grupos obtenidos. Esta clasificación se hace mediante dos técnicas multivariantes en la cual sólo se usarán desde el punto de vista descriptivo como lo son: el análisis Clúster (para obtener los grupos) y el análisis de Componentes Principales (para observar el comportamiento de los países según las variables IDI y PISA). Finalmente se elaboran Odd Ration para determinar la magnitud de los cambios de baja a alta inversión en tecnología como son los cambios con respecto a los rendimientos académicos.

 

Resultados

Etapa I: Comparación de la inversión en tecnología y el rendimiento estudiantil en algunos países de Latinoamérica.

 

Tabla 1. Resultados del Índice IDI y puntajes PISA de los países Latinoamericanos y del Caribe que participan.

PAIS

IDI

CIENCIAS

LECTURA

MATEMÁTICAS

Argentina

6,68

404

402

379

Brasil

5,89

404

413

384

Chile

6,28

444

452

417

Colombia

5,12

413

412

391

Costa Rica

6,29

416

426

402

México

4,87

419

420

409

Panamá

4,80

365

377

353

Perú

4,61

404

401

400

Rep. Dominicana

4,26

336

342

325

Uruguay

6,75

426

427

418

Fuente: UIT (Unión Internacional de Comunicaciones) y PISA

 

Se calcula las correlaciones y se aprecia en la tabla 2.


 

Tabla 2. Correlación de Pearson entre las variables IDI y los puntajes PISA.

 

IDI

CIENCIAS

0,649*

LECTURA

0,671*

      MATEMÁTICAS

0,558

Elaboración propia

 

Como se aprecia en la tabla 2 la correlación entre las pruebas PISA de las áreas de ciencias y lectura con respecto al índice IDI son significativas y medianamente positivas (mayores a 0,6); mientras que en el área de matemáticas la correlación es medianamente no significativa con respecto a la inversión en tecnología. Este resultado podría indicar que en los países latinoamericanos si hay una influencia de la inversión entre la inversión en tecnología y el aumento de los puntajes en las pruebas PISA, pero esa relación entre ambas no es fuerte como para que sea un factor determinante en los resultados del rendimiento académico.

Etapa II: Comparación del uso de las TICs en relación al rendimiento a nivel mundial.

En la tabla 3 se aprecia los valores de los índices IDI y puntajes PISA por el resto de los países no latinoamericano, con estos datos se calculan nuevamente las correlaciones entre los índices de manera bivariada, los cuales se aprecian en la tabla 4.

 

Tabla 3. Resultados del Índice IDI y puntajes PISA de los países participantes a nivel Mundial.

PAIS

IDI

CIENCIAS

LECTURA

MATEMÁTICAS

Albania

4,90

417

405

437

Alemania

8,20

503

498

500

Arabia Saudita

6,87

386

399

373

Australia

8,08

503

503

491

Austria

,08

490

484

499

Bélgica

,08

499

493

508

Bielorrusia

7,29

471

474

472

Bosnia y Herzegovina

5,23

398

403

406

Brunei Darussalam

6,56

431

408

430

Bulgaria

6,66

424

420

436

Canadá

7,64

518

520

512

China

5,17

516

503

531

Chipre

7,30

439

424

451

Croacia

,07

472

479

464

Dinamarca

8,68

493

501

509

Emiratos Árabes Unido

7,18

434

432

435

Eslovaquia

6,84

464

458

486

Eslovenia

7,20

507

495

509

España

7,61

483

482

481

Estados Unidos

8,13

502

505

478

Estonia

8,16

530

523

523

Federación Rusa

,07

478

479

488

Filipinas

4,52

357

340

353

Finlandia

7,83

522

520

507

Francia

8,05

493

493

495

Georgia

,06

383

380

398

Grecia

7,08

452

457

451

Hong Kong, China

8,47

517

524

551

Hungría

6,74

481

476

481

Indonesia

3,85

396

371

379

Irlanda

,08

496

518

500

Israel

7,71

462

470

463

Italia

6,84

468

476

487

Japón

8,32

529

504

527

Jordán

5,97

429

419

400

Kazajstán

6,72

397

387

423

Letonia

7,05

487

479

496

Líbano

6,09

384

353

393

Lituania

,07

482

476

481

Luxemburgo

,08

477

470

483

Macao, China

7,55

544

525

558

Malasia

6,22

438

415

440

Malta

7,65

457

448

472

Marruecos

4,57

377

359

368

Moldavia

6,21

428

424

421

Montenegro

6,30

415

421

430

Noruega

8,45

490

499

501

Nueva Zelanda

8,23

508

506

494

Polonia

6,73

511

512

516

Portugal

6,88

492

492

492

Reino Unido

8,53

505

504

502

Republica checa

7,06

497

490

499

Rumania

6,23

426

428

430

Serbia

6,51

440

439

448

Singapur

7,85

551

549

569

Suecia

8,41

499

506

502

Suiza

8,66

495

484

515

Tailandia

5,31

426

393

419

Ucrania

5,31

469

466

453

Fuente: UIT (Unión Internacional de Comunicaciones) y PISA

 

 Las correlaciones de las variables son apreciadas en la tabla 4.

 

Tabla 4. Correlación de Pearson entre las variables IDI y los puntajes PISA a nivel Mundial.

 

IDI

CIENCIAS

0,263

LECTURA

0,252

MATEMÁTICAS

0,243

 

Las correlaciones obtenidas a nivel mundial entre el indicador IDI y los resultados de la prueba PISA (por debajo de 0,3), fueron inesperadamente distintas a las correlaciones obtenidas en los países latinoamericanos, es decir, correlaciones muy débiles. Este resultado indica que a nivel mundial la inversión en tecnología pareciera no influir en los puntajes PISA de las áreas tanto de (ciencias, lectura y matemáticas).

Etapa III. Caracterización de grupos de países según el índice IDI y los resultados PISA.

Con la finalidad de clasificar los países según el índice IDI y la prueba PISA en sus categorías de Matemáticas, Ciencia y Lectura se lleva a cabo inicialmente un Análisis de Componentes Principales y luego un Análisis Clúster los cuales dan resultados muy similares en cuanto a los grupos que se forman con ambas técnicas.

 

Análisis de componentes principales

El análisis de componentes principales es un método de interdependencia, recomendado cuando se tienen un conjunto de variables correlacionadas y se desea reducir la información mediante nuevas variables llamadas componentes principales. Estas variables están incorrelacionadas y son combinaciones lineales de las originales. Lo que permite un análisis más simple del problema, que para este caso es de carácter descriptivo. (Peña, 2002)

Para la técnica de Análisis de Componentes Principales, se construyó con los 69 países que participan en la construcción del IDI y las variables IDI (índice de desarrollo de las Tics), PISA_CIENCIAS (puntaje en el área de ciencias), PISA_LECTURA, (puntaje en el área de lectura), PISA_MATEMÁTICAS (puntaje en el área de matemáticas).

 

Primera componente

La componente que se forma explica casi el 75,6% con un estadístico de bondad de ajuste KMO (Kaiser-Meyer-Olkin) de 0,728 lo que indica que la técnica de Componentes Principales es adecuada aplicarla, siendo muy aceptado el resultado que originó el análisis. Esta componente expresa el orden de los países según las puntuaciones de las diferentes pruebas (ver figura 1 y 2); Lectura, Ciencias y Matemáticas y la Inversión de los países con respecto en Tics. Se puede apreciar dos grupos, uno hacia el lado derecho formado por las puntuaciones altas y países desarrollados principalmente Singapur, Hong Kong, China, Finlandia, Japón, Estados Unidos, y otro grupo hacia el lado izquierdo o negativo formado países latinoamericanos entre otros.

 

 

 

 


 

Figura 1. Ubicación de los vectores de las variables con respecto a la primera y segunda componente principal

 

Figura 2. Ubicación de los países a nivel mundial en el componente Principal creada en el ACP

 

Figura 3. Ubicación de los países Latinoamericanos en el componente Principal del ACP

 

Observando el comportamiento sólo de Latinoamérica (figura 3), se aprecia que Chile encabeza los puntajes más altos en cuanto a la relación de los puntajes PISA y la inversión en tecnología, seguido por Uruguay, Costa Rica y México, y en los últimos lugares tenemos a Panamá y República Dominicana.

 

Análisis Clúster

El análisis Clúster es una técnica estadística multivariada para generar grupos o conglomerados, para este estudio tiene una finalidad descriptiva, es decir, generar agrupaciones de países con la mayor homogeneidad posible, dentro del mismo conglomerado, pero la mayor heterogeneidad entre los grupos que se formen Peña (2002). Se llevó a cabo conglomerados jerárquicos en el cual presenta una estructura vertical de dependencia entre los grupos formados, el número de partes en cada partición disminuye progresivamente, siendo más grandes, pero más heterogéneas cada una (Pérez, 2005). El método de análisis de conglomerado seleccionado es el método Ward o de varianza mínima considerando la distancia Euclídea al cuadrado como medida de disimilitud.

La figura 3 corresponde al dendongrama generado, para establecer la altura de corte y definir el número de grupos adecuados, se tomo de manera tal que se observa claramente dos grupos.

 

 


 

Figura 3. Dendrograma obtenido del análisis Clúster de las variables IDI y PISA

El primero hacia el lado derecho que llamaremos grupo 1, formado por 30 países que son los que poseen en líneas generales los puntajes más bajos tanto en la prueba PISA como en inversión y desarrollo en TICs. Dentro de este grupo y sin ninguna excepción se encuentra los 10 países latinoamericanos de estudio, en líneas generales países en vías de desarrollo. Sin embargo, dentro de este grupo si se hiciera una subdivisión, se obtendría, entre los países latinoamericanos los que presentan menor puntaje e inversión y desarrollo de las TICs están República Dominicana y Panamá, resultado que coincide con lo obtenido en el Análisis de Componentes Principales. A pesar de que en los países latinoamericanos han hecho grandes inversiones en tecnología, esto no se ve reflejado en el rendimiento académico de sus estudiantes.

Al lado izquierdo del dendograma se encuentra el grupo 2, en este grupo se destacan países europeos como Francia, Suiza, Suecia, Portugal, Bélgica, así como otros grandes países desarrollados como (Estados Unidos, Canadá, Japón, China) y Singapur, siendo un país que se destaca por su alto nivel educativo, tal como  lo expresa  Andere (2009) logrando los primeros lugares en matemáticas y ciencias de 1994-1995 de la IEA (Asociación Internacional para la Evaluación del Rendimiento Educativo) , en TIMSS Estudio de las Tendencias en Matemáticas y Ciencias (del inglés  Trends in International Mathematics and Science Study) 1999 en matemáticas se ubicó en empate técnico en el primer lugar y en 2003  lo logró los países asiáticos como China, Japón, Hong Kong, entre otros, así como también Australia. Estos países se destacan por altas inversiones en tecnologías y altos índices en rendimiento académico en las áreas de Ciencia, Matemáticas y Lenguaje.

 

Comparación de conglomerados de países

Con el objetivo de estimar la distribución condicional de los puntajes PISA con respecto a los grupos alto y baja inversión en tecnología, se procedió a categorizar las variables puntajes PISA según los cuantiles. Por tanto, los grupos obtenidos fueron: puntuaciones Altas a los valores iguales o superiores al percentil 75, puntuaciones Medias a las puntuaciones entre los percentiles 25 y 75, y puntuaciones Bajas a las menores o iguales al percentil 25. Los percentiles calculados se aprecian en la tabla 6.


 

Tabla 6. Percentiles 25, 50 y 75 de los puntajes de las Pruebas PISA para Ciencias, Lectura y Matemáticas.

 

 

 

CIENCIAS

LECTURA

MATEMÁTICAS

PROMEDIO

Percentiles

≤ 25

418

414

417,5

416,5

25-75

468

470

472

470

≥ 75

498

498,5

500

498,83

 

Probabilidades Condicionales (Odd Ratio)

Según Cerda, Vera y Rada (2013) una forma alternativa de representar la posibilidad de ocurrencia de un evento de interés es mediante el uso de odds, definidos como un cociente entre el número de eventos y el número de "no eventos". Análogamente, Odds Ratio (OR) se define como un cociente entre dos Odds”.

 

Distribuciones condicionales de los puntajes dado el índice IDI

La prueba χ2 permite establecer la independencia entre dos factores contrastando la función de densidad de uno de los factores condicionados a los valores particulares del segundo factor, en este caso se construyó la probabilidad condicional.

                                                                                       (1)

 

: es el i-ésimo nivel en la prueba PISA, para i=1 (nivel bajo); para i=2 (nivel medio); para i=3(nivel alto)

: es el j-ésimo nivel de inversión en tecnología, para j=1 (nivel bajo); para i=2 (nivel alto).

Con la distribución condicional de la ecuación (1) se puede analizar las probabilidades de obtener distintos niveles de puntuación en la PISA; condicionada a distintas políticas de inversión en tecnología.

La variable aleatoria de interés es el puntaje de la prueba PISA dependiendo del nivel de inversión de tecnología en cada país (obtenido mediante el análisis CLUSTER); es por ello, que se estima las distribuciones de probabilidad condicional del puntaje PISA dado el nivel de tecnología.

 

 

Área Ciencias

La tabla 7 indica, por ejemplo, la probabilidad de que tengan una baja puntación en la prueba de ciencias dado que tiene una baja inversión es de 0.567 (56,7%). Así como la probabilidad de que tengan una puntación media en la prueba de ciencias dado que tiene una baja inversión es de 0,433 (43,3%). Por otra parte, la probabilidad de que tengan una media puntación en la prueba de ciencias dado que tiene una inversión alta es de 0,128 (12,8%) y la probabilidad de que tengan una alta puntación en la prueba de ciencias dado que tiene una inversión alta es de 0,872 (87,2%).

 

Tabla 7. Probabilidad de los niveles de puntuación en la PISA en cada una de las áreas condicionada a distintas políticas de inversión en tecnología.

 

P(x/y)

Puntuación Baja

Puntuación Media

Puntuación

Alta

Puntuación PISA_CIENCIAS

Baja Inversión

0,567

0,433

0

Alta Inversión

0

0,128

0,872

Puntuación PISA_LECTURA

Baja Inversión

0,567

0,433

0

Alta Inversión

0

0,154

0,846

Puntuación PISA_MATEMÁTICAS

Baja Inversión

0,567

0,433

0

Alta Inversión

0

0,154

0,846

 

Empíricamente se observa un comportamiento opuesto de la distribución de las puntuaciones de las pruebas PISA con respecto a la inversión de los países en tecnología. Además, si se calcula la razón de ventajas (Odd-Ratio) de la categoría puntuación media como se expresa en la ecuación (2)

                                                 

 

Lo que implica es que es 3,38 veces mayor la probabilidad de tener una puntuación media en la prueba de ciencias en los países con baja inversión en tecnología que aquellos que si lo hacen. Para las otras categorías no es necesario realizar el cálculo de Odd-Ratio ya que una de las probabilidades condicionales es igual a cero. Lo que indica el riesgo de obtener una puntuación baja en la prueba de ciencias al cambiar una política de alta inversión a baja inversión tiende a infinito. Es decir, un país con baja inversión en tecnología tiene posibilidades infinitas de bajas calificaciones en la prueba de ciencias, mientras que en los países de alta inversión sus probabilidades son nulas. Lo mismo ocurre al evaluar la ventaja de obtener una puntuación alta en la prueba PISA al cambiar la política de baja a alta, las posibilidades de los países en baja inversión son prácticamente nulas de obtener calificaciones altas, mientras que en los países que si lo hacen son muy altas.

Por otro lado, se confirma la hipótesis de dependencia entre el factor puntuación de PISA en Ciencias con el factor inversión en tecnología al realizar el contraste de hipótesis Chi-Cuadrado (tabla 8) con un p-valor ˂ 0,05; lo que indica con un 5% de significancia que se rechaza la hipótesis de independencia de factores. Es decir, el factor puntuación en la prueba de ciencias es dependiente al nivel de inversión en tecnología.

 

Tabla 8. Contraste Chi-cuadrado entre el factor puntuación de PISA-CIENCIAS con el factor inversión en tecnología.

Chi-Cuadrado

Valor

P-Valor

PISA-CIENCIAS

54,306

0,00

PISA-LECTURA

52,295

0,00

PISA-MATEMÁTICAS

52,295

0,00

 

 

 

 

 

 

 

 

Área de Lectura

En la prueba de Lectura la función de probabilidades condicional es la indicada en la tabla 7, es decir, la probabilidad de que tengan una baja puntación en la prueba de Lectura dado que tiene una baja inversión es de 0.567 (56,7%). La probabilidad de que tengan una puntación media en la prueba de Lectura dado que tiene una baja inversión es de 0,433 (43,3%). Por otra parte, la probabilidad de que tengan una media puntación en la prueba de Lectura dado que tiene una inversión alta es de 0,154 (15,4%) y la probabilidad de que tengan una alta puntación en la prueba de Lectura dado que tiene una inversión alta es de 0,846 (84,6%).

Al igual que en el área de ciencias, en la prueba de lectura se observa una estructura opuesta, reflejando una tendencia imposible para que ocurra puntuaciones altas en la prueba PISA en países con baja inversión en tecnología. Al igual que puntuaciones bajas en la prueba de lectura para los países de alta inversión en tecnología.

En cuanto al nivel de puntuación medio se calcula según la ecuación (3)

 

                                                                          (3)

 

Aumenta en un 2,81 veces la posibilidad de obtener una puntuación media en países con baja inversión en tecnología que en países con alta inversión en lo que respecta a Lectura, sin embargo, no existe probabilidades de calificación alta en los países de baja inversión en tecnología, y tampoco hay probabilidad de puntuaciones bajas en países de inversión alta.

Estadístico Chi-Cuadrado (tabla 8) es igual a 52,295 con un p-valor de 0,00. Por tanto, se rechaza la hipótesis de independencia de factores, es decir, el factor puntuación en la prueba de lectura es dependiente al nivel de inversión en Tecnología.

 

Pisa-Matemáticas

La función de probabilidades del nivel de puntuación de matemáticas condicionara el nivel de inversión es:

La tabla 7 indica, la probabilidad de que tengan una baja puntación en la prueba de matemáticas dado que tiene una baja inversión es de 0.567 (56,7%). La probabilidad de que tengan una puntación media en la prueba de matemáticas dado que tiene una baja inversión es de 0,433(43,3%). Por otra parte, la probabilidad de que tengan una puntuación media en la prueba de matemáticas dado que tiene una inversión alta es de 0,154 (15,4%) y la probabilidad de que tengan una alta puntación en la prueba de matemáticas dado que tiene una inversión alta es de 0,846 (84,6%).

Al igual que Ciencias y Lectura el comportamiento de la distribución del puntaje es opuesto entre los países de alta inversión y para baja inversión el Odd para x=2 se tiene en la ecuación (4)

 

               (4)

 

Los resultados obtenidos en las calificaciones de matemáticas son los mismos que los obtenidos en lectura, en el cual también se rechaza la hipótesis Chi-cuadrado de independencia de factores (tabla 8), es decir, el factor puntuación en la prueba de matemáticas es dependiente al nivel de inversión en tecnología.

 

Discusión y conclusiones

Las correlaciones de Pearson, aunque son unas técnicas sencillas bivariantes, nos ofrece una idea inicial de las correlaciones entre las variables estudiadas, son como un punto de partida para el uso posterior de las técnicas multivariantes. De acuerdo a las correlaciones obtenidas, se aprecia que a nivel mundial existe una relación débil entre la inversión que hacen los países en las TICs con el rendimiento académico, lo que pudiera atribuirse a que las grandes inversiones en tecnología se han realizado en años anteriores, sin embargo, al aplicar las técnicas multivariantes si se aprecia una influencia general de los países con IDI altos y altas notas en las pruebas PISA en las tres áreas del conocimiento evaluadas (Ciencia, Lectura y Matemáticas).

A nivel latinoamericano no ocurrió lo mismo, se aprecia correlación mediana a excepción del área matemática, es decir, que aun cuando los países de la región invierten en las TICs no se ha logrado influir en un mejor desempeño académico de la población del bachillerato. Esto concuerda con lo expresado por Brun (2011), el cual indica que los estudiantes de carrera docente no han tenido una respuesta favorable en cuanto a la preparación adecuada para usar las TICs en las escuelas, encontrándose un déficit en las competencias necesarias para enseñar implementando TICs, además que las habilidades básicas son insuficientes y poco vinculantes con las prácticas pedagógicas. También hay que considerar que según la Unión Internacional de Comunicaciones (UIT) se consideran tres etapas para el proceso de desarrollo de las TICs de un país para convertirse en una sociedad de información: Etapa 1: Preparación de las TICs: nivel de infraestructura de red y el acceso a las TICs. Etapa 2: Intensidad de las TICs, nivel de uso en la sociedad. Etapa 3: Impacto de las TICs, como resultado del uso de las TICs más eficiente y eficaces. Posiblemente, a los países latinoamericanos aún les falta mucho para convertirse en sociedades de información que les permita alcanzar la etapa 3, en la cual las TICs producen impactos positivos en las sociedades como resultado de un uso más eficiente y eficaz de las mismas. A nivel de Latinoamérica, a pesar de los esfuerzos de la CEPAL aún falta el levantamiento de indicadores que permitan conocer, a partir de información actualizada, la inversión y uso de las TICs, específicamente su relación en la educación de la Región.

La tecnología no es el objetivo final sino el mecanismo, la inversión debe ser el paso inicial, para que sea un factor influyente en la educación, sin embargo, debe ir acompañadamente de un correcto uso de la misma. Pareciera indicar que, en América Latina, a pesar que los gobiernos han invertido en tecnología, aún falta desarrollar la etapa de “intensidad de las TICs” y cambiar por métodos que permitan producir información, capacitar a los docentes y estudiantes a la creación de contenidos y al aprendizaje de la mano con la tecnología, esto implica cambios en el proceso de enseñanza-aprendizaje y en la producción de conocimientos.

Las técnicas de aglomeración como el Clúster es de gran beneficio para establecer grupos en las que puedan luego analizarse las condiciones que los separan o los hacen diferentes, más aún cuando son multivariantes, reforzándose el criterio de grupos a definir mediante un Análisis de Componentes Principales (ACP) que se puede hacer antes o después de la creación del dendograma. Siendo el ACP creado sólo para fines descriptivos con respecto a los análisis multivariantes. En este estudio existe marcadamente dos grupos, los grandes inversionistas en tecnología que presentan altos puntajes en la prueba PISA, que además son países considerados desarrollados desde hace varias décadas. El otro grupo en el que se encuentra países latinoamericanos que aunque en los últimos años ha invertido en tecnología, es necesario estudiar con más detalle la brecha tecnológica presente en esos países, donde por ejemplo el acceso a internet es eficiente en ciudades, pero no en zonas rurales. Se sospecha que aún en la región se mantiene el problema de la brecha digital, es por tanto que aún falta estudios que cuantifiquen esta problemática, tanto de manera geográfica como relacionándola con ciertas variables, tales como, tipo de institución educativa, ingreso familiar, ocupación de los padres, etc., el cual permitirá establecer políticas públicas y campañas de enseñanza que permitan cerrar esta brecha. Se coincide con los expresado por   Cejudo, M (2008), siempre habrá equivocaciones si se piensa que la simple presencia física de las TICs en los centros garantiza su utilización por el profesorado. Este debe estar capacitado para saber qué hacer con las mismas, cómo hacerlo, y por qué hacerlo.

Se observaron casos particulares en el cual países con puntajes altos en las pruebas PISA, pero su inversión en tecnología del año anterior era bastante baja, con puntuaciones por debajo de 1 punto, tales son los casos de Austria, Bélgica, Croacia y la Federación Rusa. Estos casos podrían estudiarse con más detalle acerca de que inversiones en tecnología han hecho en años anteriores o como son sus métodos de enseñanza y su relación con las TICs.

En este estudio se analizó el alumno mediante los puntajes PISA, y de cierta manera parte de las políticas gubernamentales, es decir, del sistema educativo, aunque no directamente hacia la inversión en el sector de educación sino sólo de la inversión que hace los países en tecnología. Sin embargo, a nivel de institución educativa y de práctica pedagógica con la tecnología no forma parte del estudio, siendo considerada una gran limitante que es difícil de medir hoy en día, sintiendo la necesidad de generar datos, e indicadores que permitan profundizar ese análisis principalmente a nivel latinoamericano.

                                                             

Referencias

1.      Ancira, A. Z., y Gutiérrez, F. J. M. (2011). “Integración y apropiación de las TIC en los profesores y los alumnos de educación media superior”. Apertura, 3(1), 142-155.

2.      Andere, E. (2009), “Singapur: Obsesión por la educación. Política educativa internacional”, pp.22-27. Recuperado a partir de http://www.eduardoandere.net/en-elmundo/singapur.pdf

3.      Andión, Mauricio. (2010). “Equidad tecnológica en la educación básica: Criterios y recomendaciones para la apropiación de las TIC en las escuelas públicas. Rencuentro”. Análisis de Problemas Universitarios [en línea] 2010, (Diciembre-Sin mes):[Fecha de consulta: 25 de junio de 2018] Disponible en:<http://www.redalyc.org/articulo.oa?id=34015675004> ISSN 0188-168X

4.      Alderete, M. V., Di Meglio Berg, G. A., & Formichella, M. M. (2017). Acceso a las TIC y rendimiento educativo: ¿una relación potenciada por su uso? Un análisis para España. Revista de educación, (377), 54-79.

5.      Brun, M. (2011), “Las tecnologías de la información y las comunicaciones en la formación inicial docente de América Latina”. Serie Políticas Sociales No. 172.CEPAL. Naciones Unidas.

6.      Brunner, J. (2008), “¿Una sociedad movilizada hacia las TIC?” En II PE-UNESCO-UNICEF, Las TIC del aula a la agenda política: pp.41-53. Buenos Aires, Argentina.

7.      Cabero, J., Gisbert, M. (2005), “La formación en Internet. Guía para el diseño de materiales didácticos”. Sevilla: MAD

8.      Cejudo, M. D. C. L. (2008). “Aspectos fundamentales de la formación del profesorado en TIC. Pixel-Bit”. Revista de medios y educación, (31), 121-130.

9.      CEPAL. Ciencia, tecnología e innovación en la era digital. (2016).  “La situación en América Latina y el Caribe”. Segunda reunión de la conferencia de Ciencias, Innovación y TIC de la CEPAL. Costa Rica.

10.  Cerda Jaime, Vera Claudio y Rada, Gabriel. (2013). “Odds ratio: Theoretical and practical issues”. Revista médica de Chile,141(10), 1329-1335. https://dx.doi.org/10.4067/S0034-98872013001000014

11.  Pérez César. (2005). “Métodos estadísticos avanzados con SPSS”, Thomson. España.

12.  Corporación de promoción económica de Quito (2007), Las tecnologías de la información y las comunicaciones en la competitividad de Quito, Ecuador. Recuperado en: http://www.infodesarrollo.ec/documentos/files/original/459293435d2d451ec86dcbf029627341.pdf

13.  Correa, J. M. y Martínez, A. (2010). “¿Qué hacen las escuelas innovadoras con la tecnología?: Las TIC al servicio de la escuela y la comunidad en el colegio Amara Berri”. Teoría de la Educación. Educación y Cultura en la Sociedad de la Información, 11(1).

14.  Fariña, Gonzales y Area (2012). “¿Qué uso hacen las aulas virtuales los docentes universitarios?”. RED. Revista de Educación a Distancia. Número 35.

15.  Felipe Martínez Rizo, (2018) “¿Por qué es tan difícil mejorar los niveles de aprendizaje? A propósito de las nuevas reformas a la educación básica mexicana”. Perfiles Educativos | vol. XL, núm. 159,| IISUE-UNAM |

16.  García, A. (2015). “Índice de desarrollo de las TIC”. Instituto de Competitividad. Universidad Católica del Uruguay. Recuperado en: http://www.ecuadorencifras.gob.ec/estadisticas/

17.  González, J., y San Martín, E. (2009). “Rendimiento en la prueba PISA:¿ Es posible entender los alcances y límites de las comparaciones entre países?”. L. Cariola, G. Cares y E. Lagos (Coords.), ¿Qué nos dice PISA sobre la educación de los jóvenes en Chile, 327-351.

18.  Ley No.417. “Ley Orgánica de Educación Intercultural_Quito, Ecuador”, 31 de marzo del 2011. (2020)

19.  Organisation for Economic Co-operation and Development. A system of health accounts [internet]. (2020) recuperado en: https://www.oecd.org/

20.  Organisation for Economic Co-operation and Development. A system of health accounts [internet]. (2020) recuperado en:

21.  https://www.oecd.org/pisa/

22.  Organización para la Cooperación y el Desarrollo Económico (OCDE). Prueba PISA. [internet]. (2020) recuperado en: http://www.oecd.org/pisa/test/

23.  Peña, D. (2002). Análisis de datos multivariantes. McGraw-Hill España.

24.  Said, J. Valencia y A. Silveira (2016). “Factores determinantes del aprovechamiento de las TIC en docentes de educación básica en Brasil”. Perfiles Educativos | vol. XXXVIII, núm. 151, 2016 | IISUE-UNAM E. |

25.  Plan Nacional para el Buen Vivir 2013-2017: “Todo el mundo mejor”, Quito, Ecuador.

26.  Ser Bachiller. Prueba Ser Bachiller. Recuperado de: www.ecuador.gob.ec/ser-bachiller/

27.  Sunkel,G. Trucco, D, y Espejo, A (2014): “La integración para las tecnologías digitales en las escuelas de América Latina y el Caribe”, CEPAL, Chile. Recuperado en: http://www20.iadb.org/intal/catalogo/PE/2014/14360.pdf

28.  Torres-Samuel, M., Stanescu, C. L. V., Luna-Cardozo, M., Viloria, A., & Crissien, T. (2020). Eficiencia técnica de la investigación y desarrollo, ciencia y tecnología, educación e innovación en países Latinoamericanos. Revista Ibérica de Sistemas e Tecnologias de Informação, (E29), 582-594.

29.  Tuñez, M y Sixto, J (2012): “Las Redes Sociales como entorno docente: Análisis del uso de FACEBOOK en la docencia universitaria Pixe-Bit”. Revista de Medios y Educación,  núm. 41, julio, 2012, pp.77-92 Universidad de Sevilla, España.

30.  UIT (Unión Internacional de Comunicaciones) (2020). Medición del Informe de la Sociedad de la Información 2017. Vol 1. Recuperado en; https://www.itu.int/en/ITU-D/Statistics/Pages/publications/mis2017.aspx

 

 

 

 

 

©2020 por los autores. Este artículo es de acceso abierto y distribuido según los términos y condiciones de la licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0) (https://creativecommons.org/licenses/by-nc-sa/4.0/).

Enlaces de Referencia

  • Por el momento, no existen enlaces de referencia
';





Polo del Conocimiento              

Revista Científico-Académica Multidisciplinaria

ISSN: 2550-682X

Casa Editora del Polo                                                 

Manta - Ecuador       

Dirección: Ciudadela El Palmar, II Etapa,  Manta - Manabí - Ecuador.

Código Postal: 130801

Teléfonos: 056051775/0991871420

Email: polodelconocimientorevista@gmail.com / director@polodelconocimiento.com

URL: https://www.polodelconocimiento.com/