����������������������������������������������������������������������������������

 

Desarrollo de una herramienta para el aprendizaje del abecedario Ecuatoriano, basado en redes neuronales artificiales para la ense�anza inclusiva de lenguaje de se�as

 

Development of a tool for learning the Ecuadorian alphabet, based on artificial neural networks for the inclusive teaching of sign language

 

Desenvolvimento de uma ferramenta para aprender o alfabeto equatoriano, baseada em redes neurais artificiais para o ensino inclusivo da l�ngua de sinais

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Correspondencia: caritoarmendariz2@gmail.com

 

 

Ciencias de la Educaci�n ���

Art�culo de Investigaci�n

��

* Recibido: 23 de mayo de 2023 *Aceptado: 12 de junio de 2023 * Publicado: �03 de julio de 2023

 

1. PhD(c) en Ciencias de la Educaci�n, Mag�ster en Desarrollo de la Inteligencia y Educaci�n, Licenciada en Ciencias de la Educaci�n, Instituto Superior Tecnol�gico Bol�var, Ecuador.
2. Mag�ster en Educaci�n menci�n TICs, Licenciado en Ciencias de la Educaci�n, Instituto Superior Tecnol�gico Bol�var, Ecuador.
3. Mag�ster en Educaci�n Menci�n en Tecnolog�a e Innovaci�n Educativa, Ingeniera en Sistemas Inform�ticos, Instituto Superior Tecnol�gico Bol�var, Ecuador.
4. Mag�ster en Inform�tica Educativa, Ingeniero de Sistemas y Computaci�n, Instituto Superior Tecnol�gico Bol�var, Ecuador.

Resumen

En este estudio, se desarroll� una aplicaci�n de lenguaje de se�as utilizando una red neuronal artificial creada mediante la herramienta Teachable de Google. Se evaluaron las m�tricas de precisi�n, sensibilidad y F1 Score utilizando una matriz de confusi�n para medir el rendimiento del modelo.

Los resultados obtenidos fueron destacables, con una precisi�n del 84%, una sensibilidad del 73% y un F1 Score del 78.11%. Estas m�tricas indican que el modelo logra una alta precisi�n en la clasificaci�n de las letras del lenguaje de se�as.

La aplicaci�n creada tiene el potencial de facilitar la comunicaci�n entre personas con deficiencia auditiva y aquellas que no conocen el lenguaje de se�as. Adem�s, el uso de la herramienta Teachable demostr� ser eficiente y accesible para la creaci�n de modelos de redes neuronales.

Estos resultados son prometedores y sugieren que la aplicaci�n del aprendizaje autom�tico y la inteligencia artificial en la interpretaci�n del lenguaje de se�as puede tener un impacto positivo en la inclusi�n y la comunicaci�n efectiva. Sin embargo, se deben considerar las limitaciones de la herramienta Teachable, como la falta de flexibilidad para personalizar modelos m�s complejos y la dependencia de la plataforma en l�nea de Google.

En general, este estudio proporciona una base s�lida para el desarrollo de aplicaciones de lenguaje de se�as basadas en redes neuronales y destaca la importancia de las m�tricas de evaluaci�n, como la precisi�n, la sensibilidad y el F1 Score, para medir el rendimiento y la efectividad de los modelos creados.

Palabras Clave: red neuronal artificial; educaci�n inclusiva; inteligencia artificial.

 

Abstract

In this study, a sign language application was developed using an artificial neural network created using Google's Teachable tool. Precision, sensitivity and F1 Score metrics were evaluated using a confusion matrix to measure model performance.

The results obtained were remarkable, with an accuracy of 84%, a sensitivity of 73% and an F1 Score of 78.11%. These metrics indicate that the model achieves high accuracy in classifying sign language letters.

The application created has the potential to facilitate communication between people with hearing impairment and those who do not know sign language. In addition, the use of the Teachable tool proved to be efficient and accessible for the creation of neural network models.

These results are promising and suggest that the application of machine learning and artificial intelligence in sign language interpretation can have a positive impact on inclusion and effective communication. However, the limitations of the Teachable tool should be considered, such as the lack of flexibility to customize more complex models and the reliance on Google's online platform.

Overall, this study provides a solid foundation for the development of neural network-based sign language applications and highlights the importance of evaluation metrics, such as accuracy, sensitivity, and F1 Score, to measure performance and effectiveness. of the models created.

Keywords: artificial neural network; inclusive education; artificial intelligence.

 

Resumo

Neste estudo, foi desenvolvido um aplicativo de l�ngua de sinais utilizando uma rede neural artificial criada por meio da ferramenta Teachable do Google. As m�tricas de precis�o, sensibilidade e F1 Score foram avaliadas usando uma matriz de confus�o para medir o desempenho do modelo.

Os resultados obtidos foram not�veis, com uma precis�o de 84%, uma sensibilidade de 73% e um F1 Score de 78,11%. Essas m�tricas indicam que o modelo atinge alta precis�o na classifica��o de letras da l�ngua de sinais.

O aplicativo criado tem o potencial de facilitar a comunica��o entre pessoas com defici�ncia auditiva e aquelas que n�o dominam a l�ngua de sinais. Al�m disso, o uso da ferramenta Teachable se mostrou eficiente e acess�vel para a cria��o de modelos de redes neurais.

Esses resultados s�o promissores e sugerem que a aplica��o de aprendizado de m�quina e intelig�ncia artificial na interpreta��o da l�ngua de sinais pode ter um impacto positivo na inclus�o e na comunica��o efetiva. No entanto, as limita��es da ferramenta Teachable devem ser consideradas, como a falta de flexibilidade para customizar modelos mais complexos e a depend�ncia da plataforma online do Google.

No geral, este estudo fornece uma base s�lida para o desenvolvimento de aplicativos de linguagem de sinais baseados em redes neurais e destaca a import�ncia das m�tricas de avalia��o, como precis�o, sensibilidade e F1 Score, para medir o desempenho e a efic�cia dos modelos criados.

Palavras-chave: rede neural artificial; Educa��o inclusiva; intelig�ncia artificial.

����������������������������������������������������������������������������������������������

Introducci�n

La inclusi�n es un valor fundamental en cualquier sociedad y es importante que todos los individuos tengan las mismas oportunidades para aprender y desarrollarse. Sin embargo, en el caso de las personas con discapacidades auditivas, la ense�anza tradicional puede presentar barreras significativas. En este sentido, el desarrollo de herramientas educativas basadas en tecnolog�as emergentes puede ser una soluci�n eficaz para promover la inclusi�n en la educaci�n.

En cuanto a las Redes Neuronales Artificiales (RNA), tienen una gran cantidad de aplicaciones como por ejemplo: en medicina (Antonenko et al., 2022), ingenier�a (Ahmed et al., 2023), im�genes satelitales (Castelo et al., 2021), entre otras. �En educaci�n se han realizados estudios para predecir el comportamiento de los alumnos dentro de los Massive Open Online Courses (MOCS) (Al-azazi & Ghurab, 2023), en la predicci�n del rendimiento de los estudiantes y docentes (Nazaretsky et al., 2021), tambi�n se ha desarrollado el sistema de reconocimiento de comportamiento de aprendizaje donde la Inteligencia Artificial (IA) puede servir como el segundo ojo de los maestros, lo que puede determinar ayudar a determinar las diferencias individuales y personalizar el aprendizaje (Huang et al., 2022). Adem�s, se han desarrollado herramientas con inteligencia artificial para identificar lenguaje de se�as alrededor del mundo teniendo en cuenta que este es distinto para cada pa�s (Arutha et al., 2023; Sethia et al., 2023).

En el �mbito educativo para necesidades especiales tambi�n se ha utilizado es as� que Emiratos Arabes se ha desarrollado un modelo para este prop�sito utilizando que posteriormente fue evaluado tuvo una precisi�n del 92% tambi�n se ha utilizado esta t�cnica ( Mouti & Rihawi, 2022)

En este contexto, la utilizaci�n de redes neuronales para la ense�anza inclusiva de lenguaje de se�as puede ser una opci�n efectiva para ayudar a las personas con discapacidades auditivas a aprender de una manera m�s accesible y amigable. El lenguaje de se�as es un medio de comunicaci�n importante para las personas con discapacidades auditivas y el desarrollo de herramientas que les permitan aprender de manera inclusiva es esencial para garantizar la igualdad de oportunidades en la educaci�n.

Este proyecto tiene como objetivo el desarrollo de una herramienta basada en RNA por medio de la Herramienta Teachable de Google para la ense�anza inclusiva de lenguaje de se�as.

 

Metodolog�a

Se utiliza un enfoque cualitativo ya que se hacen observaciones acerca de la tasa de error de las predicciones del modelo, se utiliz� como medida la precisi�n en una matriz de confusi�n, midiendo los aciertos y desaciertos del modelo.

Se utiliz� la herramienta Teachable Machine para el desarrollo del modelo, se recolectaron cerca de 300 muestras por letra, siendo un total de 27 caracteres es decir alrededor de 800 muestras en total, para el aprendizaje del RNA se tomaron en cuenta 50 �pocas con una tasa de aprendizaje de 0.001 y un tama�o de lote de 16.

 

Techable Machine

Es una plataforma gratuita en l�nea proporcionada por Google que permite a los usuarios crear modelos de aprendizaje autom�tico sin necesidad de tener experiencia en programaci�n previa. Esta herramienta brinda la capacidad de entrenar modelos para reconocer im�genes, sonidos o poses en tiempo real, y luego exportarlos para su uso en aplicaciones web o m�viles. Utilizando una t�cnica de aprendizaje autom�tico conocida como "Aprendizaje Profundo", espec�ficamente Redes Neuronales Artificiales (RNA) Teachable Machine logra entrenar modelos de manera eficiente, incluso con grandes cantidades de datos de entrenamiento. Debido a su facilidad de uso, personas de diferentes edades y niveles de habilidad utilizan esta herramienta para desarrollar proyectos creativos, educativos o comerciales.

Esta herramienta ha sido utilizada en �mbitos educativos por su facilidad de uso tanto que se �ha utilizado en la ense�anza y creaci�n de modelos de Aprendizaje de M�quina �Machine Learning� �en la secundaria (Martins et al., 2023); tambi�n para la ense�anza de aprendizaje autom�tico con ni�os de �frica (Sanusi et al., 2023), una vez que se ha creado el modelo se lo ha integrado con HTML y Java Script para hacerlo atractivo para el usuario.�� Se espera que esta herramienta sea una soluci�n efectiva para las barreras ling��sticas que enfrentan las personas con discapacidades auditivas en el proceso de aprendizaje. Adem�s, la herramienta podr�a ser utilizada por cualquier persona interesada en aprender el abecedario en el lenguaje de se�as de manera accesible y eficaz.

 

Ilustraci�n 1. Arquitectura de la Ren Neuronal Artificial

 

Para medir la precisi�n de la Red Neuronal se utiliz� un matriz de confusi�n que se describe a continuaci�n.

 

Matriz de Confusi�n

Ilustraci�n 2. Esquema General de una Matriz de Confusi�n

 

Verdaderos Positivos (VP) se refiere a los casos en los que el modelo ha realizado una predicci�n correcta al identificar correctamente que una muestra pertenece a una clase espec�fica. Por ejemplo, si estamos evaluando un modelo para reconocer letras del abecedario en lenguaje de se�as, y consideramos la letra "A" como una clase, un verdadero positivo se dar�a cuando el modelo predice correctamente que una muestra es "A" y efectivamente se trata de la letra "A".

Falsos Positivos (FP) se refiere a los casos en los que el modelo de clasificaci�n hace una predicci�n incorrecta al identificar err�neamente que una muestra pertenece a la clase negativa en lugar de la clase positiva. En otras palabras, el modelo "equivocadamente" descarta una caracter�stica que deber�a haber sido identificada como positiva. Un falso positivo es un tipo de error en el que el modelo no reconoce correctamente una muestra que deber�a haber sido clasificada como positiva. Esto puede ser especialmente problem�tico en situaciones donde la clase positiva es relevante y no debe ser ignorada.

Un ejemplo de falso positivo en el contexto del reconocimiento del lenguaje de se�as ser�a cuando el modelo predice incorrectamente que una muestra representa la letra "b" en lugar de la letra "a", cuando en realidad se trata de la letra "a". En este caso, la letra "b" ser�a la predicci�n del modelo (VP) y la letra "a" ser�a el valor real (VR). Por lo tanto, el modelo comete un error al predecir "b" en lugar de "a", lo que resulta en un falso positivo en la celda correspondiente a la fila "a" y la columna "b" de la matriz de confusi�n.

 

Falsos Negativos (FN)

Un falso negativo ocurre en un modelo de clasificaci�n cuando el resultado predicho es negativo, pero en realidad es positivo. Esto significa que el modelo no logra detectar correctamente un resultado positivo genuino y lo clasifica err�neamente como negativo.

En el contexto de la matriz de confusi�n del reconocimiento del lenguaje de se�as, un ejemplo de falso negativo ser�a cuando el valor real es la letra "A", pero el modelo predice incorrectamente que es la letra "B". En este caso, la letra "A" se considerar�a un verdadero positivo (VP), mientras que la letra "B" ser�a un falso negativo (FN).

 

Verdaderos Negativos(VN)

En el contexto de una prueba de diagn�stico o predicci�n, un verdadero negativo (VN) se refiere a un resultado en el que el modelo o la prueba ha identificado correctamente la ausencia de una condici�n o caracter�stica buscada. Por ejemplo, en un modelo de reconocimiento de lenguaje de se�as, un verdadero negativo ser�a cuando el modelo identifica correctamente una letra que no est� presente en la imagen. Esto demuestra que el modelo ha dado una respuesta negativa precisa, indicando la ausencia de la letra buscada.

 

Resultados

Se emple� un enfoque cuantitativo para evaluar las predicciones del modelo, utilizando la tasa de error y la precisi�n como medidas de rendimiento. La precisi�n se calcula dividiendo el n�mero de predicciones correctas entre el n�mero total de predicciones realizadas. Adem�s, se considera la sensibilidad, que eval�a la proporci�n de verdaderos positivos (TP) respecto al n�mero total de verdaderos positivos y falsos negativos (FN). Estas m�tricas permiten analizar la precisi�n y el alcance del modelo de clasificaci�n utilizado.

Se utiliz� la precisi�n como medida de rendimiento del modelo, calculando la proporci�n de predicciones correctas respecto al total de predicciones realizadas. Adem�s, se emple� la sensibilidad, que eval�a la proporci�n de verdaderos positivos respecto al n�mero total de verdaderos positivos y falsos negativos. Para evaluar el desempe�o general del modelo, se utiliz� el F1 Score, que combina tanto la precisi�n como la sensibilidad en una �nica medida. El F1 Score proporciona una forma de evaluar el rendimiento en casos de datos desequilibrados, donde ambas m�tricas son importantes. Un F1 Score cercano a 1 indica un buen rendimiento del modelo, mientras que un valor de 0 indica un rendimiento similar a una elecci�n aleatoria. En general, se considera que un F1 Score por encima de 0.7es bueno en la mayor�a de los casos, a continuaci�n se muestra la matriz de confusi�n de donde se ha obtenido los valores antes citados ver Tabla 1.

Como medida de rendimiento de modelo se tom� en cuenta la precisi�n que es la que se calcula dividiendo el n�mero de predicciones correctas por el n�mero total de predicciones realizadas. # predicciones correctas / # predicciones realizadas.

Tambi�n se utiliza como medida la sensibilidad que es una m�trica de evaluaci�n de un modelo de clasificaci�n que mide la proporci�n de verdaderos positivos (TP) respecto al n�mero total de verdaderos positivos (TP) y falsos negativos (FN).

�La f�rmula de la sensibilidad es:

precisi�n = # predicciones correctas / # predicciones realizadas.

Precisi�n = 26/22 = 84%

Sensibilidad = TP / (TP + FN)� 22/22+8 = 73%

F1 Score es una medida de evaluaci�n de la precisi�n de un modelo de clasificaci�n, que combina tanto la precisi�n (accuracy) como la sensibilidad (recall) en una sola medida. Es la media arm�nica entre la precisi�n y la sensibilidad:

F1 Score = 2 * (precision * recall) / (precision + recall)

F1 Score = 2*(84*73)/(84+73) = 78.11

Donde precisi�n se refiere a la fracci�n de los casos clasificados como positivos que son realmente positivos, y recall (tambi�n llamado sensibilidad) es la fracci�n de los casos positivos que son correctamente identificados.

El F1 Score proporciona una forma de evaluar el desempe�o de un modelo de clasificaci�n, especialmente cuando se trata de datos desequilibrados, es decir, cuando hay una cantidad significativamente mayor de una clase en comparaci�n con otra. Es �til cuando tanto la precisi�n como la sensibilidad son importantes y no se puede sacrificar una por la otra.

La interpretaci�n del F1 Score es que cuanto m�s cerca est� de 1, mejor ser� el desempe�o del modelo, lo que significa que la precisi�n y la sensibilidad son altas. Un F1 Score de 0 indica que el modelo no es mejor que una elecci�n aleatoria, mientras que un F1 Score de 1 indica que el modelo es perfecto. En general, se considera un buen F1 Score ya que supera el 70%

 

 

REALES

PREDICCION

a

b

c

d

e

f

g

h

i

j

k

l

m

n

o

p

q

r

s

t

u

v

w

x

y

z

a

x

b

x

c

x

d

x

e

x

f

x

x

g

x

h

x

i

x

x

j

x

k

x

l

x

m

x

x

n

o

x

p

q

x

r

x

s

x

x

x

t

x

u

x

v

x

w

x

x

x

y

x

z

x

 

Tabla 1. Matriz de Confusi�n para el modelo de lenguaje de se�as con el abeceddario

 

Despu�s de haber realizado los c�lculos necesarios para obtener las distintas m�tricas se la resume en la siguiente tabla.

 

Tabla 2. M�tricas de evaluaci�n para el modelo de lenguaje de se�as

 

Discusi�n

Teachable es una herramienta de Google que permite crear RNA f�cilmente. Sin embargo, se encontraron dificultades al reconocer letras del alfabeto que involucran movimientos, como la Z y la S. A pesar de estas dificultades, se logr� obtener un rendimiento aceptable en la red neuronal. Teachable ofrece varias opciones para crear diferentes tipos de redes neuronales para diversas aplicaciones.

Es importante destacar que Teachable tiene limitaciones en cuanto al reconocimiento de patrones, ya que depende de factores como la iluminaci�n y el fondo utilizado en el modelo. A diferencia de herramientas como OpenCV y TensorFlow, Teachable no tiene la capacidad de abstraer patrones de manera tan detallada.

Esta investigaci�n es un buen comienzo en la creaci�n de herramientas para personas con discapacidades auditivas en Ecuador. Aunque se enfrentaron dificultades debido a la similitud de las posiciones de las manos, se logr� representar el alfabeto de manera satisfactoria. Se recolectaron 300 muestras por cada letra del abecedario ecuatoriano, con un total de 26 letras (excluyendo letras dobles como LL, RR y CH).

Una desventaja de este modelo es la dependencia de Teachable, que presenta limitaciones en la personalizaci�n de modelos m�s complejos y requiere una gran cantidad de datos de entrenamiento para obtener resultados precisos. Adem�s, Teachable Machine es m�s adecuada para proyectos de nivel b�sico y no se recomienda para aplicaciones cr�ticas.

Comparado con otros modelos m�s complejos y sofisticados, como el presentado por Siddique et al. (2023), donde se utiliz� Python y diversas bibliotecas de aprendizaje autom�tico como OpenCV, scikit-learn y TensorFlow, se observa que se logr� una mayor precisi�n en la identificaci�n de gestos. En ese estudio, se emplearon t�cnicas de preprocesamiento de im�genes para mejorar la calidad y reducir el ruido, y se experiment� con diferentes clasificadores como Random Forest, K-Nearest Neighbors y Support Vector Machine.

 

Conclusiones

�  Se logr� obtener una precisi�n superior al 70% mediante el uso de una matriz de confusi�n, lo que demuestra que el modelo es altamente efectivo en el proceso de aprendizaje.

�  Durante el desarrollo de la herramienta, se observ� que existen letras en las que el modelo tiende a confundirse debido a la similitud en los rasgos de las manos al generar el alfabeto para personas con deficiencia auditiva.

�  La herramienta Teachable se destaca por su facilidad de uso y su capacidad para crear modelos basados en redes neuronales. Esto abre oportunidades para la creaci�n de herramientas educativas inclusivas basadas en algoritmos de inteligencia artificial.

El uso de RNA es un amplio campo que a�n no ha sido muy explotado en educaci�n y menos a�n en educaci�n inclusiva.

 

Referencias

Ahmed, T., Mita, A. F., Ray, S., & Haque, M. (2023). Engineering properties of concrete incorporating waste glass as natural sand substitution with tin can fiber: Experimental and Ann Application. Journal of Engineering and Applied Science, 70(1). https://doi.org/10.1186/s44147-023-00224-6

Al-azazi, F. A., & Ghurab, M. (2023). Ann-LSTM: A deep learning model for early student performance prediction in MOOC. Heliyon, 9(4). https://doi.org/10.1016/j.heliyon.2023.e15382

Antonenko, D., Fromm, A., Thams, F., Grittner, U., Meinzer, M., & Fl�el, A. (2022). Microstructural and Functional Plasticity Following Repeated Brain Stimulation during Cognitive Training in Non-Demented Older Adults. https://doi.org/10.21203/rs.3.rs-2304556/v1

Castelo, M. J., Bu�ay, G., & Pillajo, B. (2021). Uso de Redes Neuronales Artificiales y Computaci�n en la Nube para clasificar la cobertura del suelo en territorio ecuatoriano. POLO DE CONOCIMIENTO, 6(5), 14�28. https://doi.org/10.23857/pc.v6i5.2628

Das, S., Imtiaz, Md. S., Neom, N. H., Siddique, N., & Wang, H. (2023). A hybrid approach for Bangla sign language recognition using deep transfer learning model with random forest classifier. Expert Systems with Applications, 213, 118914. https://doi.org/10.1016/j.eswa.2022.118914

Fotso, J. E., Batchakui, B., Nkambou, R., & Okereke, G. (2022). Algorithms for the development of deep learning models for classification and prediction of learner behaviour in moocs. Artificial Intelligence for Data Science in Theory and Practice, 41�73. https://doi.org/10.1007/978-3-030-92245-0_3

Huang, Y.-M., Cheng, A.-Y., & Wu, T.-T. (2022). Analysis of learning behavior of human posture recognition in Maker Education. Frontiers in Psychology, 13. https://doi.org/10.3389/fpsyg.2022.868487

K, A., P, P., & Poonia, R. C. (2023). List: A lightweight framework for continuous indian sign language translation. Information, 14(2), 79. https://doi.org/10.3390/info14020079

Martins, R. M., von Wangenheim, C. G., Rauber, M. F., & Hauck, J. C. (2023). Machine learning for all!�introducing machine learning in middle and high school. International Journal of Artificial Intelligence in Education. https://doi.org/10.1007/s40593-022-00325-y

Mouti, S., & Rihawi, S. (2022). Special needs classroom assessment using a sign language communicator (CASC) based on artificial intelligence (AI) techniques. International Journal of E-Collaboration, 19(1), 1�15. https://doi.org/10.4018/ijec.313960

Nazaretsky, T., Bar, C., Walter, M., & Alexandron, G. (2021). Empowering Teachers with AI: Co-Designing a Learning Analytics Tool for Personalized Instruction in the Science Classroom. https://doi.org/10.35542/osf.io/krynm

Sanusi, I. T., Sunday, K., Oyelere, S. S., Suhonen, J., Vartiainen, H., & Tukiainen, M. (2023). Learning machine learning with young children: Exploring informal settings in an African context. Computer Science Education, 1�32. https://doi.org/10.1080/08993408.2023.2175559

Sethia, D., Singh, P., & Mohapatra, B. (2023). Gesture recognition for American sign language using Pytorch and Convolutional Neural Network. Lecture Notes in Electrical Engineering, 307�317. https://doi.org/10.1007/978-981-19-6581-4_24

Siddique, S., Islam, S., Neon, E. E., Sabbir, T., Naheen, I. T., & Khan, R. (2023). Deep learning-based Bangla sign language detection with an edge device. Intelligent Systems with Applications, 18, 200224. https://doi.org/10.1016/j.iswa.2023.200224

 

 

 

 

 

 

 

 

 

� 2023 por los autores. Este art�culo es de acceso abierto y distribuido seg�n los t�rminos y condiciones de la licencia Creative Commons Atribuci�n-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)

(https://creativecommons.org/licenses/by-nc-sa/4.0/).