����������������������������������������������������������������������������������

 

 

Evaluaci�n del estado de somnolencia a trav�s de la ecuaci�n de relaci�n de aspecto del ojo (EAR) mediante un algoritmo adaptativo implementado en tel�fonos inteligentes

 

Evaluation of sleepiness state through the eye aspect ratio equation (EAR) using an adaptive algorithm implemented on smartphones

 

Avalia��o do estado de sonol�ncia atrav�s da equa��o da propor��o dos olhos (EAR) utilizando um algoritmo adaptativo implementado em smartphones

 

 

 

 

 

 

 

 

 

 

 

Correspondencia: jmgranja1@espe.edu.ec

 

Ciencias T�cnicas y Aplicadas

Art�culo de Investigaci�n

 

 

* Recibido: 08 de diciembre de 2023 *Aceptado: 11 de enero de 2024 * Publicado: �29 de febrero de 2024

 

        I.            Universidad de las Fuerzas Armadas ESPE, Sangolqu�, Ecuador.

      II.            Universidad de las Fuerzas Armadas ESPE, Sangolqu�, Ecuador.

   III.            Universidad de las Fuerzas Armadas ESPE, Sangolqu�, Ecuador.

   IV.            Universidad de las Fuerzas Armadas ESPE, Sangolqu�, Ecuador.

 

Resumen

Cuando se pretende evaluar la somnolencia mediante el uso de la c�mara de un tel�fono inteligente, uno de los principales inconvenientes que se presentan es la rapidez del parpadeo esto hace que la detecci�n autom�tica sea dif�cil. Un estudio reciente propone una t�cnica para identificar somnolencia a trav�s de un algoritmo de visi�n artificial que puede identificar la somnolencia en tiempo real mediante la c�mara frontal de un tel�fono inteligente. La t�cnica consiste en determinar la posici�n de los puntos de referencia faciales en cada fotograma, extraer la distancia vertical entre los p�rpados y calcular un �nico valor escalar conocido como relaci�n de aspecto del ojo (EAR). El objetivo de esta investigaci�n es determinar qu� valor del umbral EAR es un indicador confiable y si un algoritmo adaptativo implementado en tel�fonos inteligentes es una herramienta �til para evaluar la somnolencia. Los resultados de las pruebas experimentales indican que un umbral EAR m�s alto disminuye la precisi�n y que 0.25 es el umbral �ptimo en esta investigaci�n.

Palabras clave: ojo; parpadeo; procesamiento de im�genes; somnolencia; tel�fono inteligente.

 

Abstract

When attempting to evaluate drowsiness using a smartphone camera, one of the main drawbacks that arise is the rapidity of blinking, which makes automatic detection difficult. A recent study proposes a technique to identify sleepiness through a computer vision algorithm that can identify sleepiness in real time using the front camera of a smartphone. The technique involves determining the position of facial landmarks in each frame, extracting the vertical distance between the eyelids, and calculating a single scalar value known as the eye aspect ratio (EAR). The goal of this research is to determine which EAR threshold value is a reliable indicator and whether an adaptive algorithm implemented on smartphones is a useful tool for assessing sleepiness. The experimental test results indicate that a higher EAR threshold decreases the accuracy and that 0.25 is the optimal threshold in this research.

Keywords: eye; flicker; image processing; drowsiness; smartphone.

 

Resumo

Ao tentar avaliar a sonol�ncia por meio da c�mera de um smartphone, uma das principais desvantagens que surge � a rapidez do piscar, o que dificulta a detec��o autom�tica. Um estudo recente prop�e uma t�cnica para identificar a sonol�ncia por meio de um algoritmo de vis�o computacional que consegue identificar a sonol�ncia em tempo real usando a c�mera frontal de um smartphone. A t�cnica envolve determinar a posi��o dos pontos de refer�ncia faciais em cada quadro, extrair a dist�ncia vertical entre as p�lpebras e calcular um �nico valor escalar conhecido como rela��o de aspecto do olho (EAR). O objetivo desta pesquisa � determinar qual valor do limiar EAR � um indicador confi�vel e se um algoritmo adaptativo implementado em smartphones � uma ferramenta �til para avaliar a sonol�ncia. Os resultados dos testes experimentais indicam que um limite EAR mais alto diminui a precis�o e que 0,25 � o limite ideal nesta pesquisa.

Palavras-chave: olho; cintila��o; processamento de imagem; sonol�ncia; telefone inteligente.

 

Introducci�n

Seg�n Rosales Mayor y Rey De Castro Mujica (2010), en el art�culo "Somnolencia: Qu� es, qu� la causa y c�mo se mide", la evaluaci�n del estado de somnolencia es de vital importancia en numerosos �mbitos, como la seguridad vial, la medicina del sue�o y la salud en general. Detectar y prevenir la somnolencia excesiva puede tener un impacto significativo en la prevenci�n de accidentes y la mejora de la calidad de vida de las personas. En este sentido, el avance de la tecnolog�a ha permitido el desarrollo de m�todos no invasivos y de bajo costo para evaluar el estado de somnolencia. Uno de estos enfoques prometedores es la utilizaci�n de la ecuaci�n de relaci�n de aspecto del ojo (EAR, por sus siglas en ingl�s) a trav�s de un algoritmo adaptativo implementado en tel�fonos inteligentes. La ecuaci�n de relaci�n de aspecto del ojo se basa en el an�lisis de las caracter�sticas del ojo, como el tama�o y la forma de la pupila, para determinar el grado de somnolencia de una persona (Granda, 2021). La pupila es una parte clave del sistema visual que se modifica en funci�n del estado de alerta y la somnolencia. En estudios anteriores, se ha demostrado que la relaci�n de aspecto de la pupila puede ser un indicador confiable de la somnolencia. La implementaci�n de esta ecuaci�n en tel�fonos inteligentes ofrece una serie de ventajas significativas. En primer lugar, los tel�fonos inteligentes son dispositivos ampliamente disponibles y utilizados en la actualidad, lo que facilita su adopci�n y aplicaci�n generalizada. Adem�s, hay dispositivos que cuentan con c�maras de alta resoluci�n y potentes capacidades de procesamiento, lo que permite la captura precisa de im�genes del ojo y el c�lculo eficiente de la relaci�n de aspecto. En este art�culo, presentamos un algoritmo adaptativo para la evaluaci�n del estado de somnolencia a trav�s de la ecuaci�n de relaci�n de aspecto del ojo implement�ndolo en tel�fonos inteligentes. El algoritmo utiliza t�cnicas de aprendizaje autom�tico y procesamiento de im�genes para detectar y analizar las caracter�sticas oculares relevantes. Posteriormente, se lleva a cabo una validaci�n experimental del algoritmo, as� como una evaluaci�n de la precisi�n de la ecuaci�n EAR, utilizando un grupo de participantes. Los resultados obtenidos fueron comparados y se estableci� el umbral �ptimo para la evaluaci�n del estado de somnolencia.

Recapitulando, el presente estudio tiene como objetivo desarrollar y evaluar un algoritmo adaptativo basado en la ecuaci�n de relaci�n de aspecto del ojo implementado en tel�fonos inteligentes para la evaluaci�n del estado de somnolencia. Se espera que los resultados de esta investigaci�n contribuyan al avance de las tecnolog�as no invasivas de evaluaci�n de la somnolencia y tengan un impacto significativo en la seguridad y la salud de las personas.

 

Herramientas y m�todos

Herramientas Software

Las herramientas software que han permitido el desarrollar el aplicativo son los siguientes:

Java: Es un lenguaje de programaci�n de alto nivel y orientado a objetos, que permite desarrollar aplicaciones m�viles. Es uno de los lenguajes de programaci�n m�s populares de la industria.

Android Studio: Es una herramienta desarrollada por Google, ampliamente utilizada para el desarrollo de Software en diferentes lenguajes.

Google Vision: Es una API desarrollada por Google que permite integrar funcionalidades de Machine Learning en aplicaciones desarrolladas en Java o Kotlin.

SQLite: Es un motor de base de datos que se integra con Java para la persistencia de los mismos

 

Planteamiento del sistema

El sistema ser� implementado en un dispositivo m�vil, por lo cual la entrada de imagen ser� la c�mara frontal. Para el desarrollo del algoritmo se ha realizado una divisi�n por etapas, las cuales se pueden apreciar en la Fig. 1.

Fig. 1: Etapas del sistema.

 

Reconocimiento facial: �En esta etapa se busca reducir los tiempos de procesamiento y mejorar la eficacia del algoritmo. Esto se logra mediante una detecci�n preliminar del rostro en la imagen capturada, con el prop�sito de establecer el punto de inicio del algoritmo y, por ende, realizar un an�lisis m�s exhaustivo de la imagen. Adem�s, permite extraer un �rea de inter�s de la imagen, lo que acorta los tiempos de procesamiento y garantiza la existencia de una regi�n ocular, mejorando as� la eficiencia de la aplicaci�n.

Reconocimiento de ojos: En esta etapa se logra ubicar los ojos en el rostro, una vez que se ha delimitado el rostro en la etapa previa (reconocimiento facial), es m�s sencillo aproximar el reconocimiento de ojos usando el m�todo dentro de una zona delimitada.

Detecci�n de parpadeo: Esta etapa es la m�s cr�tica debido a que evaluar� si el individuo presenta sus ojos abiertos o cerrados, tambi�n lo realiza con ayuda de la etapa previa, el reconocimiento de ojos, en la cual ya est� delimitada la zona a evaluar por lo que se busca determinar si los ojos est�n abiertos o cerrados.

Detecci�n de somnolencia: Esta etapa analiza, mediante la detecci�n de parpadeo, el tiempo que la persona mantiene sus ojos cerrados, en la etapa previa se determina cu�ndo est�n abiertos o cerrados, en esta se eval�a por cu�nto tiempo los mantiene cerrados para establecer que el individuo tiene somnolencia.

 

M�todos de detecci�n

A continuaci�n, en la Fig. 2. se presentan los m�todos de detecci�n facial, de ojos, de parpadeo y de somnolencia m�s relevantes:

 

Fig. 2: M�todos de detecci�n.

 

Reconocimiento Facial

Eigenfaces: Es un algoritmo utilizado en el reconocimiento facial que utiliza un conjunto de im�genes de entrenamiento para generar una representaci�n compacta de las caras. Estas representaciones, llamadas eigenfaces, capturan las caracter�sticas m�s distintivas de las caras y se utilizan para comparar y reconocer caras en nuevas im�genes. (Calli, 2015)����

Viola Jones: Es un algoritmo popular utilizado para la detecci�n r�pida y precisa de objetos en im�genes. Es conocido especialmente por su eficacia en la detecci�n de rostros en tiempo real, utilizando caracter�sticas llamadas "cascadas de caracter�sticas" y un clasificador basado en aprendizaje autom�tico. (Hern�ndez, Cabrera & Sanchez, 2012)

LBP (Local Binary Patterns): Es un descriptor de caracter�sticas utilizado en el an�lisis de im�genes para representar texturas y patrones locales. Se basa en la comparaci�n de p�xeles vecinos en una imagen y su relaci�n binaria para codificar informaci�n sobre texturas y formas locales. (Bernal, 2018)

CNN (Convolutional Neural Network): Es una arquitectura de red neuronal profunda dise�ada espec�ficamente para el procesamiento de im�genes. Las CNN utilizan capas de convoluci�n para extraer caracter�sticas relevantes de una imagen y aprenden autom�ticamente patrones y caracter�sticas a diferentes niveles de abstracci�n. (Wu, Hassner, Kim, Medioni & Natarajan, 2017).

 

 

Reconocimiento de ojos

Filtrado de color: El filtrado de color es una t�cnica empleada para seleccionar o resaltar objetos o regiones en una imagen, utilizando como base su informaci�n crom�tica. Esta t�cnica es com�nmente utilizada en aplicaciones de visi�n por computadora para segmentar y extraer informaci�n espec�fica de una imagen en funci�n de sus componentes de color.

Detecci�n de bordes: La detecci�n de bordes es un proceso utilizado para identificar los l�mites o transiciones abruptas entre diferentes regiones en una imagen. Los bordes contienen informaci�n crucial sobre la estructura y los contornos de los objetos presentes en la imagen, por lo que su detecci�n resulta fundamental en numerosas aplicaciones de procesamiento de im�genes.

 

Reconocimiento de parpadeos

EAR: Es una m�trica utilizada en el an�lisis de ojos para cuantificar y detectar cambios en la apertura de los ojos. Se basa en la relaci�n geom�trica entre los puntos clave de los ojos y puede ser utilizado en aplicaciones como el reconocimiento de parpadeo o la detecci�n de somnolencia.

Seguimiento de puntos de referencia: El seguimiento y localizaci�n de puntos es una t�cnica empleada para rastrear y ubicar puntos espec�ficos en una secuencia de im�genes. En el contexto del reconocimiento facial, estos puntos de referencia pueden ser caracter�sticas como los ojos, la nariz, entre otros.

 

Reconocimiento de somnolencia

PERCLOS (Percentage of Eye Closure): Es una m�trica utilizada en la detecci�n de somnolencia para medir el porcentaje de cierre de los ojos en una secuencia de im�genes. El PERCLOS se utiliza como indicador de somnolencia y puede ser utilizado para alertar o prevenir situaciones de riesgo, como la conducci�n somnolienta.

Una vez que se han descrito las etapas y sus potenciales m�todos de implementaci�n es hora de determinar cu�l de las siguientes se conviene ser desarrollada, por lo que a priori se realiz� la combinaci�n Fig. 3. de cada elemento perteneciente a cada grupo de detecci�n, los resultados son los siguientes:

Fig. 3: Combinaci�n de cada metodolog�a de evaluaci�n.

 

-                     Tomando en cuenta las tecnolog�as existentes para el desarrollo en dispositivos m�viles es importante seleccionar una que permita implementar alguna de las combinaciones encontradas. Una de ellas es Google Vision API la cual en su documentaci�n detalla que permite integrar el reconocimiento facial y de ojos mediante una red neuronal Convolucional (Fig. 4.) y el uso de detecci�n de bordes en la parte de reconocimiento de ojos, por lo que quedar�an dos etapas a implementar en el desarrollo, el reconocimiento de la apertura de los ojos y determinar si el individuo est� o no con somnolencia.

Fig. 4: Caracter�sticas de Google Vision API.

 

Esta selecci�n nos limita a determinar si utilizar EAR o el seguimiento de puntos de referencia para determinar el parpadeo. Esta selecci�n se explica dentro del dise�o del apartado 2.4.1 dise�o del algoritmo

 

Implementaci�n

A continuaci�n, se muestra un esquema general de implementaci�n Fig. 5. que marca el resultado a obtener en cada etapa del algoritmo.

 

 

 

Fig. 5: Etapas de implementaci�n

 

Dise�o del algoritmo

De acuerdo a la revisi�n de aplicativos similares implementados en ordenadores, es recomendable utilizar el EAR debido a su r�pida implementaci�n y validaci�n (Patel,2018), por lo que la combinaci�n a desarrollar ser� mostrada en la Fig. 6.

 

Fig.6: Dise�o del Algoritmo

 

Red Neuronal Convolucional

Las redes neuronales convolucionales (CNN) han demostrado ser muy efectivas para detectar rostros en im�genes (Li, Z., et al. 2021). Para implementarlas es necesario seguir un conjunto de pasos recomendados:

Conjunto de datos: Primero, se necesita un conjunto de datos con im�genes de rostros y sus correspondientes ubicaciones o cajas delimitadoras (bounding boxes) que indiquen la posici�n y tama�o de los rostros en cada imagen (Detecci�n de la cara, 2021). Este conjunto de datos se utilizar� para entrenar la red neuronal.

Arquitectura de la red: La arquitectura de la CNN para detecci�n de rostros puede variar, pero usualmente suelen componerse de capas convolucionales para extraer caracter�sticas y capas de detecci�n para identificar y localizar los rostros (Saquicela et al., 2022).

Extracci�n de caracter�sticas: Las primeras capas convolucionales de la red se encargan de extraer caracter�sticas relevantes de la imagen, como bordes, texturas y patrones faciales. Estas caracter�sticas se obtienen mediante la aplicaci�n de filtros convolucionales, los cuales se van refinando a medida que la red se profundiza.

Capas de detecci�n: Despu�s de la etapa de extracci�n de caracter�sticas, se utilizan capas especializadas para detectar y localizar los rostros en la imagen. Una de las t�cnicas comunes para la detecci�n de objetos es la utilizaci�n de capas de convoluci�n en cascada.

Aprendizaje supervisado: Durante el entrenamiento, la red neuronal ajusta los pesos de sus conexiones para minimizar la diferencia entre las ubicaciones de los rostros detectados y las ubicaciones reales de los rostros proporcionadas en el conjunto de datos etiquetado. Esto se realiza mediante el uso de algoritmos de optimizaci�n, como el descenso de gradiente estoc�stico, y se basa en la retro propagaci�n del error a lo largo de la red.

Evaluaci�n y predicci�n: Una vez entrenada, la red neuronal se puede utilizar para detectar rostros en nuevas im�genes. La red examina la imagen de entrada utilizando ventanas deslizantes de diferentes tama�os y realiza predicciones sobre la presencia y ubicaci�n de rostros en cada ventana. Posteriormente, se aplican t�cnicas de post-procesamiento para filtrar y refinar las detecciones, como la eliminaci�n de detecciones superpuestas o la utilizaci�n de algoritmos de ajuste preciso.

Es importante destacar que en esta investigaci�n no se abord� el proceso de implementaci�n de una Red Neuronal Convolucional (CNN), ya que nuestro objetivo se centra en la evaluaci�n del estado de somnolencia mediante el uso de la ecuaci�n EAR. No obstante, resulta relevante mencionar que el proceso descrito anteriormente es utilizado en la detecci�n de rostros, lo cual puede resultar �til para investigaciones futuras.

 

Fig. 7: Red Neuronal Convolucional con varias capas. (Buigas, 2017)

 

Detecci�n de Bordes

Cuando la capa de reconocimiento facial se encuentra completada el modelo ser� capaz de evaluar el rostro de la persona y con ayuda de un lienzo (canvas), dibujar los puntos de inter�s (Wu, Y., Hassner. et al., 2017) del individuo Fig. 8 en tiempo real. En esta etapa es importante reconocer los ojos y delimitarlos con los puntos de inter�s, estos puntos se usar�n posteriormente en el an�lisis de la apertura.

Fig. 8: Detecci�n de borde de rasgos faciales

 

La API de Google Vision proporciona la numeraci�n de los puntos bas�ndose en el modelo Haarcascade, en su documentaci�n podemos encontrar el detalle de cada rasgo facial Tabla 1.

 

Tabla 1: Detalle de rasgos faciales por rango. Adaptado de (Conceptos de detecci�n de rostro | ML Kit | Google for Developers, s. f.).

 

Eye Aspect Ratio

El "Eye Aspect Ratio" (EAR) es una m�trica utilizada en el campo de la visi�n por computadora y el reconocimiento facial para medir la apertura de los ojos en una imagen o video.

El EAR se basa en la posici�n de los puntos de referencia de los ojos, como las esquinas interna y externa de los ojos, y la parte superior e inferior del p�rpado. Fig 9.

 

Fig. 9: Distancia entre los puntos de inter�s que delimitan el ojo

 

Al calcular la relaci�n entre las distancias verticales y horizontales entre estos puntos de referencia, se puede determinar si los ojos est�n abiertos, cerrados o parcialmente cerrados. Su implementaci�n es sencilla debido a que la Red Neuronal arroja en su detecci�n un vector de reconocimiento con los puntos de inter�s de cada zona, v�ase Tabla 1, posterior a esto se debe realizar una operaci�n matem�tica Ecuaci�n 1 durante cada frame, los valores encontrados se deben almacenar en otro vector para ser analizados en la siguiente etapa. Estos valores pueden oscilar entre 0 y 1, lo cual significa que los ojos est�n cerrados o abiertos respectivamente.

�

Ecuaci�n 1: Relaci�n de Aspecto del Ojo (EAR)

 

Perclos

El PERCLOS (Percent of Time Eyelids are Closed) es un �ndice utilizado para medir el estado de somnolencia basado en el porcentaje de tiempo en el que los ojos est�n cerrados durante un intervalo determinado. Se utiliza principalmente para evaluar la somnolencia de conductores, operadores de maquinaria u otras personas en situaciones en las que la somnolencia puede representar un riesgo. (Garc�a, 2011)

Para calcular el �ndice PERCLOS, se utiliza la siguiente f�rmula:

Ecuaci�n 2: �ndice Perclos

 

En este c�lculo, se capturan "n" fotogramas durante un per�odo de tiempo espec�fico utilizando la c�mara frontal del dispositivo m�vil. Se cuenta el n�mero de fotogramas en los que los ojos est�n cerrados (EAR) y se divide por el n�mero total de fotogramas. Luego, se multiplica por 100 para obtener el porcentaje de tiempo en el que los ojos est�n cerrados, lo cual representa el �ndice PERCLOS.

La Fig. 10 muestra la implementaci�n final del algoritmo en el lenguaje de programaci�n Java.

 

Fig. 10: Muestra de implementaci�n del algoritmo en JAVA

 

Pruebas

Para las pruebas de rigor se ha decidido testear tanto el reconocimiento de parpadeo en primera instancia como paso previo al reconocimiento de la somnolencia y la evaluaci�n del parpadeo en un rango de tiempo, esto debido a que el dato de entrada para evaluar la somnolencia es el n�mero de parpadeos en un lapso de tiempo determinado.

 

Parpadeo

En la evaluaci�n del parpadeo interviene el umbral EAR que determina si la persona est� con el ojo abierto o cerrado. En estas pruebas se iniciar� con un valor EAR de 0.3 el cual se ajustar� de acuerdo a los resultados obtenidos. La prueba consiste en colocarse frente al dispositivo m�vil y parpadear, contar el n�mero total de parpadeos y comparar con el n�mero de reconocimientos que ha realizado el algoritmo. Para mayor precisi�n se realizar�n 3 iteraciones de 5 evaluaciones cada una. Posterior se obtendr� el porcentaje de aciertos.

 

Iteraciones

 

Tabla 2: Iteraciones de parpadeo evaluado por el aplicativo

 

V�ase el an�lisis de resultados en la secci�n RESULTADOS

 

Evaluaci�n de somnolencia

Una vez que se ha obtenido un valor EAR confiable se contin�a al dise�o y evaluaci�n de la prueba de evaluaci�n de somnolencia. Teniendo en cuenta que el �ndice PERCLOS se obtiene mediante una operaci�n matem�tica, Ecuaci�n 2, es necesario entonces evaluar en cada fotograma el estado del individuo a lo largo de un tiempo determinado. Como la evaluaci�n de la somnolencia debe ser r�pida y certera, se ha decidido empezar la evaluaci�n con un tiempo de 1 segundo, los fotogramas a analizar dependen del equipo que proporciona la imagen de entrada.

Se realizaron 2 evaluaciones con cada dispositivo, la prueba consiste en mantener los ojos cerrados por el periodo de tiempo indicado y obtener los valores EAR promedio de cada fps.

 

Iteraciones

Para las siguientes pruebas se utilizar�n 2 tel�fonos inteligentes por lo que a continuaci�n se detallan las especificaciones t�cnicas relevantes para esta investigaci�n.

 

Tabla 3: Especificaciones t�cnicas

 

Las siguientes pruebas consisten en que el individuo debe mirar fijamente a la c�mara frontal del dispositivo para luego cerrar los ojos por un periodo de tiempo determinado. Fig. 11.

 

Fig. 11: Cerrar los ojos durante un intervalo de tiempo

 

Tabla 4: Pruebas de evaluaci�n de somnolencia

 

 

 

Resultados

Se presenta la demostraci�n de la ejecuci�n del proceso que se lleva a cabo gracias a la operaci�n matem�tica EAR, propuesta a trav�s del an�lisis emp�rico (v�ase secci�n 2.5.1) cuando el valor obtenido por EAR es menor a 0.25 podemos afirmar que existe somnolencia) y mayor a 0.25 el estado del individuo es de vigilia, el an�lisis se lo puede ver en la Tabla 5.

 

Tabla 5: Resultados de iteraciones

 

En la figura 12 (a) se muestra la ejecuci�n de identificaci�n de ojos abiertos y en la figura 12 (b) se muestra la ejecuci�n de identificaci�n de ojos cerrados. En las mismas se puede observar la evaluaci�n de la somnolencia de una persona mediante la c�mara frontal de un tel�fono m�vil, la figura 12 (a) muestra una persona normal con los ojos abiertos (sin signos de somnolencia), y la figura 12 (b) muestra un estado de somnolencia identificado despu�s que el sujeto permaneciera con los ojos cerrados (3 segundos), activando un mensaje de alerta.

 

������������������������������

Fig. 12 (a): Identificaci�n mediante EAR����������������������� Fig. 12 (b): Identificaci�n mediante EAR

(ojos abiertos).� ���������������������������������������������������������������(ojos cerrados).

 

El sistema recopila datos en tiempo real basado en los puntos de referencia identificados en los ojos. Luego determina la somnolencia en funci�n de los valores EAR calculados a partir de las im�genes capturadas del usuario. La tabla 6 muestra el valor medio calculado de EAR, obtenido de las 6 pruebas realizadas. El valor promedio es de 0.60 y 0.10 cuando los ojos se encuentran abiertos y cerrados respectivamente. A partir de este experimento, puede observarse que no hay un valor medio de cero cuando los ojos se encuentran cerrados. No obstante, se puede deducir que si el valor disminuye repentinamente y permanece menor a 0.25 de manera consecutiva, el sujeto se encuentra en estado de somnolencia.

 

Tabla 6: Valor promedio del EAR mientras los ojos est�n abiertos y cerrados.

 

Seg�n Patel et al. (2018), cuando el valor del EAR es menor a 0.25 se puede determinar que la persona se encuentra en estado de somnolencia. Este valor es determinado de acuerdo al movimiento de los ojos que cambia de abierto a cerrado; la Fig. 13 representa el valor resultante del EAR, calculado de la identificaci�n del ojo humano a lo largo del tiempo, las l�neas continuas identifican las tres clasificaciones posibles. El comportamiento ocular esperado incluye ojos abiertos (verde): aqu�, el EAR es mayor y presenta una gran variaci�n. Los parpadeos (amarillo): el EAR disminuye r�pidamente cuando se cierran los ojos y vuelve aumentar de la misma manera al abrirlos. Cuando los ojos permanecen cerrados (azul): el valor del EAR es menor pero el flujo es constante y no presenta una gran variaci�n.

Fig. 13: Comportamiento del valor EAR en tiempo real para las 3 clasificaciones posibles

 

Discusi�n

En la presente investigaci�n se evalu� el m�todo Eye Aspect Ratio (EAR) para mejorar la precisi�n en la evaluaci�n de la somnolencia a trav�s de un algoritmo adaptativo implementado en tel�fonos inteligentes.�� Los resultados obtenidos en base a las pruebas� de ejecuci�n� realizadas demuestran que el� procesamiento de las im�genes capturadas en tiempo real de la persona (para realizar el c�lculo del valor EAR) funcionan de forma fluida y determinan de manera correcta el estado que se encuentran los ojos de la persona ya sea abiertos o cerrados, esto permite determinar con certeza cuando una persona se encuentra somnolienta, adem�s que el algoritmo adaptativo implementado funciona correctamente proporcionando una mayor precisi�n al c�lculo, este se adapta a los distintos tipos de rostros reajustando su modelo para detectar los puntos referenciales localizados en los ojos. En otros estudios realizados como el de Zhang et al. (2018), se concluy� que el m�todo EAR tiene un alto porcentaje de precisi�n. El estudio demostr� que el m�todo, es uno de los m�s precisos para detectar la somnolencia.

En resumen, los resultados indican que el m�todo propuesto puede detectar eficazmente la somnolencia en una persona utilizando la c�mara frontal de un tel�fono m�vil. Adem�s, los valores de EAR proporcionan informaci�n �til para determinar el estado de somnolencia en tiempo real, esto es �til para prevenir accidentes y situaciones de riesgo. Sin embargo, algunos de estos indicadores pueden variar debido a la iluminaci�n del lugar o el tipo de resoluci�n de la c�mara del celular, bajo esta premisa es necesario en futuras investigaciones determinar la precisi�n y la confiabilidad del m�todo en diferentes situaciones y en una poblaci�n m�s amplia.

 

Conclusiones

Al usar el algoritmo propuesto, se� pudo rastrear puntos espec�ficos en el rostro humano permitiendo identificar los puntos de referencia en los ojos de la persona, el algoritmo es capaz de adaptarse a los distintos tipos de rostros y a las formas de ojos que existen; a partir de la identificaci�n y localizaci�n de estos puntos oculares se obtuvo el valor escalar del EAR que fue mediante la evaluaci�n del uso de su ecuaci�n respectiva en un periodo de tiempo, esto permiti� determinar el porcentaje de abertura del ojo humano a lo largo del intervalo (PERCLOS) , tambi�n se obtuvo� que 0.25 es el umbral �ptimo para determinar que un ojo se encuentra cerrado.

En base a los resultados obtenidos mediante el uso de la c�mara de los dispositivos m�viles de prueba, se observ� tambi�n que el flujo de datos en tiempo real del c�lculo del EAR para determinar que una persona se encuentra en estado de somnolencia funciona de forma fluida, sin presentar intermitencias o p�rdidas de datos; cuando los ojos se encuentran abiertos el flujo cambia constantemente esto se debe a la iluminaci�n que presente el lugar o al tipo de resoluci�n de la c�mara del celular, en cambio cuando el valor es menor a 0.25 y este estado se mantiene por alrededor de 3 segundos; el flujo es constante sin presentar mayor variaci�n debido a la gran similitud que existe entre los rasgos correspondientes al ojo humano cuando se encuentra cerrado lo que facilita la identificaci�n del ojo y la obtenci�n del valor EAR. Cuando existe un parpadeo existe una mayor variaci�n acerc�ndose el valor a 0, demostrando que el tratamiento de la imagen que proporciona la c�mara es verificado durante el tiempo que permanezca en uso la aplicaci�n. El rendimiento del algoritmo es �ptimo en los distintos celulares independientemente del tama�o, versi�n del sistema operativo o procesador de los mismos.

 

Agradecimientos

Despu�s de haber trabajado tanto en este proyecto es necesario expresemos nuestra gratitud al universo por permitirnos perseguir nuestros sue�os, a nuestra familia por apoyarnos incondicionalmente, a nuestros amigos por ser parte de este camino y a nuestros profes que han sido grandes gu�as durante el aprendizaje. Una especial menci�n a nuestros padres ya que todo lo que somos y seremos se lo debemos a su incansable coraje, trabajo y ense�anza, son uno de los m�s grandes ejemplos que tenemos.

 

Referencias

1.      Buigas, J. (2017). Gu�a r�pida de inteligencia artificial. As� funciona Deep Learning. Puentes���� Digitales. Recuperado en 30 de junio de 2023, de https://puentesdigitales.com/2017/11/15/guia-rapida-de-inteligencia-artificial-asi-funciona-el-deep-learning/

2.      Bernal Leyva, A. Y. (2018). AN�LISIS DE M�TODOS DE RECONOCIMIENTO FACIAL� BAJO EL SISTEMA OPERATIVO ANDROID.

3.      Calli Olvea, J. (2015). Reconocimiento facial basado en el Algoritmo Eigenface.

4.      Conceptos de detecci�n de rostro | ML Kit | Google for Developers. (s. f.). Recuperado 30 de junio de 2023, de https://developers.google.com/ml-kit/vision/face-detection/face-detection-concepts?hl=es-419

5.      Garc�a Daza, I (2011). Detecci�n de fatiga en conductores mediante fusi�n de sistemas ADAS [Tesis doctoral, Universidad de Alcal� Escuela Polit�cnica Superior]. Ebuha Biblioteca Digital Universidad de Alcal�. https://ebuah.uah.es/dspace/handle/10017/16621

6.      Detecci�n de la cara: �Qu� es y c�mo funciona esto Tech. (2021). RecFaces. https://recfaces.com/es/articles/deteccion-de-la-cara-que-es-y-como-funciona-esto-tech

7.      Granda, F. A. (2021). SISTEMA DE DETECCI�N DE SOMNOLENCIA A TRAV�S DE VISI�N ASISTIDA POR COMPUTADORA EN EL PERIODO ABRIL-SEPTIEMBRE 2021.

8.      Hern�ndez, Ernesto del T, Cabrera Sarmiento, Alejandro, & S�nchez Solano, Santiago. (2012). Implementaci�n h�brida hardware software del algoritmo de detecci�n de rostros de Viola-Jones sobre FPGA. Universidad, Ciencia y Tecnolog�a, 16(63), 114-124. Recuperado en 30 de junio de 2023, de http://ve.scielo.org/scielo.php?script=sci_arttext&pid=S1316-48212012000200005&lng=es&tlng=es

9.      Li, Z., Liu, F., Yang, W., Peng, S., & Zhou, J. (2021). A survey of convolutional neural networks: analysis, applications, and prospects. IEEE transactions on neural networks and learning systems.

10.  Patel, R., Patel, M., & Patel, J. (2018). Real Time Somnolence Detection System In OpenCV Environment for Drivers. 2018 Second International Conference on Inventive Communication and Computational Technologies (ICICCT), 407�410. https://doi.org/10.1109/ICICCT.2018.8473234

11.  Rosales Mayor, E., & Rey De Castro Mujica, J. (2010). Somnolencia: Qu� es, qu� causa y c�mo se mide. Acta m�dica peruana, 27(2), 137-143.

12.  Saquicela, A., Zambrano-Asanza, S., Cajamarca, B., Chitacapa, A., Sanango, J., & Franco, J. (2022). Estimation of Rural Populations without Access to Electricity Through Satellite Images and Deep Learning.

13.  Wu, Y., Hassner, T., Kim, K., Medioni, G., & Natarajan, P. (2017). Facial landmark detection with tweaked convolutional neural networks. IEEE transactions on pattern analysis and machine intelligence, 40(12), 3067-3074.

14.  Zhang, G., Ren, H., Jiang, B., & Zhang, X. (2018). Driver drowsiness detection based on eye state analysis using infrared thermal imaging. Infrared Physics & Technology, 94, 269-276.

 

 

 

 

 

� 2024 por los autores. Este art�culo es de acceso abierto y distribuido seg�n los t�rminos y condiciones de la licencia Creative Commons Atribuci�n-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)

(https://creativecommons.org/licenses/by-nc-sa/4.0/).