������������������������������������������������������������������������������

 

Entrenamiento de Redes Neuronales Artificiales con Aprendizaje No Supervisado en el control de calidad del an�lisis

 

Training of Artificial Neural Networks with Unsupervised Learning in the quality control of the analysis

 

Treinamento de Redes Neurais Artificiais com Aprendizado N�o Supervisionado no controle de qualidade da an�lise

 

 

 

 

 

 

 

 

 

 

 

 

 

����������������������������������������

 

Correspondencia: mario.moreno01@epn.edu.ec �

 

 

Ciencias T�cnicas y Aplicadas

Art�culo de Revisi�n

 

 

* Recibido: 20 de marzo de 2022 *Aceptado: 18 de abril de 2022 * Publicado: 24 de mayo de 2022

 

 

        I.            Magister en Computaci�n Menci�n en Sistemas Inteligentes, Escuela Polit�cnica Nacional, Quito, Ecuador.

     II.            Magister en Ingenier�a Industrial y Productividad Msc, Escuela Polit�cnica Nacional, Quito, Ecuador.

   III.            Magister en Inform�tica Aplicada, Escuela Superior Polit�cnica de Chimborazo (ESPOCH), Riobamba, Ecuador.

 

 

Resumen

El aprendizaje autom�tico tiene el prop�sito de entrenar a la computadora para realizar tareas r�pidamente con grandes vol�menes de datos. En el presente trabajo se realiza la agrupaci�n de un conjunto de datos de un vino el cual tiene tres caracter�sticas, una vez normalizado en formato .csv se realiza una comparaci�n de un conjunto de datos utilizando redes neuronales artificiales, tales como: Red Neuronal de Auto- Mapa organizativo y una Red Neuronal Competitiva, combinando las propiedades de cada Red, se obtiene que para este caso particular es mejor que una Red Neuronal de Mapa Autoorganizador para la clasificaci�n y que es la que menor porcentaje de error. Tenga en cuenta que se tomaron sus propiedades que han sido por defecto en el entorno MATLAB.

Palabras Clave: Redes Neuronales Artificiales; Red Mapa Autoorganizativo; Red Neuronal Competitiva; SOM; Aprendizaje no Supervisado.

 

Abstract

The machine learning has the purpose of training the computer to perform tasks quickly with large volumes of data. In the present work, the grouping of a data set of a wine which has three characteristics is performed, once normalized in a .csv format, a comparison of a data set is made using artificial neural networks, such as: Neural Network of Self-organizing Map and a Competitive Neural Network, combining the properties of each Network, it is obtained that for this particular case it is better than a Neuronal Network of Autoorganizing Map for the classification and that is the one that lower percentage of error. note that their properties were taken that have been by default in the MATLAB environment.

Keywords: Artificial Neural Networks; Self-organizing Map Network; Competitive Neural Network; SOM; Unsupervised Learning.

 

Resumo

O aprendizado de m�quina tem o objetivo de treinar o computador para executar rapidamente tarefas com grandes volumes de dados. No presente trabalho � realizado o agrupamento de um conjunto de dados de um vinho, que possui tr�s caracter�sticas, uma vez normalizado em formato .csv, � feita uma compara��o de um conjunto de dados utilizando redes neurais artificiais, tais como: Rede Neural de Auto - Mapa Organizacional e uma Rede Neural Competitiva, combinando as propriedades de cada Rede, obt�m-se que para este caso particular � melhor do que uma Rede Neural de Mapa Auto-Organiz�vel para classifica��o e que � a que apresenta o menor percentual de erro. Observe que suas propriedades foram retiradas do padr�o no ambiente MATLAB.

Palavras-chave: Redes Neurais Artificiais; Rede de Mapas auto-organizada; Rede Neural Competitiva; SOM; Aprendizagem n�o supervisionada.

 

Introducci�n

El machine learning tambi�n conocido como aprendizaje de m�quina tiene como prop�sito entrenar a la computadora para realizar ciertas tareas r�pidamente, en grandes vol�menes y con el menor error posible. Esto se lo hace a trav�s del aprendizaje de patrones con base en ejemplos. Las redes con aprendizaje no supervisado no requieren de la influencia externa para el ajuste de sus pesos de las conexiones entre sus neuronas, estas redes encuentran las caracter�sticas, correlaciones o categor�as que pueden establecer los datos de entrada[1].

A trav�s de la p�gina https://archive.ics.uci.edu/ml/datasets/wine se obtuvo un conjunto de datos de los resultados de un an�lisis qu�mico de vinos cultivados en una misma regi�n en Italia, pero derivado de tres cultivares diferentes, el conjunto de datos especifica trece variables, la primera variable da a conocer a cu�l de las tres de clases de vino pertenece la informaci�n[2].

En el presente trabajo se realiz� el clustering del conjunto de datos en cuesti�n utilizando una Red Neuronal Competitiva y una Red Neuronal de Mapa Autoorganizativo (SON o SOFM) para la comparaci�n de que red realiz� de mejor manera la clasificaci�n de los dato, tomando en cuenta el error que produjeron cada una de ellas, se modificaron las propiedades de cada una de las redes y se observ� el error producido. Para realizar este trabajo se us� el entorno de MATLAB.� ��

El presente trabajo la Secci�n II denominada Metodolog�a y Materiales se encuentra el marco te�rico y la metodolog�a usada para resolver el problema planteado, la Secci�n III Resultados muestra los datos que se obtuvo al realizar el cambio de las propiedades en las redes, la Secci�n IV Discusi�n de los resultados obtenidos y Secci�n V Conclusiones muestra las conclusiones en base a los resultados obtenidos.

 

Metodolog�a y materiales

Las Redes Neuronales Artificiales (ANN) con aprendizaje no supervisado tambi�n conocidas como autosupervisado no requieren de influencia externa para ajustar los pesos de las conexiones entre sus neuronas. Le red no recibe ninguna informaci�n por parte del entorno que le indique si la respuesta generada es correcta o no a una determinada entrada[3], [4].

Estas redes encuentran las caracter�sticas, correlaciones o categor�as que puedan establecer entre los datos de entrada. Hay varias posibilidades en la interpretaci�n de la salida de estas redes, que dependen de su estructura y del algoritmo de aprendizaje que utilizan. �Por lo general se consideran dos tipos de algoritmo de aprendizaje no supervisado, que dan lugar a los siguientes tipos de aprendizaje[3], [5]:

�         Aprendizaje Hebbiano.

�         Aprendizaje competitivo y comparativo.

El aprendizaje Hebbiano es la regla base para muchas otras, esta pretende medir la familiaridad de los datos de entrada. Se basa en una suposici�n simple: si dos neuronas �y �toman el mismo estado simult�neamente (activas o inactivas) el peso de la conexi�n entre ambas se incrementa. Las entradas y salidas de la neurona son: �o .[3]

El aprendizaje competitivo se orienta a la clustrizaci�n o clasificaci�n de los datos de entrada, como una caracter�stica importante es que si un patr�n Nuevo se determina que pertenece a una clase reconocida con anterioridad, entonces la inclusi�n de este nuevo patr�n a esta clase matizar� la representaci�n de la misma. Si el patr�n de entrada se determin� que no pertenece a ninguna de las clases que se tiene, entonces los pesos de la red neuronal ser�n ajustados para reconocer la nueva clase. Antes de realizar el entrenamiento se escogen los pesos iniciales para las diversas conexiones entre las neuronas de la red neuronal. Esto es realizado por varios criterios, por ejemplo otorgar pesos aleatorios a cada conexi�n, encontr�ndose los mismos dentro de un cierto intervalo[3], [5].

Para detener el aprendizaje es necesario establecer una condici�n de detenci�n. Normalmente el entrenamiento se detiene cuando el c�lculo del error cuadrado sobre todos los ejemplos de entrenamiento ha alcanzado un m�nimo o cuando para cada uno de los ejemplos dados, el error observado est� por debajo de un umbral. Otra condici�n de detenci�n del aprendizaje puede ser cuando un cierto n�mero de ciclos de entrenamiento hayan sido completamente corridos[3].

Existen dos tipos de codificaci�n de los datos de entrada, como lo son[3]:

�         Variable o atributos num�ricos (continuo).

�         Variable o atributos simb�licos (discreto).

Un atributo num�rico es aquel que puede tomar cualquier valor dentro de un interval ; donde �puede ser �y �puede ser .

La arquitectura de una red neuronal consiste en la organizaci�n de las neuronas de la misma, en la formaci�n de las capas de neuronas que est�n m�s cerca o no de la entrada y salida de la red. Los par�metros fundamentales de la red son: el n�mero de capas, neuronas por capa, el grado de conectividad y el tipo de conexiones entre neuronas. Las redes monocapa establecen conexiones entre las neuronas que pertenecen a la �nica capa que constituye la red[3], [5].

Redes multicapa son aquellas que disponen de un conjunto de neuronas agrupadas en varias capas. Normalmente todas las neuronas de una capa reciben se�ales de entrada desde otra capa anterior y env�an se�ales de salida a una capa posterior, a estas conexiones se las denomina conexiones hacia adelante o feedforward[3], [5]. Existen de igual manera redes que pueden conectar la salida de las neuronas de capas posteriores a la entrada de capas anteriores, a estas capas se las denomina conexiones hacia atr�s o feedback[3], [5].

Las Redes Neuronales Competitivas pertenecen a una clase de redes recurrentes y se basa en algoritmos de aprendizaje no supervisado. En el aprendizaje competitivo las neuronas de salida de una red neuronal compiten entre s� para activarse, en el aprendizaje competitivo solo una neurona de salida est� activa en cualquier momento. Por lo general existen tres elementos necesarios para construir una res con una regla de aprendizaje competitivo[5], [6]:

1.      Un conjunto de neuronas que tiene la misma estructura y que est�n conectadas con pesos seleccionados inicialmente al azar.

2.      Un valor l�mite se determina seg�n la fuerza de cada neurona.

3.      Un mecanismo que permite a las neuronas completar el derecho a responder a un subconjunto dado de entradas, de manera que solo una neurona salida este activa a la vez.

En la forma m�s sencilla de aprendizaje competitivo una Red Neuronal Artificial tiene un sola capa de neuronas de salida, cada una de las cuales est�n totalmente conectadas a los nodos de entrada. La competencia entre las neuronas de la capa de salida se implementa mediante la inhibici�n lateral, un conjunto de conexiones negativas entre neuronas. El m�s conocido entre este paradigma de las redes neuronales es el Mapa Autoorganizativo (SOM) de Kohonen[6].

La red de Kohonen consiste en una capa de entrada que distribuye las entradas a cada nodo en la segunda capa, llamada capa competitiva, cada nodo de esta capa act�a como un nodo de salida. Cada neurona en la capa competitiva est� conectada a otras neuronas en su vecindad y la retroalimentacion se restringe a las vecinas a trav�s dichas conexiones laterales[3], [5], [6]. Las neuronas en la capa competitiva tienen conexiones excitadoras con vecinos inmediatos y conexiones inhibitorias con neuronas m�s distantes. Todas las neuronas de la capa competitiva reciben una mezcla de se�ales excitadoras e inhibidoras de las neuronas de la capa de entrada y otras de neuronas de la capa competitiva[6].

A medida que se presenta un patr�n de entrada, algunas de las neuronas est�n suficientemente activadas para producir salidas que se retroalimentan a otras neuronas en sus vecindarios[6]. El nodo con el vector de peso m�s cercano al vector del patr�n de entrada produce la salida m�s grande. Durante el entrenamiento los pesos de entrada de la neurona ganadora y sus vecinos se ajustan para que se aparezcan mucho m�s al patr�n de entrada[6]. �

Al finalizar el entrenamiento el nodo ganador termina con su vector de peso alineado con el patr�n de entrada y produce la salida m�s fuerte cada vez que se presenta ese patr�n particular. Los nodos en el vecindario del nodo ganador tambi�n tienen sus pesos modificados para establecer una representaci�n promedio de esa clase de patr�n. Como resultado los patrones invisibles que pertenecen a esa clase tambi�n se clasifican correctamente. Se dice que los barrios , correspondientes a las �clases de patrones posibles forman un mapa topol�gico que representan los patrones[5], [6].

 

Metodolog�a

El conjunto de datos a realizar el clustering correspondiente se la obtuvo de la p�gina web: https://archive.ics.uci.edu/ml/datasets/wine, que son datos de los resultados de un an�lisis qu�mico de vinos cultivados en una regi�n en Italia derivado de tres cultivares diferentes. El an�lisis determin� las cantidades de trece componentes en cada uno de los tres vinos, los atributos son: alcohol, �cido m�lico, ceniza, alcalinidad de las cenizas, magnesio, fenoles totales, flavonoides, fenoles no flavonoides, proantoacianinas, intensidad de color, hue, OD280/OD315 de vinos diluidos y prolina; todos los atributos son continuos[2].

Para este trabajo se elimin� el primer atributo ya que este mostraba la clase del vino a la que pertenece, este atributo ayud� a encontrar el error del clustering que se realiz�.

Los datos del conjunto de datos correspondiente fueron normalizados mediante el m�todo MIN-MAX, su f�rmula es la siguiente:

 

Donde:

;

;

��

 

Mediante el entorno de MATLAB se procedi� a la lectura del conjunto de datos una vez que se han normalizado, el conjunto de datos normalizado se le asign� la extensi�n .csv; para la lectura de este tipo de archive se utiliz� la funci�n � proporcionada por MATLAB y guardada a la vez en una variable , luego a la variable �se le asigna �(transpuesta).

Cabe recalcar que el procedimiento anteriormente descrito se aplica a los dos tipos de redes creadas, y el cambio de las propiedades se lo realiza de igual forma a los dos tipos de redes. Para la creaci�n de una Red Neuronal de Mapa Autoorganizativo (SOM) se utiliz� la funci�n �proporcionada por MATLAB y como tama�o de red se le aplic� .

Para la creaci�n de una Red Neuronal Competitiva se lo hizo con la funci�n �proporcionada por MATLAB, con un n�mero de neuronas de tres.

Para los dos tipos de redes del presente trabajo se tom� como numero de �pocas el valor de 1000.

Para el c�lculo del error en cada una de las redes se aplic� un bucle �que cuente el n�mero de coincidencias en cada uno de los datos del conjunto de datos y se verific� con el n�mero de clases del conjunto de datos original as� obteniendo el n�mero de valores clasificados de forma correcta.

Para la Red Neuronal de Mapa Autoorganizativo se realiz� la combinaci�n de la funci�n de topolog�a y la funci�n de distancia, manteniendo las dem�s propiedades que est�n por defecto, de la siguiente manera:

�         hextop � linkdist

�         gridtop� linkdist

�         randtop-linkdist

�         hextop-dist

�         hextop-mandist

�         gridtop-dist

�         gridtop-mandist

�         randtop-dist

�         randtop-mandist

�         por defecto en MATLAB

Adem�s al conjunto de datos se le retiro la �ltima caracter�stica perteneciente a prolina y se realiz� la ejecuci�n con los datos que est�n por defecto, esto se lo hizo con el objetivo de ver el comportamiento del error.

Para la creaci�n de la Red Neuronal competitiva se combinaron los datos de tasa de aprendizaje de Kohonen y la tasa de aprendizaje, de la siguiente forma:

�         por defecto en MATLAB.

�         0.05-0.001

�         0.01-0.005

�         0.01-0.002

�         0.01-0.0005

�         0.005-0.0005

�         0.008-0.0008

�         0.009-0.0009

�         0.007-0.0007

Como en el caso anterior en esta red tambi�n se ejecut� la red con sus propiedades que vienen por defecto y retirando la �ltima caracter�stica perteneciente a prolina, esto se lo hizo con la finalidad de ver el comportamiento del error

 

Resultados

En la creaci�n de la Red Neuronal de Mapa Autoorganizativo (SOM) se realizaron 10 ejecuciones con diferentes valores en la funci�n de topolog�a de la red (TFCN) y en la funci�n de distancia (DFCN), como se indica a continuaci�n en la Tabla 1.

 

�������������������������������������

�

En la creaci�n de la Red Neuronal Competitiva se realizaron nueve ejecuciones con la combinaci�n en las propiedades de la red como lo es en: Tasa de Aprendizaje de Kohonen (KLR) y Tasa de Aprendizaje de Consciencia (CLR), se obtuvieron los datos que se muestran en la Tabla 2.

 

������ �������������������������������

 

Discusi�n

En el presente trabajo en el que se realiz� el clustring de un conjunto de datos de trece caracter�sticas con tres distintas clases de vino, mediante una Red Neuronal de Mapa Autoorganizativo y una Red Neuronal Competitiva.

Para este caso en particular se obtuvieron errores menores al 18% en la utilizaci�n de una Red Neuronal de Mapa Autoorganizativo con la variaci�n de sus propiedades en la Funci�n de Topolog�a de la red y en la Funci�n de Vecindad que tiene dicha red.

Mientras tanto en el uso de una Red Neuronal Competitiva se obtuvieron cantidades altas de error en algunos casos sobrepasan el 30%, para este caso que se ha presentado con la variaci�n en la Tasa de Aprendizaje de Kohonen y en la Tasa de Aprendizaje de Consciencia.

Tomando en cuenta las ejecuciones �ltimas a cada red correspondiente en las que solo se tomaron doce atributos en la Red Neuronal de Mapa Autoorganizativo (SOM) se tiene un error menor al 10%, por otra parte en la Red Neuronal Competitiva su error no es signifcativo.

 

Conclusiones

Utilizar una Red Neuronal de Mapa Autoorganizativo con sus propiedades que tiene por defecto, para el conjunto de datos mencionado tiene un error de 10.1124% por lo que es una se�al significativamente alta de una clasificaci�n correcta realizada.

Para este caso es mucho mejor utilizar en el conjunto de datos solo doce caracter�sticas de las trece ya que asi su error es del 7.8652%.

La Red Neuronal Competitiva en su menor porcentaje de error es de 11.2360% esto se presenta cuando la Tasa de Aprendizaje de Kohonen es 0.009 y la Tasa de Aprendizaje de Consciencia es 0.0009.

 

Referencias

[1]�� �Machine Learning: Qu� es y para qu� sirve el Clustering - Kueski.com.� [Online]. Available: https://kueski.com/blog/tecnologia/machine-learning-que-es-clustering/. [Accessed: 14-Dec-2018].

[2]�� �UCI Machine Learning Repository: Wine Data Set.� [Online]. Available: https://archive.ics.uci.edu/ml/datasets/wine. [Accessed: 14-Dec-2018].

[3]�� C. Alberto Ruiz Marta Susana Basualdo Autor and D. Jorge Matich, �C�tedra: Inform�tica Aplicada a la Ingenier�a de Procesos-Orientaci�n I Redes Neuronales: Conceptos B�sicos y Aplicaciones.�

[4]�� �6 COMPETITIVE NETWORKS AND COMPETITIVE LEARNING.�

[5]�� L. B. Neto, �Aprendizado n�o supervisionado.�

[6]�� T. Kohonen and T. Honkela, �Kohonen network,� Scholarpedia, vol. 2, no. 1, p. 1568, 2007.

 

� 2022 por los autores. Este art�culo es de acceso abierto y distribuido seg�n los t�rminos y condiciones de la licencia Creative Commons Atribuci�n-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)

(https://creativecommons.org/licenses/by-nc-sa/4.0/).