����������������������������������������������������������������������������������

 

 

Deep Learning y la arquitectura Transformer: Evaluaci�n del Desempe�o de RoBERTa-large-bne en la Predicci�n de la Complejidad L�xica en Textos Estatales Ecuatorianos

 

Deep Learning and Transformer Architecture: Evaluating the Performance of RoBERTa-large-bne in Predicting Lexical Complexity in Ecuadorian State Texts

 

Aprendizagem profunda e arquitetura de transformadores: avaliando o desempenho de RoBERTa-large-bne na previs�o da complexidade lexical em textos estaduais equatorianos

 

 

 

 

 

 

 

 

 

 

 

Correspondencia: jenny.ortizz@ug.edu.ec

 

Ciencias T�cnicas y Aplicadas

Art�culo de Investigaci�n

 

 

* Recibido: 01 de diciembre de 2024 *Aceptado: 24 de enero de 2025 * Publicado: �11 de febrero de 2025

 

        I.            Doctorante en Tecnolog�as de la Informaci�n y Comunicaci�n por la Universidad de Ja�n, Espa�a.

      II.            Doctor en Ciencias de la Computaci�n, Ecuador.

 

Resumen

En el �mbito de las instituciones p�blicas, la accesibilidad y comprensi�n de los documentos gubernamentales suelen verse afectadas por la complejidad l�xica y el uso de lenguaje t�cnico especializado. Este problema impacta tanto a ciudadanos como a funcionarios, generando malentendidos que pueden reducir la transparencia y dificultar la participaci�n ciudadana. En este estudio, se analiza el desempe�o del modelo RoBERTa-large-bne, basado en la arquitectura Transformer, en la predicci�n de la complejidad l�xica en textos estatales ecuatorianos. Para ello, se implement� un ajuste fino del modelo con el fin de optimizar su rendimiento en esta tarea espec�fica. Se llev� a cabo una evaluaci�n comparativa con otros modelos de lenguaje pre-entrenados aplicados en el corpus GovAIEc, cuyos textos corresponden a instituciones estatales del Ecuador. Los resultados obtenidos buscan sentar las bases para el desarrollo de herramientas que faciliten la simplificaci�n de documentos p�blicos, mejorando su accesibilidad y promoviendo una interacci�n m�s eficiente entre la ciudadan�a y las instituciones gubernamentales.

Palabras clave: Aprendizaje profundo; Complejidad l�xica; Textos estatales; Arquitectura Transforme; Predicci�n.

 

Abstract

In the field of public institutions, the accessibility and understanding of government documents are often affected by lexical complexity and the use of specialized technical language. This problem impacts both citizens and officials, generating misunderstandings that can reduce transparency and hinder citizen participation. In this study, the performance of the RoBERTa-large-bne model, based on the Transformer architecture, is analyzed in the prediction of lexical complexity in Ecuadorian state texts. To do so, a fine-tuning of the model was implemented in order to optimize its performance in this specific task. A comparative evaluation was carried out with other pre-trained language models applied to the GovAIEc corpus, whose texts correspond to state institutions in Ecuador. The results obtained seek to lay the foundations for the development of tools that facilitate the simplification of public documents, improving their accessibility and promoting a more efficient interaction between citizens and government institutions.

Keywords: Deep learning; Lexical complexity; State texts; Transformer architecture; Prediction.

 

Resumo

No dom�nio das institui��es p�blicas, a acessibilidade e a compreens�o dos documentos governamentais s�o frequentemente afetadas pela complexidade lexical e pela utiliza��o de linguagem t�cnica especializada. Este problema afeta tanto os cidad�os como as autoridades, gerando mal-entendidos que podem reduzir a transpar�ncia e dificultar a participa��o dos cidad�os. Neste estudo, o desempenho do modelo RoBERTa-large-bne, baseado na arquitetura Transformer, � analisado na previs�o da complexidade lexical em textos estaduais equatorianos. Para tal, foi implementado um ajuste fino do modelo de forma a otimizar o seu desempenho nesta tarefa espec�fica. Foi realizada uma avalia��o comparativa com outros modelos de linguagem pr�-treinados aplicados no corpus GovAIEc, cujos textos correspondem a institui��es estatais do Equador. Os resultados obtidos procuram lan�ar as bases para o desenvolvimento de ferramentas que facilitem a simplifica��o dos documentos p�blicos, melhorando a sua acessibilidade e promovendo uma intera��o mais eficiente entre os cidad�os e as institui��es governamentais.

Palavras-chave: Aprendizagem profunda; Complexidade lexical; Textos do Estado; Transformar Arquitetura; Previs�o.

 

Introducci�n

Si bien los textos son los principales portadores de informaci�n para la toma de decisiones gubernamentales, pocos estudios han examinado el papel de la complejidad textual en la comunicaci�n entre el gobierno y los ciudadanos (Lu et al., 2023). Sin embargo, la complejidad l�xica y el uso de un lenguaje t�cnico especializado representan un obst�culo significativo para muchas personas. Esta barrera afecta tanto a los ciudadanos, quienes pueden tener dificultades para comprender informaci�n clave sobre sus derechos y obligaciones, como a las instituciones p�blicas, que buscan comunicar de manera clara y efectiva sus pol�ticas y procedimientos. (Wold et al., 2024).

La dificultad de comprensi�n no solo disminuye la claridad de la comunicaci�n, sino que tambi�n puede generar malentendidos, reduciendo la transparencia y limitando la participaci�n ciudadana. Tal como lo se�ala la investigaci�n, "la complejidad de las palabras, la l�gica y las emociones en el texto aumentan la dificultad del procesamiento de la informaci�n, por lo que la complejidad a menudo se considera la encarnaci�n de la baja calidad de la informaci�n" (Alter y Oppenheimer, 2009; Graf et al., 2018, como se cit� en Lu et al. 2023). Estos factores dificultan que los ciudadanos comprendan los documentos gubernamentales, lo que genera una desconexi�n en la interacci�n entre la poblaci�n y las instituciones p�blicas. Adem�s, los estudios han mostrado que "un texto simple puede lograr una mayor participaci�n", mientras que la complejidad puede reducir la interacci�n y el entendimiento en contextos donde es crucial que la comunicaci�n sea clara (Markowitz y Shulman, 2021, como se cit� en Lu et al., 2023).

A pesar de estos hallazgos, en Ecuador no se ha explorado suficientemente el uso de tecnolog�as avanzadas, como los modelos basados en la arquitectura Transformer, para predecir y abordar la complejidad l�xica en textos p�blicos. Los modelos Transformer, como GPT-3 y BERT, han demostrado un rendimiento sobresaliente en tareas de Procesamiento de Lenguaje Natural, incluyendo la generaci�n de textos realistas y coherentes, y la clasificaci�n de secuencias textuales. Estos modelos pueden ser aplicados para identificar t�rminos complejos y ayudar a simplificar el lenguaje de los documentos gubernamentales, lo que mejorar�a su accesibilidad. Dada la capacidad de los Transformers para capturar dependencias de largo alcance en los textos mediante mecanismos de atenci�n multi-cabezal, estos modelos ofrecen una herramienta prometedora para abordar la complejidad l�xica de manera efectiva (Mo et al., 2024).

Este estudio pretende evaluar la complejidad l�xica de los textos p�blicos ecuatorianos mediante la ejecuci�n de los modelos BERT, y RoBERTa para determinar la complejidad de las palabras, y analizar el performance (rendimiento) de los modelos en un conjunto de datos en espa�ol. Esta investigaci�n es una contribuci�n al campo del Procesamiento del Lenguaje Natural como apoyo de la accesibilidad de los ciudadanos a la informaci�n gubernamental, fomentando as� una interacci�n m�s inclusiva y efectiva entre las instituciones y la ciudadan�a.

La investigaci�n de Azucena y Yanet (2021) se enfoca en la educaci�n inclusiva en Ecuador, examin�ndola tanto desde la perspectiva legal como educativa. El estudio analiza las barreras del lenguaje y la terminolog�a presentes en las leyes actuales, mostrando c�mo la complejidad del lenguaje legal puede entorpecer la comprensi�n y aplicaci�n de las leyes, especialmente para personas con niveles educativos m�s bajos. Los autores enfatizan la necesidad de simplificar el lenguaje legal y crear herramientas que faciliten la interpretaci�n de las leyes, buscando un acceso igualitario a la educaci�n y a la informaci�n legal. Adicionalmente, proponen estrategias pedag�gicas y metodol�gicas para optimizar la interacci�n entre los ciudadanos y las instituciones gubernamentales.

De acuerdo con Ortiz et al. (2022) presentan una contribuci�n a la predicci�n de la complejidad de palabras simples en espa�ol mediante la combinaci�n de m�ltiples caracter�sticas. Se emplearon modelos basados en Transformers, como BERT, XLM-RoBERTa y RoBERTa-large-BNE, ejecutados en algoritmos de regresi�n. Los mejores resultados se obtuvieron con el modelo BERT refinado y el algoritmo Random Forest Regressor, logrando un MAE de 0.1598 y un coeficiente de Pearson de 0.9883. Como trabajo futuro, se propone experimentar con m�s conjuntos de datos en espa�ol y modelos Transformers avanzados para mejorar la predicci�n de la complejidad l�xica.

El Ministerio de Telecomunicaciones de la Rep�blica del Ecuador - (MINTEL) emiti� en 2022 la "Norma T�cnica para la Priorizaci�n y Simplificaci�n de Tr�mites". Este proyecto busc� optimizar los procesos administrativos mediante la eliminaci�n de redundancias y la digitalizaci�n de servicios p�blicos. Aunque se centr� en la estructura de los procedimientos, incluy� la necesidad de evaluar la claridad ling��stica de las normativas. Sin embargo, no se incorporaron herramientas avanzadas de Procesamiento de Lenguaje Natural (PLN). Esto evidencia un �rea de oportunidad para implementar tecnolog�as como Transformers, que podr�an automatizar la identificaci�n de t�rminos complejos y contribuir a una mayor accesibilidad de estos textos (Ministerio de Telecomunicaciones y de la Sociedad de la Informaci�n, 2022).

Seg�n Ortiz (2023) en este estudio introducen a LegalEc, un nuevo corpus anotado de l�xico complejo basado en textos legales en espa�ol ecuatoriano, con detalles sobre su proceso de compilaci�n y anotaci�n. Como recurso para avanzar en la investigaci�n sobre simplificaci�n l�xica en espa�ol, se realizaron experimentos de predicci�n de palabras complejas utilizando 23 caracter�sticas ling��sticas combinadas con codificaciones generadas por modelos como XLM-RoBERTa y RoBERTa-BNE. Los resultados demuestran que esta combinaci�n mejora la predicci�n de la complejidad l�xica.

El estudio "BERT for Legal Texts: Training and Fine-tuning in a New Language" abord� el desaf�o de aplicar BERT en el �mbito legal mediante su ajuste a lenguajes espec�ficos y la adaptaci�n al contexto jur�dico, entrenando el modelo en un corpus extenso de documentos legales en m�ltiples idiomas, como ingl�s, alem�n y franc�s. La metodolog�a incluy� el fine-tuning del modelo BERT en datos legales para tareas como la clasificaci�n de sentencias y la segmentaci�n de contratos, adem�s de una evaluaci�n basada en m�tricas como F1-score y precisi�n para medir su efectividad en tareas espec�ficas. Los resultados mostraron una mejora del 12% en la clasificaci�n de documentos legales en comparaci�n con m�todos tradicionales, con ajustes que permitieron identificar t�rminos complejos y relaciones sem�nticas propias del �mbito legal. Esto valida el uso de Transformers en textos especializados y demuestra que los ajustes contextuales pueden mejorar significativamente la precisi�n en tareas espec�ficas, lo que resulta especialmente relevante para proyectos enfocados en la aplicaci�n de modelos de lenguaje en dominios t�cnicos (Soneji et al., 2024).

Si bien modelos como GPT-3 y GPT-4 han mostrado un gran potencial en la predicci�n de t�rminos complejos mediante las t�cnicas de zero-shot learning y few-shot learning, BERT y RoBERTa ofrecen oportunidades �nicas en la clasificaci�n de secuencias y predicci�n de complejidad l�xica mediante ajuste fino. Como lo demuestran (Devlin, et al., 2019) estos modelos, basados en la arquitectura Transformer, han demostrado ser altamente efectivos en tareas de clasificaci�n y predicci�n de complejidad l�xica, lo que podr�a mejorar significativamente la accesibilidad de los textos gubernamentales mediante t�cnicas de simplificaci�n y adaptaci�n l�xica de acuerdo a los estudios realizados por (Ortiz et al., 2024).

Para Moscoso y Pacheco (2024) desarrollaron en la Universidad de Cuenca proyectos enfocados en la adaptaci�n de modelos de PLN al espa�ol ecuatoriano. En particular, han trabajado con modelos como BERT para el an�lisis de sentimientos y clasificaci�n de textos, demostrando su efectividad en contextos locales. Aunque no espec�ficamente orientados a textos p�blicos, estos avances han puesto en evidencia la necesidad de ajustar los modelos a las particularidades ling��sticas y culturales del espa�ol hablado en Ecuador, como variaciones l�xicas y construcciones sint�cticas �nicas.

Seg�n Ortiz y Montejo (2024) en este estudio, se presenta un m�todo innovador para la predicci�n de la complejidad l�xica (LCP) que integra un conjunto diverso de propiedades ling��sticas con codificaciones de redes neuronales profundas. Para ello, se combinan 23 caracter�sticas ling��sticas artesanales junto con las representaciones generadas por dos modelos de lenguaje de amplia adopci�n: BERT y XLM-RoBERTa. El procedimiento consiste en concatenar dichas caracter�sticas antes de introducirlas en diversos algoritmos de aprendizaje autom�tico, que abarcan desde SVM y Random Forest hasta modelos transformadores ajustados.

Para Soneji et al. (2024) en su estudio utiliz� RoBERTa para analizar y simplificar pol�ticas de privacidad y t�rminos legales complejos mediante su entrenamiento con un corpus especializado de t�rminos legales y pol�ticas de privacidad. La metodolog�a incluy� la implementaci�n de mecanismos de atenci�n para identificar las frases m�s relevantes en cada documento y la validaci�n de las predicciones al compararlas con res�menes generados por expertos. Los resultados mostraron que RoBERTa logr� un 85 % de concordancia con res�menes manuales, adem�s de reducir la redundancia en los textos legales y mejorar su accesibilidad para usuarios no especializados. Este antecedente subraya la capacidad de los Transformers para abordar el lenguaje t�cnico en documentos legales y facilitar su comprensi�n, lo que resulta relevante para proyectos enfocados en simplificar contenidos complejos.

 

Materiales y m�todos

En el marco de esta investigaci�n, se utilizan m�todos estad�sticos e inform�ticos avanzados para la recopilaci�n y el an�lisis de datos cient�ficos. Como destacan Zhang, et al. (2016):

La evaluaci�n de modelos de lenguaje en tareas espec�ficas, como la comprensi�n de textos, requiere no solo la recolecci�n de datos, sino tambi�n la aplicaci�n de t�cnicas anal�ticas rigurosas que permitan identificar patrones complejos y medir la eficacia de los modelos. Este enfoque asegura la obtenci�n de resultados confiables y una interpretaci�n contextualizada de los hallazgos.

Este enfoque es fundamental para nuestra investigaci�n, ya que nos permiti� evaluar sistem�ticamente el rendimiento de modelos como BERT o RoBERTa y otros sistemas basados en arquitecturas Transformer en un conjunto representativo de documentos p�blicos. Esto no solo garantiz� la confiabilidad de los resultados, sino que tambi�n facilit� su generalizaci�n a un espectro m�s amplio de textos institucionales y gubernamentales.

 

Materiales

Conjunto De Datos

Para el tratamiento de los datos, se emple� el corpus GovAIEc como fuente documental, permitiendo obtener acerca de los textos p�blicos ecuatorianos. Durante este proceso, se aplic� el c�digo necesario para analizar la complejidad de las palabras en los documentos oficiales, as� como la generaci�n de m�tricas asociadas a la complejidad l�xica.

Adicionalmente, el proceso incluy� la divisi�n del conjunto de datos en dos proporciones: una destinada a la fase de entrenamiento del modelo y otra reservada para la fase de evaluaci�n. Esto permiti� medir de manera efectiva el desempe�o de los modelos en contextos controlados. Como el objetivo de esta investigaci�n es explorar el impacto de las caracter�sticas ling��sticas a�adidas, se llevaron a cabo ejecuciones tanto con el conjunto de datos original (sin caracter�sticas ling��sticas) como con una versi�n enriquecida que incorpora 17 nuevas caracter�sticas ling��sticas adicionales (LF) a las 23 caracter�sticas que conten�a GovAIEc al inicio de su creaci�n. Estas caracter�sticas buscan proporcionar al modelo un mejor entendimiento del contexto, optimizando su capacidad predictiva y mejorando los resultados generales.

 

Estructura del Corpus

GovAIEc es un corpus especializado en textos administrativos y legales provenientes de cinco fuentes gubernamentales ecuatorianas:

      1.            ATM^[i] - Autoridad de Tr�nsito Municipa. Sitio web oficial: https://www.atm.gob.ec/

      2.            CNE^[ii] - Consejo Nacional Electoral. Sitio web oficial: https://www.cne.gob.ec/

      3.            CNT^[iii] - Corporaci�n Nacional de Telecomunicaci�n. Sitio web oficial: https://www.cnt.com.ec/

      4.            Muy ilustre municipalidad de guayaquil^[iv]. Sitio web oficial: https://guayaquil.gob.ec/

      5.            SRI^[v] - Servicio de Rentas Internas. Sitio web oficial: https://www.sri.gob.ec/web/intersri/home

El archivo principal del dataset contiene 7.813 registros, cada uno etiquetado con informaci�n relevante para la tarea de predicci�n de la complejidad l�xica.

 

Estructura del Dataset

Cada registro dentro de GovAIEc est� compuesto por los siguientes campos:

�         ID: Identificador �nico asignado a cada registro.

�         CORPUS: Fuente espec�fica del registro dentro del dataset.

�         SENTENCE: P�rrafo donde se encuentra la palabra identificada como compleja.

�         TOKEN: Palabra espec�fica marcada para el an�lisis de complejidad l�xica.

�         COMPLEXITY: Valor num�rico que representa el nivel de complejidad de la palabra seg�n los etiquetadores.

 

Criterios de Evaluaci�n y Comparaci�n

Las experimentaciones realizadas con el modelo RoBERTa-large-bne pretenden analizar el rendimiento de bajo dos configuraciones:

      1.            Sin caracter�sticas ling��sticas, donde el modelo aprende exclusivamente de los datos textuales sin informaci�n adicional.

      2.            Con caracter�sticas ling��sticas (LF), incorporando informaci�n ling��stica adicional para mejorar la predicci�n de la complejidad l�xica.

 

Tabla1: Registro

Nota: Esta tabla ofrece una descripci�n detallada del tipo de datos empleados en el entrenamiento y evaluaci�n de los modelos, as� como de la metodolog�a utilizada para asignar los valores de complejidad l�xica a las palabras dentro del corpus. Elaboraci�n: Molina Vargas Jorge y Villota Viteri Kendrick. Fuente: Propia

 

El ID corresponde a un identificador �nico asignado a cada registro. El campo CORPUS indica la fuente de origen de cada ejemplo. SENTENCE representa el p�rrafo en el que se encuentra la palabra etiquetada como compleja, mientras que TOKEN identifica la palabra seleccionada para el an�lisis de complejidad. Finalmente, COMPLEXITY es un valor num�rico que representa el grado de complejidad asignado por los etiquetadores. La siguiente tabla presenta la escala de complejidad l�xica utilizada para clasificar los textos en el dataset seg�n su nivel de dificultad. Se emple� una escala de Likert, la cual asigna valores num�ricos a las palabras o frases en funci�n de su complejidad dentro del contexto del texto. La clasificaci�n se organiza en tres categor�as principales:

�         Moderadamente Dif�cil (Moderately Difficult): Rango de 0 a 0.333. Las palabras o frases en esta categor�a presentan cierta complejidad, pero suelen ser comprensibles dentro del contexto en el que aparecen.

�         Dif�cil (Difficult): Rango de 0.333 a 0.666. Estas palabras o frases poseen un nivel de complejidad considerable y pueden requerir un mayor grado de comprensi�n o conocimientos espec�ficos para su adecuada interpretaci�n.

Muy Dif�cil (Very Difficult): Rango de 0.666 a 1. Las palabras o frases en esta categor�a presentan un alto grado de complejidad, lo que puede representar un desaf�o significativo para la comprensi�n.

Adem�s, el corpus GovAIEc incorpora un total de 40 caracter�sticas ling��sticas adicionales dise�adas para mejorar las predicciones de los modelos de aprendizaje. Estas caracter�sticas proporcionan informaci�n contextual y estructural que permite a los modelos comprender mejor la complejidad l�xica de las palabras. Las caracter�sticas ling��sticas son las siguientes: Frecuencia absoluta, Frecuencia relativa, Longitud de la palabra, N�mero de silabas, Posici�n del token, N�mero de palabras en la oraci�n, Part of speech, Frecuencia relativa de la palabra antes de la palabra objetivo (token), Frecuencia relativa de la palabra despu�s de la palabra objetivo (token), Longitud de la palabra anterior, Longitud de la palabra que sigue, Medida de diversidad l�xica textual, N�mero de sin�nimos, N�mero de hip�nimos, N�mero de hiper�nimos, N�mero de sustantivos singular o plural, N�mero de verbos auxiliares, N�mero de adverbios, N�mero de s�mbolos, N�mero de expresiones num�ricas, N�mero de verbos, N�mero de sustantivos, N�mero de pronombres, N�mero de morfemas, Longitud del lema, Is stopword (Es una palabra vac�a), N�mero de sentidos de una palabra, �ndice de legibilidad de Flesch, �ndice de Gunning-Fog, �ndice de SMOG, �ndice RIX, n-gramas de caracteres, WordNet synset size, WordNet nomber of synset, Language model sentence probability, Average n-gram frecuency, Degree of Polyseny o n�mero de sentidos de la palabra objetivo en WordNet, N�mero de vocales, Word complexity lexic�n, Phrase lenght in terms of words and characters.

 

Procesamiento de la informaci�n

Para el an�lisis de la complejidad l�xica, se emple� el corpus GovAIEc junto con los modelos RoBERTa (con sus respectivas configuraciones) para generar predicciones de complejidad l�xica. Con los valores obtenidos de las predicciones y los valores asignados a cada palabra en el corpus, se utilizaron m�tricas de evaluaci�n como Validation Loss, Training Loss, MAE (Error Absoluto Medio), MSE (Error Cuadr�tico Medio), RMSE (Ra�z del Error Cuadr�tico Medio) y R� (Coeficiente de Determinaci�n) para contrastar los resultados obtenidos con los valores de referencia.

 

M�tricas Utilizadas

Validation Loss

La p�rdida de validaci�n (validation loss) es una m�trica utilizada en el entrenamiento de modelos de aprendizaje autom�tico y aprendizaje profundo para evaluar el rendimiento del modelo en un conjunto de datos de validaci�n. Se calcula aplicando la funci�n de p�rdida al conjunto de validaci�n despu�s de cada iteraci�n o �poca de entrenamiento. Su prop�sito es monitorear si el modelo est� generalizando correctamente a datos no vistos y detectar problemas como el sobreajuste (overfitting) (Baeldung, Training and Validation Loss in Deep Learning, 2024).

Training Loss

La p�rdida de entrenamiento (training loss) es una m�trica utilizada para evaluar qu� tan bien un modelo de aprendizaje autom�tico se ajusta a los datos de entrenamiento. Se calcula utilizando una funci�n de p�rdida espec�fica despu�s de cada iteraci�n o �poca del entrenamiento. Una disminuci�n en el training loss indica que el modelo est� aprendiendo patrones a partir de los datos (Goodfellow et al., 2017).

Mean Absolute Error (MAE)

El Error Absoluto Medio (Mean Absolute Error, MAE) es una m�trica utilizada en modelos de regresi�n para medir el promedio de los errores absolutos entre las predicciones del modelo y los valores reales. Se calcula mediante la siguiente f�rmula:

Donde:

​�representa el valor real.

�es la predicci�n del modelo.

�es el n�mero total de observaciones.

El MAE proporciona una medida directa de la magnitud del error en unidades de la variable de salida sin considerar la direcci�n del error (positiva o negativa) (Willmott y Matsuura, 2005).

Mean Squared Error (Mse)

El Error Cuadr�tico Medio (Mean Squared Error, MSE) es una m�trica de evaluaci�n utilizada en modelos de regresi�n que mide el promedio de los errores al cuadrado entre los valores reales y las predicciones del modelo. Se define mediante la siguiente f�rmula:

Donde:

�representa el valor real.

�es la predicci�n del modelo.

�es el n�mero total de observaciones.

El MSE eleva los errores al cuadrado, lo que penaliza m�s los errores grandes en comparaci�n con los errores peque�os. (Chai & Draxler, 2014)

Root Mean Squared Error (Rmse)

El Error Cuadr�tico Medio de Ra�z (Root Mean Squared Error, RMSE) es una m�trica utilizada para evaluar la precisi�n de modelos de regresi�n, proporcionando una medida de la diferencia promedio entre los valores reales y las predicciones. Se calcula como la ra�z cuadrada del Error Cuadr�tico Medio (Mean Squared Error, MSE)

Donde:

�representa el valor real.

�es la predicci�n del modelo.

�es el n�mero total de observaciones.

El RMSE mide el error en las mismas unidades que la variable objetivo, lo que facilita su interpretaci�n. (Chai y Draxler, 2014)

Coeficiente de Determinaci�n (R^2)

El Coeficiente de Determinaci�n (R^2), tambi�n conocido como el coeficiente de explicaci�n, es una m�trica utilizada para evaluar el desempe�o de modelos de regresi�n. Indica qu� proporci�n de la variabilidad en la variable dependiente (γ) es explicada por las variables independientes (X) en el modelo. (Palma, 2022)

 

Resultados y discusi�n

El an�lisis se centr� en la comparaci�n del modelo evaluado, examinando su desempe�o en distintas configuraciones de �pocas de entrenamiento (30, 50, 70) para determinar c�mo el n�mero de iteraciones impacta su rendimiento en la predicci�n de la complejidad l�xica dentro del corpus GovAIEc. A continuaci�n, la tabla 2 presenta los resultados finales alcanzados tras la ejecuci�n del modelo roberta-large-bne alcanzando su mejor rendimiento con el conjunto de datos conformado por las caracter�sticas ling��sticas.

 

Tabla 2: Modelos Predictivos Aplicados

Nota: El modelo incluido es RoBERTa-large-bne con la inclusi�n de caracter�sticas ling��sticas (LF). La tabla ilustra c�mo el n�mero de �pocas (30, 50, 70) y la inclusi�n de LF impactan en el rendimiento de los modelos.

 

A continuaci�n, se describen los resultados alcanzados:

• Ejecuci�n con 50 �pocas (epochs): Esta configuraci�n logra el mejor rendimiento general con los menores valores de MAE (0,204512) y MSE (0,053927). Adem�s, alcanza un RMSE de 0.232223 y un R� de 0,039591, lo que indica un buen equilibrio entre precisi�n y capacidad explicativa.
• Ejecuci�n con 70 �pocas (epochs): Aunque mantiene un rendimiento similar al de 50 �pocas, no logra mejorar significativamente las m�tricas clave. El MAE aumenta levemente a 0,205496, y el R� disminuye a 0,039526, lo que sugiere que el modelo alcanza una saturaci�n al entrenar por m�s tiempo.
• Ejecuci�n con 30 �pocas (epochs): Presenta resultados competitivos, con el mejor R� (0,039977) y un MSE ligeramente menor (0,053906). Sin embargo, el MAE m�s alto (0,206888) indica una menor precisi�n en las predicciones.

 

Tabla 3: Resultados de la mejor configuraci�n del modelo alcanzados con 50 �pocas

Nota: Se ilustra en la tabla los resultados del entramiento del mejor modelo.

 

Los resultados obtenidos muestran que el modelo roberta-large-bne + LF (FEATURES) con 50 �pocas logr� un desempe�o consistente y eficiente a lo largo del entrenamiento. Durante las primeras 10 �pocas, el modelo experimenta una reducci�n significativa en las m�tricas de error, con el MAE disminuyendo de 0,232025 (en la �poca 1) a 0,216287 (en la �poca 10). Esto refleja un aprendizaje r�pido en las etapas iniciales. De manera similar, el MSE muestra una disminuci�n notable, pasando de 0,070902 a 0,057189 en el mismo intervalo.

A partir de la �poca 30, las m�tricas clave como MAE y MSE comienzan a estabilizarse. El MAE oscila alrededor de 0,206-0,208, mientras que el MSE se mantiene cercano a 0,0539. Esto indica que el modelo alcanza un equilibrio entre precisi�n y generalizaci�n. En particular, la �poca 33 representa el punto �ptimo del modelo, alcanzando un MAE de 0,204512 y un MSE de 0,053927, los valores m�s bajos registrados. Adem�s, el coeficiente R� en esta �poca es de 0,039591, lo que sugiere una ligera mejora en la capacidad de explicar la variabilidad de los datos.

El rendimiento global del modelo demuestra robustez, con el RMSE permaneciendo estable alrededor de 0,232 durante las �ltimas �pocas. Aunque los valores de R� no son altos, la mejora progresiva desde valores negativos (-0,262713 en la �poca 1) hasta positivos (0,039591 en la �poca 33) indica un refinamiento constante en la capacidad explicativa del modelo. Entrenar m�s all� de la �poca 33 no aporta mejoras significativas, como lo reflejan las m�tricas consistentes en las �ltimas epocas, lo que tambi�n sugiere que continuar el entrenamiento podr�a resultar en un uso ineficiente de recursos computacionales.

El modelo roberta-large-bne + LF (FEATURES) se destac� por su capacidad de lograr un equilibrio entre precisi�n y estabilidad. Su rendimiento �ptimo, alcanzado en la �poca 33, demuestra su eficacia para la predicci�n de complejidad l�xica, justificando su elecci�n como la configuraci�n final para esta tarea.

 

An�lisis de la p�rdida de entramiento y p�rdida de validaci�n aplicando 50 �pocas

 

Figura 1: Training Loss y Validation Loss (roberta-large-bne + LF, 50 Epochs)

Nota:� Se ilustra un gr�fico comparativo de los resultados del training y validation loss en el modelo roberta-large-bne con caracter�sticas linguisticas aplicando 50 ciclos.

 

Comportamiento General de los Valores de Loss

Training Loss:

�         Comienza en 0,1186 en la primera �poca y desciende progresivamente hasta estabilizarse en torno a 0,056 hacia las �ltimas �pocas.

�         Esto indica que el modelo est� aprendiendo de manera consistente durante el entrenamiento, reduciendo su error en los datos de entrenamiento con cada ciclo.

 

Validation Loss

Inicia en 0,071007 en la primera �poca y desciende hasta estabilizarse cerca de 0,054, mostrando un comportamiento similar al Training Loss. El Validation Loss se estabiliza aproximadamente a partir de la �poca 15, lo que sugiere que el modelo alcanza un punto donde mejora solo marginalmente en los datos de validaci�n.

 

Convergencia entre Training y Validation Loss

Diferencia Inicial

En las primeras �pocas, hay una notable diferencia entre el Training Loss y el Validation Loss. Por ejemplo:

�poca 1: Training Loss = 0,1186, Validation Loss = 0,071007.

Esto es normal al inicio del entrenamiento, ya que el modelo a�n est� ajust�ndose a los datos.

 

Reducci�n de la Brecha

A medida que avanzan los ciclos, las diferencias entre ambos se reducen. Por ejemplo:

�                    �poca 30: Training Loss = 0,0573, Validation Loss = 0,054255.

�                    �poca 50: Training Loss = 0,0562, Validation Loss = 0,054595.

Esto indica que el modelo logra un buen equilibrio entre su capacidad para ajustarse a los datos de entrenamiento y generalizar a los datos de validaci�n.

 

 

 

Ausencia de Sobreajuste

Si el Training Loss disminuyera constantemente mientras el Validation Loss comenzara a aumentar, indicar�a que el modelo est� sobreajust�ndose (memoriza los datos de entrenamiento, pero no generaliza bien). En este caso:

�         Ambos valores (Training Loss y Validation Loss) se estabilizan en niveles similares hacia el final del entrenamiento (50 �pocas).

�         Esto sugiere que el modelo no muestra signos significativos de sobreajuste, lo que es un comportamiento deseable.

 

Estabilizaci�n del Modelo

Ambos valores de p�rdida se estabilizan a partir de la �poca 30, con cambios marginales en las �ltimas �pocas.

Por ejemplo:

�                    �poca 30: Training Loss = 0,0573, Validation Loss = 0,054255.

�                    �poca 50: Training Loss = 0,0562, Validation Loss = 0,054595.

Esto sugiere que entrenar m�s all� de 30-40 �pocas podr�a no aportar mejoras significativas y, por tanto, podr�a ser una oportunidad para reducir el tiempo de entrenamiento.

 

Interpretaci�n de los Valores Finales

En la �poca 50:

�                    Training Loss: 0,0562.

�                    Validation Loss: 0,054595.

Estos valores bajos y cercanos entre s� indican que el modelo tiene una alta precisi�n en los datos de entrenamiento y generaliza bien en los datos de validaci�n.

 

Conclusiones

Las mejores ejecuciones se obtuvieron ejecutando roberta-large-bne + LF con 50 �pocas, el cual tuvo el mejor rendimiento general, logrando un MAE = 0,204512 y un MSE = 0,053927, lo que indica su capacidad para predecir la complejidad l�xica con mayor precisi�n. La inclusi�n de caracter�sticas ling��sticas (+LF) mejora significativamente el rendimiento del modelo, al proporcionar informaci�n adicional sobre la estructura y el contexto de las palabras. Esto permite al modelo capturar patrones complejos que no son evidentes �nicamente a partir del texto, incrementando la precisi�n y estabilidad de las predicciones. Adem�s, entrenar por m�s de 50 epochs no proporciona beneficios significativos y, en algunos casos, puede llevar a un rendimiento sub�ptimo debido al sobreajuste.

Los resultados muestran que el modelo roberta-large-bne con 50 �pocas y caracter�sticas ling��sticas (+LF) logra el mejor equilibrio entre precisi�n y generalizaci�n. Mientras que un mayor n�mero de �pocas (70) puede reducir levemente el MAE, tambi�n puede generar una ligera degradaci�n en la estabilidad del modelo, como lo evidencia el comportamiento del R�. Estos hallazgos refuerzan la importancia de ajustar cuidadosamente el n�mero de ciclos de entrenamiento y la inclusi�n de caracter�sticas ling��sticas para optimizar el rendimiento del modelo.

 

Recomendaciones

Recomendamos la optimizaci�n del n�mero de �pocas por modelo y configuraci�n, ya que, consideramos que entrenar por m�s de 50 �pocas no mostr� mejoras significativas y, en algunos casos, llev� al sobreajuste, se recomienda realizar experimentos adicionales para determinar de forma m�s precisa el n�mero �ptimo de ciclos de entrenamiento para diferentes arquitecturas y configuraciones del modelo. Esto podr�a incluir an�lisis adaptativos donde el entrenamiento se detenga autom�ticamente al alcanzar una convergencia en las m�tricas de validaci�n.

Sugerimos la exploraci�n de nuevas caracter�sticas ling��sticas, Aunque las caracter�sticas ling��sticas utilizadas (+LF) demostraron mejorar significativamente el rendimiento de los modelos, se sugiere explorar nuevas caracter�sticas relacionadas con sem�ntica, sintaxis o complejidad cognitiva de los textos. Esto permitir�a enriquecer a�n m�s las representaciones de los modelos y podr�a contribuir a una mayor precisi�n en la predicci�n de la complejidad l�xica.

Es necesario la ampliaci�n del corpus y validaci�n en diversos contextos, dado que el corpus utilizado (GovAIEc) se basa en textos p�blicos ecuatorianos, ser�a valioso ampliar el an�lisis a textos de otros pa�ses o contextos institucionales. Esto permitir�a evaluar la capacidad de generalizaci�n de los modelos en diferentes dominios ling��sticos y validar la efectividad de las caracter�sticas ling��sticas en otros escenarios.

 

 

Referencias

      1.            Azucena, H., & Yanet, S. (2021). La educaci�n inclusiva desde el marco legal educativo en el Ecuador. 6(3). Obtenido de https://doi.org/10.5281/ZENODO.5512949

      2.            Baeldung. (2024). Training and Validation Loss in Deep Learning. Obtenido de https://www.baeldung.com/cs/training-validation-loss-deep-learning

      3.            Beltagy, I., Peters, M., & Cohan, A. (2020). Longformer: The Long-Document Transformer. Obtenido de https://arxiv.org/pdf/2004.05150

      4.            Bender, E. (2023). Transformer Models: From Architecture to Impact in NLP. SADIO Electronic Journal. Obtenido de https://publicaciones.sadio.org.ar/index.php/EJS/article/download/465/393/.

      5.            Calero S�nchez, M., Gonz�lez Gonz�lez, J., S�nchez Berriel, I., Burillo-Putze, G., & Roda Garc�a, J. (2024). El Procesamiento de Lenguaje Natural en la revisi�n. Obtenido de https://www.reue.org/wp-content/uploads/2024/07/184-195.pdf?utm_source

      6.            Cesteros, J. (2023). Aproximaciones a la simplificaci�on l�exica mediante. Obtenido de https://apidspace.linhd.uned.es/server/api/core/bitstreams/24152488-5e9b-4185-904d-9e0b0346162b/content

      7.            Clark, K., Luong, M., Le, Q., & Maning, C. (2020). ELECTRA: PRE-TRAINING TEXT ENCODERS. Obtenido de https://arxiv.org/pdf/2003.10555

      8.            Cornell University. (26 de Febrero de 2021). Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet. Obtenido de https://arxiv.org/abs/2102.08036?utm_source

      9.            Devlin, J., Chang, M., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Obtenido de https://arxiv.org/abs/1810.04805

  10.            Duchitanga, R., & Le�n-Paredes, G. (21 de Mayo de 2023). An Approach to the Presumptive Detection of Road Incidents in Cuenca, Ecuador Using the Data from the Social Media Twitter and Spanish Natural Language Processing. Obtenido de https://link.springer.com/chapter/10.1007/978-3-031-32213-6_17

  11.            Face, H. (2020). Transformers. Obtenido de https://huggingface.co/docs/transformers/index

  12.            Geng, S., Lebret, R., & Aberer, K. (2023). Legal Transformer Models May Not Always Help. Obtenido de https://ugye-my.sharepoint.com/personal/kendrick_villotav_ug_edu_ec/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fkendrick%5Fvillotav%5Fug%5Fedu%5Fec%2FDocuments%2FBIBLIOGRAFIAS%2FBIBLIOGRAFIAS%2Ffiles%2F110%2FGeng%20et%20al%2E%20%2D%202021%20%2D%20Legal%20T

  13.            Grimmelikhujisen, S., & Welch, E. (8 de Junio de 2012). Developing and Testing a Theoretical Framework for Computer-Mediated Transparency of Local Governments. Obtenido de https://onlinelibrary.wiley.com/doi/10.1111/j.1540-6210.2011.02532.x

  14.            IBM TechXchange. (21 de Octubre de 2024). �Qu� es el PLN (procesamiento del lenguaje natural)? Obtenido de https://www.ibm.com/es-es/topics/natural-language-processing?utm_source

  15.            Lenin, M. (2024). Aplicaci�n de Modelos Transformers para Clasificar Textos en Idioma Espa�ol [Universidad Estatal Pen�nsula de Santa Elena]. Obtenido de https://repositorio.upse.edu.ec/bitstream/46000/11875/1/UPSE-TTI-2024-0035.pdf?utm_source

  16.            Lu, Xu, & Wei. (2023). Understanding the effects of the textual complexity on government communication: Insights from China�s online public service platform. Obtenido de https://www.sciencedirect.com/science/article/abs/pii/S0736585323000928

  17.            Ministerio de Telecomunicaciones y de la Sociedad de la Informaci�n. (2022). Obtenido de MINTEL-MINTEL: https://ugye-my.sharepoint.com/personal/kendrick_villotav_ug_edu_ec/_layouts/15/onedrive.aspx?ga=1&id=%2Fpersonal%2Fkendrick%5Fvillotav%5Fug%5Fedu%5Fec%2FDocuments%2FBIBLIOGRAFIAS%2FBIBLIOGRAFIAS%2Ffiles%2F109%2FMINTEL%2DMINTEL%2D2022%2D0034%2Epdf&parent=

  18.            Mo, Y., Qin, H., Dog, Y., Zhu, Z., & Li, Z. (24 de Abril de 2024). Large Language Model (LLM) AI text generation detection based on transformer deep learning algorithm. Obtenido de https://arxiv.org/abs/2405.06652

  19.            Moscoso Lozano, D. F., & Pacheco Fares, J. O. (2024). Trabajo de Titulaci�n. Obtenido de https://ugye-my.sharepoint.com/personal/kendrick_villotav_ug_edu_ec/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fkendrick%5Fvillotav%5Fug%5Fedu%5Fec%2FDocuments%2FBIBLIOGRAFIAS%2FBIBLIOGRAFIAS%2Ffiles%2F108%2FSistema%20de%20recomendaci%C3%B3n%20de%20cursos%

  20.            Nasimba, F. (2023). "Attention is all you need". Arquitectura Transformers: descripci�n y aplicaciones. Obtenido de https://dspace.umh.es/bitstream/11000/30273/1/TFG-Nasimba%20Tipan%2c%20Alexis%20Fabian.pdf

  21.            Olmos, M. (2021). PROCESAMIENTO DE LENGUAJE NATURAL APLICADO A LOS DISCURSOS DE JUAN DOMINGO PER�N ENTRE 1943 Y 1955. Obtenido de https://ri.itba.edu.ar/server/api/core/bitstreams/b2074780-d8af-4326-beb2-2830b39ff56b/content

  22.            Ormaechea, L., Tsourakis, N., Schwab, D., Bouillon, P., & Lecouteux, B. (2023). Simple, Simpler and Beyond: A Fine-Tuning BERT-Based Approach to Enhance Sentence Complexity Assessment for Text Simplification.

  23.            Ortiz Zambrano, J., & Montejo-R�ez, A. (2017). A corpus of videos and transcriptions for research in the Reading Comprehension of University Students. Obtenido de https://doi.org/10.1007/978-3-030-32022-5_16

  24.            Ortiz Zambrano, J., & Varela Tapia, E. (2019). Reading Comprehension in University Texts: The Metrics of Lexical Complexity in Corpus Analysis in Spanish. Obtenido de https://doi.org/10.1007/978-3-030-12018-4_9

  25.            Ortiz-Zambrano, J., & Montejo-Raez, A. (2021). CLexIS2: A New Corpus for Complex Word Identification Research in Computing Studies. Obtenido de https://doi.org/10.26615/978-954-452-072-4_121

  26.            Ortiz-Zambrano, J., & Montejo-Raez, A. (2021). SINAI at SemEval-2021 Task 1: Complex word identification using Word-level features. Obtenido de https://ugye-my.sharepoint.com/personal/kendrick_villotav_ug_edu_ec/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fkendrick%5Fvillotav%5Fug%5Fedu%5Fec%2FDocuments%2FBIBLIOGRAFIAS%2FBIBLIOGRAFIAS%2Ffiles%2F20%2FOrtiz%2DZambrano%20y%20Montejo%2DR%C3%A1ez%20%2D%

  27.            Ortiz-Zambrano, J., Espin-Riofrio, C., & Montejo-R�ez, A. (2022). Transformers for Lexical Complexity Prediction in Spanish Language. Obtenido de https://doi.org/10.26342/2022-69-15

  28.            Ortiz-Zambrano, J., Espin-Riofrio, C., & Montejo-R�ez, A. (2023). Combining Transformer Embeddings with Linguistic Features for Complex Word Identification. Obtenido de https://doi.org/10.3390/electronics12010120

  29.            Ortiz-Zambrano, J., Esp�n-Riofrio, C., & Montejo-R�ez, A. (2023). LegalEc: Un nuevo corpus para la investigaci�n de la identificaci�n de palabras complejas en los estudios de Derecho en espa�ol ecuatoriano. Obtenido de https://doi.org/10.26342/2023-71-19

  30.            Ortiz-Zambrano, J., Esp�n-Riofr�o, C., & Montejo-R�ez, A. (2024). Deep Encodings vs. Linguistic Features in Lexical Complexity Prediction. Obtenido de https://doi.org/10.1007/s00521-024-10662-9

  31.            Ortiz-Zambrano, J., Esp�n-Riofr�o, C., & Montejo-R�ez, A. (2024). Enhancing Lexical Complexity Prediction Through Few-Shot Learning with GPT-3. Obtenido de https://ugye-my.sharepoint.com/personal/kendrick_villotav_ug_edu_ec/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fkendrick%5Fvillotav%5Fug%5Fedu%5Fec%2FDocuments%2FBIBLIOGRAFIAS%2FBIBLIOGRAFIAS%2Ffiles%2F24%2FOrtiz%2DZambrano%20et%20al%2E%20%2D%202024%20%2D%

  32.            Soneji, S., Hoesing, M., Koujalgi, S., & Dodge, J. (17 de Abril de 2024). Demystifying Legalese: An Automated Approach for Summarizing and Analyzing Overlaps in Privacy Policies and Terms of Service. Obtenido de https://arxiv.org/abs/2404.13087

  33.            Wold, S., Maehlum, P., & Hove, O. (1 de Abril de 2024). Estimating Lexical Complexity from Document-Level Distribution. Obtenido de https://arxiv.org/abs/2404.01196

  34.            Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., & Moi, A. (2020). HuggingFace's Transformers: State-of-the-art Natural Language Processing. Obtenido de https://arxiv.org/abs/1910.03771

  35.            Yamada, I., Asai, A., Shindo, H., Takeda, H., & Matsumoto, Y. (2023). LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention. Obtenido de https://arxiv.org/pdf/2010.01057

 

 

� 2025 por los autores. Este art�culo es de acceso abierto y distribuido seg�n los t�rminos y condiciones de la licencia Creative Commons Atribuci�n-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)

(https://creativecommons.org/licenses/by-nc-sa/4.0/).