Clasificación y etiquetado de tweets de Ecuador para determinar qué tema tratan, utilizando un modelo Transformer

César Humberto Espin-Riofrio, Kerlly Vera-Guamán, Ricardo Yela-García

Resumen


El presente artículo tiene como uno de sus objetivos el estudio y establecimiento del estado de arte del Procesamiento de Lenguaje Natural, así como también identificar los métodos más utilizados para la tarea de clasificación y etiquetado de textos basados en el idioma español a través de la revisión y comparación de diferentes artículos científicos de relevancia y trabajos académicos relacionados. Se procederá a experimentar con el modelo Transformer Selectra-Medium para clasificación de textos cortos, utilizando mensajes de la red social Twitter de usuarios de Ecuador como fuente de datos en idioma español, los mismos serán almacenados, procesados, clasificados y finalmente etiquetados para poder identificar de qué temas tratan de forma automática.  A través de la utilización del modelo se establecen categorías previamente definidas como sociedad, economía, entretenimiento, salud, deportes y delincuencia sobre las cuales procede la clasificación. Se busca obtener una proyección de los temas de interés que tratan los usuarios agilitando tareas de análisis de textos, dichos resultados podrán ser beneficiosos como aporte a las investigaciones sobre el tema.


Palabras clave


Procesamiento de Lenguaje Natural; Transformers; Selectra; Clasificación de textos.

Texto completo:

PDF HTML

Referencias


Arámbula Cosío, F., Emmanuel Maqueda Bojorquez, D., Luis Morales-Reyes, J., Gabriel Acosta-Mesa, H., Nora Aquino-Bolaños, E., Herrera-Meza, S., Cruz-Ramírez José Luis Chávez-Servia, N., Hevia-Montiel, N., Mota Antonio Neme, S., Arámbula Cosío, F., Torres Robles, F., Velásquez-Rodríguez, G., Galicia Gómez, E., Escalante-Ramirez, B., Olveres, J., Pérez, J. L., Medina Bañuelos, V., Camargo Marín Guzmán Huerta, L. M., Fanti, Z., … Hazan Lasri Arámbula Cosío, E. F. (2021). De redes neuronales recurrentes a modelos de lenguaje: la evolución del PLN en la generación de textos Clasificación de poblaciones nativas de frijol utilizando visión artificial Las anomalías: ¿qué son?, ¿dónde surgen?, ¿cómo detectarlas? Aprendizaje com.

Beltrán, N. C., & Rodríguez, E. C. (2021). Procesamiento del lenguaje natural (PLN) - GPT-3.: Aplicación en la Ingeniería de Software. Tecnología Investigación y Academia, 8(1), 18–37. https://revistas.udistrital.edu.co/index.php/tia/article/view/17323

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., … Amodei, D. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 2020-December. https://arxiv.org/abs/2005.14165v4

Chamorro, V. (2018). CLASIFICACIÓN DE TWEETS MEDIANTE MODELOS DE APRENDIZAJE SUPERVISADO.

Chomsky, N. (1965). Aspects of the theory of syntax. 251.

Cuenca, D., & León, D. (2008). SUPPORT VECTOR MACHINE.

Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL HLT 2019 - 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies - Proceedings of the Conference, 1, 4171–4186. https://arxiv.org/abs/1810.04805v2

Elgueta, J. (2017). Comparación de rendimiento de técnicas de aprendizaje automático para análisis de afecto sobre textos en español. http://repobib.ubiobio.cl/jspui/handle/123456789/1772

García, I. (2018). Estudio de word embeddings y métodos de generación de meta embeddings. https://addi.ehu.es/handle/10810/29088

Gers, F. A., Schmidhuber, J., & Cummins, F. (2000). Learning to forget: Continual prediction with LSTM. Neural Computation, 12(10), 2451–2471. https://doi.org/10.1162/089976600300015015

González, S., & Centenera, C. (2020). Estudio del rendimiento de BERT frente a métodos clásicos de procesamiento de lenguaje natural.

Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 18(7), 1527–1554. https://doi.org/10.1162/NECO.2006.18.7.1527

Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/NECO.1997.9.8.1735

Hutchins, W. J. (2004). The Georgetown-IBM experiment demonstrated in January 1954.

Khurana, D., Koli, A., Khatter, K., & Singh, S. (2017). Natural Language Processing: State of The Art, Current Trends and Challenges. https://arxiv.org/abs/1708.05148v1

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., & Zettlemoyer, L. (2019). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. 7871–7880. https://doi.org/10.18653/v1/2020.acl-main.703

López, A. (2018). Fundamentos Matemáticos de los Métodos Kernel para Aprendizaje Supervisado. 73.

Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. 1st International Conference on Learning Representations, ICLR 2013 - Workshop Track Proceedings. https://arxiv.org/abs/1301.3781v3

Openai, A. R., Openai, K. N., Openai, T. S., & Openai, I. S. (2018). Improving Language Understanding by Generative Pre-Training. https://gluebenchmark.com/leaderboard

Pérez, S. A., Profesor Guía, V., Alfaro, R., Profesor Co-Referente, A., Héctor, :, & Cid, A. (2017). “Análisis y Clasificación de Textos con Técnicas Semi Supervisadas Aplicado a Área Atención al Cliente.”

Quinlan, J. R. (1996). Learning decision tree classifiers. ACM Computing Surveys (CSUR), 28(1), 71–72. https://doi.org/10.1145/234313.234346

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (n.d.). Language Models are Unsupervised Multitask Learners. Retrieved March 2, 2022, from https://github.com/codelucas/newspaper

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2019). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21, 1–67. https://arxiv.org/abs/1910.10683v3

Sánchez, J. (2020). Análisis del estado del arte de la generación de texto con redes neuronales mediante modelos de Transformer.

Sancho Caparrini, F. (n.d.). Aprendizaje Inductivo: Árboles de Decisión.

Turing, A. (1950). Maquinaria computacional e Inteligencia.

Vapnik, V. N. (1995). The Nature of Statistical Learning Theory. The Nature of Statistical Learning Theory. https://doi.org/10.1007/978-1-4757-3264-1

Vaswani, A. (2017). Attention Is All You Need arXiv:1706.03762v5. Advances in Neural Information Processing Systems, 2017-Decem(Nips), 5999–6009. https://www.autoriteitnvs.nl/onderwerpen/stralingsincidenten/inhoud/incidenten-met-a--en-of-b-objecten

Vidal Ruiz, E. (1986). An algorithm for finding nearest neighbours in (approximately) constant average time. Pattern Recognition Letters, 4(3), 145–157. https://doi.org/10.1016/0167-8655(86)90013-9




DOI: https://doi.org/10.23857/pc.v%25vi%25i.3791

Enlaces de Referencia

  • Por el momento, no existen enlaces de referencia
';

Bookmark and Share




Polo del Conocimiento              

Revista Científico-Académica Multidisciplinaria

ISSN: 2550-682X

Casa Editora del Polo                                                 

Manta - Ecuador       

Dirección: Ciudadela El Palmar, II Etapa,  Manta - Manabí - Ecuador.

Código Postal: 130801

Teléfonos: 056051775/0991871420

Email: polodelconocimientorevista@gmail.com / director@polodelconocimiento.com

URL: https://www.polodelconocimiento.com/