����������������������������������������������������������������������������������

 

Mecanismos para el procesamiento de big data. Limpieza, transformaci�n y an�lisis de Datos

Mechanisms for the processing of big data. Data cleaning, transformation and analysis

�Negocia��o para o processamento de big data . Limpeza, transforma��o e an�lise de dados

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Correspondencia: ricardo.malla@utm.edu.ec

 

 

 

Ciencias de la Computaci�n

Art�culo de Investigaci�n

�

* Recibido: 23 de febrero de 2023 *Aceptado: 14 de marzo de 2023 * Publicado: 01 de abril de 2023

 

I.                    Magister en Inform�tica Empresarial UNIANDES, Ing. En Sistemas Inform�ticos Universidad T�cnica de Manab�, Docente Universidad T�cnica de Manab�, Ex - Coordinador Zonal de TIC MSP � Zona 4, Ex - Coordinador de Metas Institucionales y Asesor Educativo MINEDUC Zona 4, Sub Secretario de atenci�n intergeneracional MIES.

II.                  �Ingeniero de Sistemas Inform�ticos. Licenciado en Trabajo Social. M�ster en Ingenier�a de Software y Sistemas Inform�ticos por la Universidad Internacional de la Rioja. Docente de la Universidad T�cnica de Manab�. Portoviejo, Ecuador.

III.                �Ingeniero En Sistemas Inform�ticos, Magister En Educaci�n Inform�tica, Analista Distrital de Soporte T�cnico de la Direcci�n Distrital 13D09 Paj�n Salud, Docente de la Universidad t�cnica de Manab�. Portoviejo, Ecuador

IV.                Ingeniero en Sistemas Inform�ticos, Analista de planificaci�n institucional en la Universidad T�cnica de Manab�, Magister en inform�tica empresarial por la UNIANDES y un M�ster Universitario en Evaluaci�n de la Calidad y Procesos de Certificaci�n en Educaci�n Superior por la Universidad Internacional de la Rioja.

Resumen

Actualmente, la masificaci�n de informaci�n en Internet, ha provocado el desarrollo de nuevas herramientas de an�lisis, por lo que se ha vuelto indispensable la adquisici�n de mecanismos sistem�ticos que permitan administrar eficientemente la Big Data, todo esto con el fin de garantizar que las organizaciones y empresas puedan tomar decisiones relacionadas con un previo y efectivo an�lisis de datos. La Big Data es conocida como una combinaci�n de datos estructurados, semiestructurados y no estructurados, los cuales son recopilados por las organizaciones, para luego ser procesados y presentados de manera p�blica o privada, posteriormente estos datos pueden usarse en proyectos de aprendizaje autom�tico, modelado predictivo y otras aplicaciones de an�lisis avanzado. Se ha evidenciado que, en la actualidad la mayor parte de los datos no est�n estructurados, lo que dificulta la optimizaci�n de las tareas de procesamiento de datos y dado que el proceso de generaci�n de datos no tiene fin, los procesos de recopilaci�n y administraci�n de informaci�n se han convertido en actividades m�s complejas. La presente investigaci�n es de car�cter anal�tico-sint�tico, debido a que se descomponen las partes a estudiar, realiz�ndose un an�lisis y s�ntesis sobre la definici�n de la Big Data, tipos y mecanismos utilizados en el procesamiento de datos, adem�s se presentan diversas herramientas utilizadas para administrar informaci�n voluminosa, asi mismo se identifican los algoritmos m�s eficientes para el procesamiento de informaci�n acorde a las necesidades de las organizaciones. Luego de integrar las partes estudiadas, se genera como resultado, una gu�a actualizada sobre los algoritmos y aplicaciones a utilizar en cada fase del procesamiento de datos, con el objetivo de que se facilite la toma de decisiones en las organizaciones.

Palabras Clave: Big Data; Mecanismos; An�lisis de Datos; Herramientas de an�lisis;Algoritmos de procesamiento.

 

Abstract

Currently, the massification of information on the Internet has led to the development of new analysis tools, so it has become essential to acquire systematic mechanisms to efficiently manage Big Data, all this in order to ensure that organizations and companies can make decisions related to a previous and effective data analysis. Big Data is known as a combination of structured, semi-structured and unstructured data, which are collected by organizations, and then processed and presented publicly or privately, then these data can be used in machine learning projects, predictive modeling and other advanced analytics applications. It has been evidenced that, at present most of the data are not structured, which makes it difficult to optimize data processing tasks and since the data generation process is never ending, the information collection and management processes have become more complex activities. The present research is of an analytical-synthetic nature, due to the fact that the parts to be studied are decomposed, performing an analysis and synthesis on the definition of Big Data, types and mechanisms used in data processing, in addition to presenting various tools used to manage voluminous information, as well as identifying the most efficient algorithms for processing information according to the needs of organizations. After integrating the parts studied, the result is an updated guide on the algorithms and applications to be used in each phase of data processing, with the objective of facilitating decision making in organizations.

Keywords: Big Data; Mechanisms; Data Analysis; Analysis tools; Processing algorithms.

 

Resumo

Actualmente, a massifica��o da informa��o na Internet levou ao desenvolvimento de novas ferramentas de an�lise, pelo que se tornou essencial adquirir mecanismos sistem�ticos para gerir eficazmente os Grandes Dados, tudo isto para garantir que as organiza��es e empresas possam tomar decis�es relacionadas com uma an�lise pr�via e eficaz dos dados. Big Data � conhecido como uma combina��o de dados estruturados, semi-estruturados e n�o estruturados, que s�o recolhidos por organiza��es e depois processados e apresentados p�blica ou privadamente, e podem ser utilizados em projectos de aprendizagem de m�quinas, modela��o preditiva e outras aplica��es anal�ticas avan�adas. Tornou-se evidente que, actualmente, a maioria dos dados n�o est� estruturada, o que dificulta a optimiza��o das tarefas de processamento de dados e, uma vez que o processo de gera��o de dados nunca termina, os processos de recolha e gest�o da informa��o tornaram-se mais complexos. Esta investiga��o � de natureza anal�tico-sint�tica, devido ao facto de as partes a estudar serem discriminadas, realizando uma an�lise e s�ntese sobre a defini��o de Grandes Dados, tipos e mecanismos utilizados no processamento de dados, para al�m de apresentar v�rias ferramentas utilizadas para gerir informa��o volumosa, bem como identificar os algoritmos mais eficientes para o processamento da informa��o de acordo com as necessidades das organiza��es. Ap�s a integra��o das partes estudadas, � gerado como resultado, um guia actualizado sobre os algoritmos e aplica��es a utilizar em cada fase do processamento de dados, com o objectivo de facilitar a tomada de decis�es nas organiza��es.

Palavras-chave: Grandes Dados, Mecanismos, An�lise de Dados, Ferramentas de An�lise, Algoritmos de Processamento, Algoritmos de Processamento.

 

Introducci�n

Despu�s del surgimiento del Internet, se han venido dado avances muy significativos en el �mbito de las telecomunicaciones, educaci�n, negocios y entretenimiento, todas estas actividades han generado que exista gran cantidad de informaci�n, con diferentes estructuras, cuyo volumen de datos, complejidad y velocidad de crecimiento poseen caracter�sticas imposibles de procesar a trav�s de modelos y herramientas tradicionales, lo que dificulta su procesamiento. Por otra parte, Zaheer & Zaynah (2019), afirman que la generaci�n de informaci�n masiva en Internet o m�s conocida como Big Data suele ser incontrolable pero muy necesarias para las empresas en la actualidad, por lo cual se requiere de herramientas tecnol�gicas eficientes e inclusive de algoritmos que permitan mejorar el estudio de los datos (p. 2).

El an�lisis de Big Data en la actualidad toma cada vez m�s importancia en los mercados actuales, debido a su incre�ble utilidad, sobre todo en el entorno empresarial. Gracias a la difusi�n de los datos, el internet y las nuevas tecnolog�as, las empresas est�n recolectando constantemente un mayor volumen de informaci�n en tiempo real, tales como: datos de operaci�n, clientes, proveedores y de todos los frentes de operaciones de las mismas. Cuando los datos llegan a integrarse, existen posibilidades de analizar y crear soluciones que permitan mejorar los procesos de toma de decisiones, es decir, se mejora la competitividad de las empresas. El estudio de los datos puede abaratar costos a las empresas, crear nuevos productos o servicios, entre otros.

Seg�n Hern�ndez, Duque & Moreno (2017), manifiesta que:

Para la realizaci�n del manejo de los datos es indispensable contar con dos componentes de suma importancia como lo son el hardware y el software; del lado del hardware se cuenta con tecnolog�as de alto nivel como arquitecturas de MPP, que agiliza el procesamiento de los datos y del lado del software aparecen las tecnolog�as que ayudan en el correcto manejo de los datos no estructurados o semiestructurados; para estas necesidades se acude a las tecnolog�as como Spark o Hadoop, que son especialmente dise�adas para el manejo de informaci�n estructurada, no estructurada o semiestructurada (p. 18).

En la presente investigaci�n se pretende identificar las diversas herramientas utilizadas para recopilaci�n, transformaci�n y an�lisis de informaci�n voluminosa, asi mismo se estudian las caracter�sticas de los algoritmos m�s eficientes para el procesamiento de informaci�n con el objetivo de elaborar una gu�a met�dica para el procesamiento de datos en las organizaciones.

 

Metodolog�a

En el presente trabajo se utilizar� el m�todo anal�tico-sint�tico, debido a que se descomponen todas las partes que conforman el objeto de estudio, luego se procede a estudiar cada una de las partes de manera individual y m�s adelante se integran dichas partes con el fin de estudiarlas de manera hol�stica e integral. Las partes a estudiar en esta investigaci�n son las herramientas y algoritmos utilizados en las diversas fases del procesamiento de datos; dicha informaci�n es recopilada a trav�s de la base de datos Google Acad�mico y de los distintos estudios realizados en revistas cient�ficas indexadas como ScieLo, Redalyc, Latindex, haciendo uso de palabras claves como: Big Data, Herramientas de an�lisis, Algoritmos para tratamiento de datos, entre otros.

 

Introducci�n al procesamiento de datos

Para Liarte (2019), el procesamiento de datos es el proceso de recopilar, limpiar, transformar y analizar informaci�n valiosa desde diversas fuentes, en la actualidad las empresas suelen utilizar t�cnicas de aprendizaje autom�tico y estad�sticas para recopilar informaci�n. El procesamiento de datos surge como una disciplina t�cnica a partir del apogeo del t�rmino Big Data que est� relacionado a la informaci�n a gran escala, el procesamiento de datos posee una estructura ordenada en su aplicaci�n, seg�n (Garc�a et al, 2016) existen fases indispensables en el procesamiento de los datos, estas son:

�         Limpieza de datos.

�         Transformaci�n de datos.

�         An�lisis de datos.

 

Limpieza de datos

Carranza (2022), la define como un proceso de correcci�n o eliminaci�n de datos formateados de manera incorrecta, pudiendo estar duplicados o incompletos dentro de un gran conjunto de datos, el proceso de limpieza suele ser ejecutado desde software especializado, estos pueden ser:

�         Apache Spark: software de c�digo abierto que permite la limpieza y transformaci�n de datos a gran escala de manera eficiente, incluye m�dulos para la administraci�n de datos, como: Spark SQL y DataFrames.

�         Talend: software de c�digo abierto que ofrece una amplia gama de funciones de limpieza de datos, pudi�ndolos integrar desde diferentes fuentes (csv, bases de datos, entre otros).

�         Databricks: Plataforma basada en la nube, dedicada a la limpieza y transformaci�n de datos a gran escala, incorpora m�dulos de an�lisis como: Spark DataFrames.

�         Trifacta: Herramienta Online, donde los usuarios pueden explorar y transformar en tiempo real, grandes vol�menes de datos, en comparaci�n a las anteriores Trifacta posee una interfaz visual Drag and Drop (arrastrar y soltar) que facilita las actividades a los usuarios sin conocimientos t�cnicos.

�         Inform�tica Power Center: Herramienta de integraci�n para datos empresariales, con funciones de limpieza y normalizaci�n de datos a gran escala.

�������������������������������������������

����������������������������������������������� Gr�fico 1: Representaci�n de limpieza de datos.

Realizado por: Rahman (2019).

 

Transformaci�n de datos

Luego de la limpieza de datos o Data Cleasing se procede a transformar los datos, por ende (Aguilar et al, 2022), define los siguientes pasos, para una transformaci�n correcta:

-          Compresi�n de datos, se transforman los datos a un formato en que se puedan gestionar de manera m�s sencilla y eficiente.

-          Cifrado de datos, se traducen los datos a otro c�digo para poder protegerlos.

Seg�n Arias (2016), el proceso de transformaci�n de datos se:

Torna mucho m�s complejo cuando se tiene una exuberante cantidad de datos no estructurados, por lo que el proceso Extraer, Transformar y Cargar (en adelante ETL) suele convertirse en un cuello de botella, costoso de administrar y con un bajo desempe�o. Por lo general, el proceso de transformaci�n de datos se encarga de convertir el formato de los datos y ajustarlo a los requisitos de la fuente de destino.

Actualmente en el mercado, existen herramientas muy sofisticadas para la transformaci�n de datos, (Szell, 2020) menciona algunas de las m�s usadas en el sector empresarial:

�         Apache Hadoop: Framework de c�digo abierto que permite a los usuarios procesar y almacenar grandes vol�menes de datos de manera distribuida. Hadoop realiza la transformaci�n de datos a trav�s de sus componentes: HDFS y MapReduce.

�         Apache Spark: Framework de c�digo abierto m�s utilizado en las industrias para el procesamiento y transformaci�n de datos.

�         Apache Hive: Motor de consulta SQL para Hadoop, permite interactuar con grandes vol�menes de datos.

�         Apache Pig: Motor de programaci�n, permite el procesamiento de grandes vol�menes de datos en Hadoop.

�         Apache Flink: Apache Framework para el procesamiento de los datos en tiempo real.

�         Google Cloud Dataflow: Herramienta de procesamiento de datos basada en la nube de Google.

En el transcurso del an�lisis de las diversas herramientas existentes actualmente, se determina que la herramienta m�s eficiente es Spark debido a su soporte para diferentes sistemas operativos y sobre cualquier plataforma en la nube, pudiendo ser: Amazon EC2/S3 o Google Cloud. Spark ofrece an�lisis de datos para campa�as de marketing, sensores de IoT, aprendizaje autom�tico y sitios de redes sociales en tiempo real. Adem�s, Spark es que es compatible con una amplia variedad de lenguajes de programaci�n, lo que lo hace accesible a una amplia gama de usuarios. Por otra parte, Spark ofrece una API muy completa y f�cil de usar para el procesamiento de datos, lo que lo hace ideal para una amplia gama de aplicaciones, desde la ciencia de datos hasta la inteligencia artificial.

En general, Spark es una de las mejores herramientas para el procesamiento y transformaci�n de datos, gracias a sus caracter�sticas avanzadas y a la amplia gama de funcionalidades que ofrece.

Gr�fico 2: Comparaci�n de regresi�n log�stica entre Hadoop y Spark.

Realizado por: Srikanth & Reddy (2016).

 

An�lisis de datos

Debido a la masiva y diversa cantidad de informaci�n, se deben adoptar diversas tecnolog�as y t�cnicas anal�ticas, necesarias para la extracci�n y procesamiento de datos relevantes. Dentro de este marco existen varias t�cnicas estad�sticas, reconocimiento de patrones, algoritmos matem�ticos, algoritmos de machine learning, sin embargo, se identifica como principal t�cnica a la miner�a de datos, debido a que permite implementar algoritmos que son capaces de extraer datos masivos y con mucha calidad.

Para Giner (2018), la miner�a de datos se caracteriza por combinar m�todos de estad�stica y machine learning con la gesti�n de bases de datos con el fin de identificar patrones en grandes conjuntos de datos. Dentro de la minera de datos, existen diversos algoritmos que son capaces de crear distintas formas de captar y extraer los datos para optimizar as� el proceso de an�lisis. Un objetivo principal de esta investigaci�n es identificar los algoritmos m�s utilizados y eficientes en el mundo de la Big Data y acorde a (Guti�rrez & Vigo, 2021), estos son:

�         MapReduce: Algoritmo distribuido que permite procesar grandes vol�menes de datos en paralelo.

�         Algoritmos de aprendizaje autom�tico: Algunos de estos son: Naive Bayes, �rboles de Decisi�n, Random Forest, SVM (Support Vector Machines), entre otros, estos algoritmos se mejoran autom�ticamente bas�ndose en la experiencia.

�         Regresi�n Lineal: Algoritmo es muy �til para predecir valores futuros a partir de datos hist�ricos.

�         Algoritmos de Clustering: Algoritmos que permiten agrupar objetos o personas por similitud y se utilizan para descubrir patrones en grandes conjuntos de datos.

�         Algoritmos de miner�a de datos: T�cnicas que combinan m�todos de estad�stica y machine learning con la gesti�n de bases de datos para identificar patrones en grandes conjuntos de datos.

Luego de investigar de manera exhaustiva sobre los diferentes algoritmos para el an�lisis de datos, se procede a identificar a los algoritmos de Clustering como los m�s ampliamente utilizados y eficientes. Estos algoritmos funcionan reuniendo objetos o personas similares en grupos o cl�steres, con el objetivo de que los miembros del cl�ster compartan caracter�sticas similares y los cl�steres sean lo m�s diferenciados posible. El proceso de Clustering se realiza a trav�s de la identificaci�n de patrones en los datos, lo cual permite agrupar objetos similares en un solo cl�ster y objetos diferentes en cl�steres distintos. Adem�s, los algoritmos de b�squeda son ampliamente utilizados en la actualidad y son los que est�n mejor probados para establecer patrones a partir de datos previamente establecidos.

 

Algoritmos de clustering

Algoritmo K-Means

Es uno de los m�s populares y se utiliza ampliamente en la industria, este algoritmo trabaja dividiendo los datos en k grupos o cl�steres, donde k es un n�mero previamente establecido.

Ram�rez (2023), define a este algoritmo como uno de los m�s utilizados y consiste en dividir el conjunto de datos en k cl�steres, donde k es un n�mero predefinido por el usuario. El algoritmo K-Means es uno de los algoritmos de clustering m�s utilizados y ampliamente conocidos en la industria de la miner�a de datos. Este algoritmo funciona dividiendo un conjunto de datos en k grupos (cl�steres) basados en las caracter�sticas similares de los objetos incluidos en ellos. La finalidad del algoritmo es maximizar la diferencia entre los cl�steres y minimizar la similitud dentro de ellos.

El algoritmo K-Means se realiza en dos etapas principales. En la primera etapa, se asignan los centroides a cada uno de los cl�steres. Estos centroides representan el centro geom�trico de los objetos incluidos en cada cl�ster. En la segunda etapa, se reasignan los objetos a los cl�steres en funci�n de su distancia a los centroides.

El algoritmo K-Means utiliza un enfoque iterativo para mejorar la asignaci�n de los objetos a los cl�steres. Cada iteraci�n se realiza hasta que no se produzcan m�s cambios en la asignaci�n de los objetos a los cl�steres. Este proceso se repite hasta que se alcance una soluci�n �ptima.

Una de las mayores ventajas del algoritmo K-Means es su eficiencia en t�rminos de tiempo de procesamiento y capacidad de manejar grandes conjuntos de datos. El algoritmo es f�cil de implementar y es muy escalable, lo que lo hace ideal para una amplia gama de aplicaciones en la miner�a de datos.

Sin embargo, existen algunas desventajas del algoritmo K-Means. Una de las m�s comunes es su dependencia de la elecci�n de los valores iniciales para los centroides. Si los valores iniciales son poco representativos, el algoritmo puede no producir los resultados deseados. Adem�s, el algoritmo K-Means tambi�n puede ser sensible a la presencia de outliers en los datos, lo que puede afectar negativamente a la calidad de los resultados.

Otro factor importante a tener en cuenta al utilizar el algoritmo K-Means es la necesidad de especificar el n�mero de cl�steres deseados (k) antes de comenzar el proceso. Si se escoge un valor de k que no refleje adecuadamente la estructura de los datos, los resultados pueden ser pobres. Por lo tanto, es importante seleccionar un valor de k adecuado para el conjunto de datos en cuesti�n.

Gr�fico 3: Algoritmo K-means.

Realizado por: Gupta et al (2023).

 

Algoritmo por agrupamiento jer�rquico

Seg�n Jianan (2022), el cl�ster por jerarqu�as es un algoritmo que se utiliza para agrupar objetos en cl�steres basados en la relaci�n de contenci�n entre los objetos. Otro algoritmo de clustering com�nmente utilizado es el algoritmo de agrupamiento jer�rquico. Este algoritmo utiliza un enfoque diferente al de k-means, ya que utiliza una t�cnica de agrupamiento que recursivamente agrupa objetos similares en un solo cl�ster. El algoritmo de agrupamiento jer�rquico produce una estructura de �rbol que representa la relaci�n entre los cl�steres, lo que lo hace ideal para visualizar y explorar los datos.

El algoritmo de agrupamiento jer�rquico es una t�cnica de clustering que se utiliza para clasificar objetos en grupos basados en su similitud y relaci�n. Es uno de los algoritmos de clustering m�s antiguos y ampliamente utilizados. El algoritmo de agrupamiento jer�rquico se divide en dos enfoques principales: aglomerativo y divisivo. En el enfoque aglomerativo, se inicia con cada objeto en un cl�ster separado y, a continuaci�n, se combinan gradualmente cl�steres hasta que todos los objetos se agrupan en un solo cl�ster. Por otro lado, en el enfoque divisivo, se inicia con todos los objetos en un solo cl�ster y, a continuaci�n, se divide gradualmente en cl�steres m�s peque�os hasta que cada objeto se encuentre en un cl�ster separado.

Este algoritmo utiliza una representaci�n de �rbol llamada dendrograma para representar los cl�steres resultantes. Cada nivel del dendrograma representa un cl�ster diferente, y los nodos en el dendrograma representan la fusi�n o la divisi�n de cl�steres. El dendograma tambi�n permite visualizar la relaci�n entre los cl�steres y su evoluci�n a lo largo del tiempo.

El algoritmo de agrupamiento jer�rquico se basa en la medida de distancia entre los objetos. La medida de distancia m�s com�nmente utilizada es la distancia Euclidiana, aunque tambi�n se pueden utilizar otras medidas de distancia, como la distancia de Manhattan o la distancia de Mahalanobis. La medida de distancia se utiliza para determinar la similitud entre los objetos y para decidir cu�ndo combinar o dividir los cl�steres. El algoritmo de agrupamiento jer�rquico es flexible en cuanto a su capacidad para manejar diferentes tipos de datos, como datos continuos, categ�ricos o mixtos. Adem�s, es una t�cnica robusta y resistente a la presencia de ruido o valores at�picos en los datos. Sin embargo, una de las desventajas del algoritmo de agrupamiento jer�rquico es que puede ser computacionalmente costoso, especialmente cuando se trabaja con grandes conjuntos de datos. Otra desventaja es que el algoritmo de agrupamiento jer�rquico requiere la selecci�n de un criterio de corte para determinar el n�mero final de cl�steres.

 

Gr�fico 4: Algoritmo de agrupamiento jer�rquico

Realizado por: Berzal (2018).

Algoritmo Density-Based Spatial Clustering of Applications with Noise

Berzal (2020), lo define como un algoritmo de clustering basado en densidad, que se enfoca en la identificaci�n de regiones densamente pobladas de datos. El algoritmo Density-Based Spatial Clustering of Applications with Noise (en adelante DBSCAN) es un algoritmo de clustering basado en densidad, dise�ado para identificar regiones densamente pobladas de datos y encontrar estructuras en los datos. Este algoritmo es uno de los m�todos de clustering m�s utilizados en la industria y se destaca por su capacidad para identificar clusters de forma autom�tica, sin la necesidad de especificar previamente el n�mero de clusters.

El algoritmo DBSCAN se basa en dos conceptos principales: la densidad y el radio. La densidad se refiere a la cantidad de puntos presentes en una regi�n dada, y el radio se refiere a la distancia m�xima permitida entre dos puntos para que se consideren parte del mismo cl�ster. A partir de estos conceptos, DBSCAN define un cl�ster como un conjunto de puntos en los que la distancia entre cualquier par de puntos es menor o igual que el radio.

El proceso de DBSCAN comienza eligiendo un punto al azar y buscando otros puntos dentro del radio. Si se encuentran suficientes puntos dentro del radio, se considera que existe un cl�ster. Luego, se eligen los puntos encontrados en el primer cl�ster y se realiza el mismo proceso para ellos, hasta que ya no se encuentren puntos adicionales. Este proceso se repite hasta que se han explorado todos los puntos en el conjunto de datos.

Una de las ventajas de DBSCAN es que es capaz de identificar clusters de diferentes formas y tama�os, y puede manejar datos con un n�mero variable de dimensiones. Adem�s, DBSCAN es capaz de identificar cl�steres no convexos y detectar puntos at�picos o ruido en los datos, lo que lo diferencia de otros algoritmos de clustering que solo pueden identificar cl�steres convexos. Sin embargo, el algoritmo DBSCAN tambi�n tiene algunos desaf�os. Uno de los mayores desaf�os es encontrar el valor adecuado para el radio, ya que un radio demasiado peque�o puede resultar en la creaci�n de demasiados cl�steres, mientras que un radio demasiado grande puede combinar cl�steres diferentes en un solo cl�ster. Adem�s, DBSCAN puede tener dificultades para manejar datos con una distribuci�n no uniforme y con una concentraci�n muy alta de puntos.

 

Gr�fico 5: Algoritmo DBSCAN

Realizado por: Berzal (2020).

Se determina que de los tres algoritmos de clustering mencionados anteriormente, el m�s eficiente acorde a las necesidades espec�ficas de la empresa, es K-Means por su ejecuci�n r�pida y eficiente. Por otra parte, el algoritmo Hierarchical Clustering es una buena opci�n si se requiere una visi�n general de la estructura de los cl�steres y si se desea realizar un seguimiento de c�mo los datos evolucionan a lo largo del tiempo. Finalmente, se recomienda el algoritmo DBSCAN cuando los cl�steres tienen formas irregulares y si se requiere identificar regiones densamente pobladas de datos.

Se ha redactado de manera detallada toda la informaci�n para que las organizaciones tengan a su disposici�n una gu�a de las mejores herramientas, algoritmos y m�todos indispensables para el procesamiento de Big Data, debido a que las empresas deben automatizar sus procesos tradicionales. Con esta informaci�n las organizaciones podr�n sacar el m�ximo provecho a los resultados obtenidos detr�s del arduo proceso de limpieza, transformaci�n y an�lisis de los datos.

 

Resultados

En esta secci�n de resultados se dise�a una gu�a para las empresas acerca de la Big Data y la forma m�s adecuada para el procesamiento de informaci�n, limpieza y an�lisis de datos, con el objetivo de mejorar la selecci�n de herramientas y algoritmos utilizados en el procesamiento de datos dentro de las organizaciones.

 

Gu�a para el procesamiento de informaci�n en las organizaciones

Limpieza de datos

Antes de comenzar el an�lisis de los datos, es importante que se realice una limpieza adecuada para eliminar cualquier dato inconsistente, duplicado o faltante. La limpieza de datos tambi�n puede incluir la correcci�n de errores y la normalizaci�n de los datos para hacerlos consistentes. Hay muchas herramientas disponibles en el mercado para ayudar en la limpieza de datos, incluyendo aquellas que se integran con sistemas de Big Data, como Apache NiFi y Apache Hive, as� como soluciones de software independientes.

Melissa Data Clean Suite es una opci�n popular para muchas empresas debido a su capacidad para proporcionar una limpieza de datos eficiente y precisa. Con Melissa Data Clean Suite, las empresas pueden verificar y corregir la direcci�n postal, el correo electr�nico y los n�meros de tel�fono de sus registros de datos. Adem�s, la suite tambi�n ofrece la capacidad de eliminar duplicados y normalizar los datos para hacerlos consistentes.

Otro factor que hace que Melissa Data Clean Suite sea una opci�n atractiva para muchas empresas es su facilidad de uso. La suite es f�cil de integrar con sistemas existentes y no requiere conocimientos t�cnicos avanzados para utilizarse. Esto significa que las empresas pueden comenzar a utilizar la suite de forma r�pida y eficiente, sin tener que dedicar una gran cantidad de recursos a la formaci�n de sus equipos.

 

Transformaci�n de Datos

La transformaci�n de datos implica la conversi�n de los datos en un formato que sea adecuado para su an�lisis. Esto puede incluir la agregaci�n de datos, la creaci�n de nuevas variables y la eliminaci�n de variables irrelevantes. La transformaci�n de datos es un paso cr�tico en el proceso de Big Data, ya que permite a las empresas preparar los datos para su an�lisis. Esto incluye la reorganizaci�n de los datos, la eliminaci�n de datos irrelevantes, la creaci�n de nuevas variables y la combinaci�n de datos de diferentes fuentes. La transformaci�n de datos tambi�n es importante para corregir errores en los datos y hacerlos consistentes.

Spark es una de las opciones m�s populares para la transformaci�n de datos en Big Data. Spark es un marco de procesamiento de datos en paralelo que ofrece una amplia gama de funciones para la transformaci�n de datos, incluidas las operaciones de agregaci�n, filtrado y reemplazo de datos. Spark tambi�n es una soluci�n escalable, lo que significa que puede manejar grandes vol�menes de datos con eficacia. Adem�s, Spark es compatible con una amplia gama de lenguajes de programaci�n, como Java, Python, Scala y R, lo que lo hace accesible para una amplia variedad de equipos de desarrollo.

En general, Spark es una opci�n popular para la transformaci�n de datos en Big Data debido a su eficiencia, escalabilidad y compatibilidad con una amplia gama de lenguajes de programaci�n. Las empresas pueden utilizar Spark para procesar y transformar grandes vol�menes de datos en un formato adecuado para su an�lisis, lo que les permite obtener insights valiosos a partir de sus datos.

 

An�lisis de Datos

Determinamos que de los tres algoritmos de clustering mencionados anteriormente, es posible decir que el mejor algoritmo depende de las necesidades espec�ficas de la empresa. Sin embargo, en t�rminos generales, se puede decir que el algoritmo K-Means es una buena opci�n si los cl�steres tienen formas regulares y bien definidas, y si se requiere una ejecuci�n r�pida y eficiente. El algoritmo Hierarchical Clustering es una buena opci�n si se requiere una visi�n general de la estructura de los cl�steres y si se desea realizar un seguimiento de c�mo los datos evolucionan a lo largo del tiempo. Finalmente, el algoritmo DBSCAN es una buena opci�n si los cl�steres tienen formas irregulares y si se requiere identificar regiones densamente pobladas de datos.

 

Herramientas Tecnol�gicas

Las empresas pueden utilizar una amplia gama de herramientas y tecnolog�as para el procesamiento y an�lisis de Big Data. Algunas de las tecnolog�as m�s populares incluyen Apache Hadoop, Apache Spark, Apache Storm, Apache Flink y Apache Cassandra. Tambi�n existen herramientas de an�lisis de datos, como Tableau, Power BI, QlikView y SAS, que pueden ayudar a las empresas a visualizar y analizar sus datos de manera efectiva.

Adem�s, existen plataformas en la nube, como Amazon Web Services (AWS) y Microsoft Azure, que ofrecen soluciones de Big Data asequibles y escalables. Estas plataformas pueden ayudar a las empresas a reducir los costos de hardware y de mantenimiento, y a tener una infraestructura de Big Data flexible y escalable.

 

An�lisis e Interpretaci�n

El procesamiento de datos se debe de manera general a tres importantes fases: Limpieza, Transformaci�n y An�lisis, por lo que de manera resumida se recomienda a las empresas la implementaci�n de mecanismos que les permitan obtener resultados efectivos de informaci�n, esto con el objetivo de tomar decisiones correctas antes y despu�s de las operaciones o actividades empresariales. Tambi�n se debe invertir en infraestructura adecuada a las necesidades, en t�rminos de escalabilidad como de costo. Las empresas deben contar con un equipo capacitado en procesamiento y an�lisis de Big Data, sobre todo aquellas empresas que manejan grandes vol�menes de informaci�n (ejemplo: La Fabril, CNT, Claro, Movistar, entre otros). Aunque la mayor parte de los servicios y aplicaciones que permiten la administraci�n de Big Data son de pago, existen otras alternativas de software libre, tales como: Python, R, Power BI en su versi�n b�sica, entre otros.

 

Discusi�n

La gu�a para el procesamiento de datos, dise�ada en esta investigaci�n se encuentra actualizada, es una propuesta que garantiza a las organizaciones economizar costos en relaci�n a la contrataci�n de servicios. Lo que confirma (Flores & Villac�s, 2017) como un factor muy importante dentro de las organizaciones, debido a que medida que han surgido aplicaciones de uso gratuito algunas empresas se han visto beneficiadas, sin obviar que la mayor parte de los servicios otorgados en estas licencias son b�sicos y no contienen todas las funciones, incluyendo la seguridad. Por lo tanto (Garc�a, 2022) asegura que es m�s conveniente pagar por las herramientas y as� poder tener un control m�s amplio y efectivo de las mismas, en el sector bancario es elemental contar con todas las funcionalidades.

Las herramientas para el procesamiento de datos, pueden ser utilizadas por diversas organizaciones, aunque existan algunas que se encargan de desarrollarlas apoy�ndose de tecnolog�as de software libre, tales como Python, R u otras. Se vive en un mundo completamente digitalizado y el bien m�s importante para las organizaciones es la informaci�n, la cual debe ser procesada de manera correcta para tomar decisiones eficientes.

 

Conclusiones

La era digital en la que vivimos ha generado una cantidad masiva y creciente de datos que se producen a una velocidad cada vez mayor. Estos datos pueden ser de diversos formatos y provienen de m�ltiples fuentes, incluyendo redes sociales, transacciones comerciales y sensores. La capacidad de procesar y analizar estos datos puede ser una ventaja competitiva para las empresas, ya que les permite obtener insights valiosos y tomar decisiones informadas basadas en datos.

El procesamiento de Big Data implica varios pasos, incluyendo la limpieza de datos, la transformaci�n de datos y el an�lisis de datos. La limpieza de datos implica la eliminaci�n de cualquier dato inconsistente, duplicado o faltante, as� como la correcci�n de errores y la normalizaci�n de los datos para hacerlos consistentes. Hay muchas herramientas disponibles en el mercado para ayudar en la limpieza de datos, incluyendo Apache NiFi y Apache Hive, as� como soluciones de software independientes como Melissa Data Clean Suite, que es la mejor opci�n para la mayor�a de las empresas porque cada empresa es distinta y tiene distintas necesidades.

La transformaci�n de datos implica la conversi�n de los datos en un formato adecuado para su an�lisis. Esto puede incluir la agregaci�n de datos, la creaci�n de nuevas variables y la eliminaci�n de variables irrelevantes. La transformaci�n de datos es un paso cr�tico en el proceso de Big Data, ya que permite a las empresas preparar los datos para su an�lisis. Spark es una de las opciones m�s populares y de las mejores para la transformaci�n de datos en Big Data.

El an�lisis de datos es un proceso clave para la obtenci�n de informaci�n valiosa y �til para las empresas. El uso de t�cnicas de aprendizaje autom�tico y estad�sticas permite explorar los datos de manera efectiva y obtener insights. En cuanto a los algoritmos de clustering mencionados, K-Means, Hierarchical Clustering o tambi�n llamado Agrupamiento jer�rquico y DBSCAN, cada uno de ellos tiene sus fortalezas y debilidades y la elecci�n del mejor algoritmo depender� de las necesidades espec�ficas de la empresa. Sin embargo, en general, K-Means es una buena opci�n para cl�steres con formas regulares y bien definidas, Hierarchical Clustering es adecuado para una visi�n general de la estructura de los cl�steres y seguimiento a lo largo del tiempo, mientras que DBSCAN es �til para identificar regiones densamente pobladas de datos con formas irregulares. Es importante destacar que la elecci�n del mejor algoritmo de clustering requiere un conocimiento profundo de los datos y una evaluaci�n cuidadosa de las necesidades de la empresa.

En conclusi�n, el procesamiento de Big Data es un aspecto clave para las empresas que buscan mejorar su toma de decisiones y aprovechar al m�ximo los datos que generan. La limpieza y transformaci�n de los datos son pasos cr�ticos en este proceso y deben ser realizados de manera eficiente y precisa. La utilizaci�n de herramientas especializadas en la limpieza y transformaci�n de datos, como Melissa Data Clean Suite y Spark, puede ser de gran ayuda para las empresas en este proceso.

Se recomienda que las empresas inviertan en la capacitaci�n de sus equipos en el uso de estas herramientas y en la comprensi�n de los conceptos y pr�cticas relevantes en el procesamiento de Big Data. Tambi�n es importante que las empresas establezcan pol�ticas y procedimientos claros para la gesti�n de datos y se aseguren de cumplir con las regulaciones y leyes aplicables en la protecci�n de datos personales. En �ltima instancia, un enfoque integral.

 

Referencias ������������������������������������������������������������������������������������������������������������������

1.      Aguilar Aguilar, I., Cuevas Cruz, F., Duran Mart�nez, P., Garc�a Carmen, E., Hern�ndez Romero, A., Mateos Casimiro, E., Ortega S�nchez, J., Retana Contreras, J., Ruiz Macedonio, J., Segundo Romero, C., Sol�s Colin, I., Ugalde Zaldivar, J., V�zquez Clemente, B., V�zquez Ram�rez, A. & Y�pez Mart�nez, D. (2022). Antolog�a gesti�n y an�lisis de Big Data LIAD6 2022-A. Recuperado desde: http://ri.uaemex.mx/handle/20.500.11799/137910

2.      Arias, W. (2019). BIG DATA: Extraer, transformar y cargar los datos, Instituto Internacional de Ciencias de Datos, https://i2ds.org/2016/05/04/big-data-extraer-transformar-y-cargar-los-datos/

3.      Berzal, F. (2018). Clustering jer�rquico. DECSAI. https://elvex.ugr.es/idbis/dm/slides/42%20Clustering%20-%20Hierarchical.pdf

4.      Berzal, F. (2020). Clustering basado en densidad. DECSAI. https://elvex.ugr.es/idbis/dm/slides/43%20Clustering%20-%20Density.pdf

5.      Camargo Vega, J., Camargo Ortega, J. & Joyanes Aguilar, L. (2015). Conociendo Big Data. Revista Facultad de Ingenier�a, 24(38), pp. 63�77. http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0121-11292015000100006

6.      Carranza, A. (2022). Data Cleansing: averigua c�mo limpiar datos err�neos y conservar informaci�n valiosa, https://www.crehana.com/blog/transformacion-digital/data-cleansing/

7.      Garc�a, I. (2022). Big Data en seguros. NowoTech. https://nowo.tech/formacion/big-data-en-seguros/

8.      Garc�a, S., Ram�rez, S., Luengo, J. & Herrera, F. (2016). Big Data: Preprocesamiento y calidad de datos, Departamento de Ciencias de la Computaci�n e Inteligencia Artificial, Universidad de Granada (Espa�a), 237(1), pp. 17-23, https://sci2s.ugr.es/sites/default/files/ficherosPublicaciones/2133_Nv237-Digital-sramirez.pdf

9.      Giner, G. (2018). Miner�a de datos: �qu� relaci�n tiene con el Big data?. Business Revista Digital. https://www.escueladenegociosydireccion.com/revista/business/big-data/la-mineria-de-datos-en-el-big-data/

10.  Guti�rrez, J. & Vigo, V. (2021). Modelo de aprendizaje automatizado del proceso de venta de productos financieros en un Call center. https://repositorio.ulima.edu.pe/handle/20.500.12724/14344

11.  Hern�ndez Leal, E., Duque M�ndezy N., Moreno Cadavid, J. (2017). Big Data: una exploraci�n de investigaciones, tecnolog�as y casos de aplicaci�n. TecnoL�gicas, 20(39), pp. 15-38. https://www.redalyc.org/journal/3442/344251476001/html/

12.  Jianan, L. (2022). Understanding Mean Shift Clustering and Implementation with Python. Towards Data Science, https://towardsdatascience.com/understanding-mean-shift-clustering-and-implementation-with-python-6d5809a2ac40

13.  Liarte Mu�oz, J. (2019). An�lisis de datos de las organizaciones. Big data. TFG-Facultad de Ciencias de la Empresa, pp. 1-45. https://repositorio.upct.es/bitstream/handle/10317/7754/tfg-lia-ana.pdf?sequence=1&isAllowed=y

14.  Flores Avenda�o, P. & Villac�s Vera, A. (2017). An�lisis comparativo de las herramientas de Big data en la Facultad de Ingenier�a de la Pontificia Universidad Cat�lica del Ecuador. http://repositorio.puce.edu.ec/handle/22000/14119

15.  Rahman, A. (2019). What is Data Cleaning? How to Process Data for Analytics and Machine Learning Modeling?. Towards Data Science, https://towardsdatascience.com/what-is-data-cleaning-how-to-process-data-for-analytics-and-machine-learning-modeling-c2afcf4fbf45

16.  Ram�rez, L. (2023). Algoritmo k-means: �Qu� es y c�mo funciona?. Business & Tech. https://www.iebschool.com/blog/algoritmo-k-means-que-es-y-como-funciona-big-data/

17.  Srikanth, B. & Reddy, V. (2016). Efficiency of Stream Processing Engines for Processing BIGDATA Streams. Indian Journal of Science and Technology. https://www.researchgate.net/publication/301797425_Efficiency_of_Stream_Processing_Engines_for_Processing_BIGDATA_Streams

18.  Szell, C. (2020). Herramientas de la transformaci�n digital � El ETL. Conectamagazine, https://www.conectasoftware.com/magazine/conector/herramientas-de-la-transformacion-digital-el-etl/

19.  Viswarupan, N. (2017). K-Means Data Clustering. Towards Data Science, https://towardsdatascience.com/k-means-data-clustering-bce3335d2203

20.  Zaheer A., Zaynah A. (2019). On big data, artificial intelligence and smart cities, Cities, 89(1), pp. 80-91, https://www.sciencedirect.com/science/article/pii/S0264275118315968

 

 

 

 

 

 

 

 

 

� 2023 por los autores. Este art�culo es de acceso abierto y distribuido seg�n los t�rminos y condiciones de la licencia Creative Commons Atribuci�n-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)

(https://creativecommons.org/licenses/by-nc-sa/4.0/).