Big Data y el desafío de administrar la información.

Big Data y el desafío de administrar la información.

Por Bruno Rossini, Cloud Director en Financial Solutions

Hoy en día la gran cantidad creciente de datos nos obliga a enfocarnos en la importancia de su interpretación y visualización; Es por ello que queremos compartir un video interesante de David McCandless “The beauty of data visualization” en Ted Talk, que si bien no es un tema reciente es algo que no pierde vigencia.

En esta Ted Talk, David McCandless nos habla de la importancia de visualizar y correlacionar los datos, de manera tal que podamos enfocarnos en la información que realmente nos importa.

La gran cantidad de datos que manejamos hoy en día está en continuo crecimiento y los datos por sí solos carecen de cualquier valor y significado si no están dentro de un contexto, o peor aún podrían darnos información errónea si no los correlacionamos de manera adecuada.

Una de las claves que se mencionan en esta breve exposición, consiste en que al representar la información de manera gráfica, podemos detectar o revelar patrones que nos ayuden a establecer estas correlaciones entre distintos conjuntos de datos y tener una perspectiva más amplia acerca de la información con la que contamos y que de otra forma podríamos pasarla por alto.

Se solía decir que los datos eran el nuevo combustible o “Data is the new oil”, pero David McCandless reformula la frase “Data is the new soil”, esta nueva interpretación nos habla que los datos y la información son sumamente “fértiles”, y es posible hacerlos “florecer” todo esto con la ayuda de un adecuado análisis a través de distintas herramientas y valiéndonos de nuestras redes y conectividad.

El “diseño de la información” aporta un factor muy importante en la manera de resolver los problemas de interpretación de los datos y lo interesante es que este diseño puede ayudarnos a iluminar y enriquecer numerosos aspectos de la vida cotidiana, ya sea en tiempo real, como el estado del tránsito, información financiera, además puede ser aplicable en el corto plazo, como en factores médicos o meteorológicos, así como también en situaciones predictivas como tendencias comerciales, criminales o epidemiológicas.

Sabemos que el término “Big Data” hace referencia a que los datos tienen un volumen y un crecimiento tan rápido que el almacenamiento, su administración e interpretación se vuelven un verdadero desafío; y adicionalmente, no podemos negar que también en lo que se refiere a “Big Data”, el todo es más grande que la suma de las partes, y encontrar una manera de aprovecharlo, nos va a representar sin lugar a dudas una ventaja competitiva muy grande.

Según una investigación de New Vantage Partners (“Big Data Executive Survey – 2017”), si bien el 85 por ciento de las empresas desean tener una cultura organizacional y estrategias basadas en los “datos”, solo el 37 por ciento lo ha logrado de manera satisfactoria.

En Financial Solutions hemos tomado este desafío como un área de gran valor para ayudar a nuestros clientes no sólo a recolectar y almacenar los datos si no a procesarlos con base en diferentes reglas y correlaciones, presentándolos de manera gráfica para que sean de mayor utilidad en la toma de decisiones.

Para lograrlo nos basamos en un conjunto de herramientas y en los servicios disponibles de AWS, como Kinesis, SNS y SQS para la recolección de datos en tiempo real, así como también los servicios de SFTP, Cloudtrail y Cloudwatch que forman parte de la ingesta de datos enviando sus logs a S3 para su posterior procesamiento.

Si bien dentro de AWS también contamos con múltiples servicios que nos ayudan en el tratamiento y análisis de la información, hay casos en los que la transformación y procesamiento de datos queda a cargo de Logstash, que se integra directamente con nuestro stack de elasticsearch.

Con Elastic Cloud manejamos los distintos índices que luego alimentarán los dashboards de Kibana, dándole sentido y correlacionando a toda la información que será visualizada en una interfaz atractiva y amigable, basada en un amplio conocimiento de técnicas UI/UX ofreciendole una gran experiencia al usuario final.

Aquí te presentamos el video:

Si deseas obtener más información sobre cómo podemos apoyarte a enfrentar este desafío, déjanos tus datos para agendar una llamada con uno de nuestros expertos.

Por Bruno Rossini, Director de Infraestructura en Financial Solutions