Desde knowmad mood hablamos con el equipo de nuestro partner Denodo sobre los retos actuales en la gestión del dato, el papel de las arquitecturas híbridas y distribuidas y cómo evoluciona el ecosistema con enfoques como Data Mesh y la IA generativa. Una visión experta para comprender hacia dónde se dirige la modernización del dato y qué soluciones están ayudando a las organizaciones a avanzar con mayor agilidad, seguridad y control.
- ¿Cuáles son los principales retos en la gestión de datos, en la situación de hoy en día en la que predominan las arquitecturas híbridas y distribuidas? ¿Cómo ayuda Denodo Platform en esta gestión de los datos?
Las arquitecturas de datos que han resultado de las iniciativas abordadas durante los últimos años implican muy a menudo una mayor complejidad y varios retos en lo relativo a la operativa, seguridad y gestión de costes.
Esta mayor complejidad viene ocasionada por la propia complejidad que el negocio y las organizaciones han sufrido.
En cuanto a la operativa, la coexistencia de múltiples plataformas y tecnologías introduce complejidades en la supervisión, mantenimiento y soporte de los sistemas.
El crecimiento de los datos, tanto en volumen como en tipología, dificulta su almacenamiento y análisis, especialmente en entornos distribuidos en los que es complicado mantener los datos sincronizados entre sistemas locales y en la nube. Las inconsistencias pueden generar errores y afectar la toma de decisiones, sin contar con el impacto económico que puede conllevar.
Por otro lado, las empresas a menudo carecen de una visión clara sobre qué datos adecuados están disponibles, y dónde y cómo se almacenan, lo que dificulta su utilización para la planificación y ejecución del negocio, y para el cumplimiento normativo. Y que estos datos estén distribuidos entre entornos locales y en la nube es otro aspecto a tener en cuenta para optimizar la disponibilidad de los mismos, garantizar que se utilizan adecuadamente en los puntos de gestión y decisión de la organización con el rendimiento necesario, y proporcionar las capacidades de autoservicio en el acceso a los datos que la operativa del negocio requiere.
Tradicionalmente, se ha optado por realizar diversas copias de los datos para intentar preservar los aplicativos operacionales y preparar los datos para su consumo. Datawarehouse, DataLake, y luego Lakehouse son diferentes versiones del mismo concepto.
Sin embargo, no parece que se llegue a la solución ideal, por más copias de los datos que hagamos y/o por más que decidamos que esas copias se realicen en varias tecnologías o solamente en una. Y, además, cada copia de los datos supone una gestión física del pipeline de datos involucrado, lo que impide proporcionar la agilidad necesaria para responder a cambios y/o a las necesidades del negocio. Por otro lado, cada copia de datos supone un nuevo conjunto de datos a gestionar, también en lo que a seguridad se refiere. Garantizar la protección de los datos mientras se mueven entre entornos locales y en la nube es un desafío. Las brechas de seguridad y el acceso no autorizado son riesgos importantes para tener en cuenta.
Estos retos requieren soluciones que funcionen de manera uniforme en entornos híbridos como si fuera uno solo. Que gestionen los datos y el acceso a los mismos independientemente de la tecnología en la que residan, y desacoplando el mundo físico y técnico en el que residen del mundo de las necesidades y de la lógica del negocio. Que minimicen la necesidad de seguir proliferando las copias de los datos. Y que garanticen la disponibilidad de los mismos, incluso el autoservicio, con control y gobierno mientras los datos están “en movimiento”. Es decir, aportando valor al negocio.
Esto, en resumen, es DENODO Platform.
Descarga el Informe Tendencias de la gestión y explotación del dato https://www.denodo.com/es/document/analyst-report/tendencias-de-la-gestion-y-explotacion-del-dato?utm_source=KMM&utm_medium=email&utm_campaign=KMMmag
- ¿Cómo ayuda el enfoque Data Mesh a mejorar la gobernanza y accesibilidad de los datos, y cómo facilita Denodo la implementación de un Data Mesh, promoviendo la descentralización del acceso a los datos?
Data Mesh, como entiendo la definición de Zhamak Dehghani, es un marco arquitectónico que resuelve desafíos avanzados en la gestión de los datos a través de una aproximación distribuida, descentralizada y lógica (en vez de física). Es un concepto muy alineado con la aproximación que hace DENODO.
Por otro lado, Data Fabric (otro tópico que ha sido relevante), promueve centralizar, conectar, gestionar y gobernar datos entre diferentes sistemas y aplicaciones. También DENODO coincide en este planteamiento y propone soluciones para conseguirlo.
Data Mesh propone gestionar los datos como Productos de Datos relevantes para el negocio, y Data Fabric propone la integración y de la gestión de datos residentes en diferentes entornos, garantizando la accesibilidad y la consistencia de los datos independientemente del sistema en el que resida.
Si sumamos estos dos conceptos, llegamos a la realidad que DENODO propone como solución.
DENODO Platform se conecta con las diferentes fuentes de datos disponibles en la Compañía, independientemente de que estas fuentes estén onprem o en la nube, de que sean entornos operacionales o estructuras de datos informacionales como un DataWarehouse, Un Datalake, un Lakehouse, … o una hoja de Excel. Y con esa conexión, DENODO obtiene los metadatos de todas estas fuentes de datos creando un “avatar” lógico de los datos existentes en la Compañía. La diferencia importante es que esta visión lógica de los datos está centralizada en un solo sitio desde el cual se gestionará el acceso, la privacidad, la seguridad, y el gobierno de los datos independientemente de en qué tecnología resida cada uno de ellos y si está onprem o en la nube.
Desde esta “capa base” se construye, dentro de DENODO Plaform, los pipeline de datos que resultarán en los Productos de Datos relevantes para el negocio. En el lenguaje del negocio. La diferencia es que la construcción de estos pipeline de datos, y del propio Producto de Datos, se hace de manera lógica y no física, lo que proporciona mucha mayor agilidad y capacidad de respuesta antes cambios y nuevos requerimientos, a la vez de resultar mucho más rápido y barato.
Esta capa lógica, que es DENODO, gestiona los metadatos, los dominios de datos, una capa semántica con la información relevante para cada concepto que permite al consumidor interaccionar en su propio lenguaje de negocio, la trazabilidad y linaje de los datos, el control de accesos y autorizaciones, la privacidad de los datos y cómo se gestiona para cada acceso, la dimensión económica (FinOPs) de cada fuente de datos y la disponibilidad real y operativa de los datos según todas estas políticas definidas. Los Productos de Datos creados, se ponen a disposición de los consumidores de datos a través de prácticamente cualquier método técnico, desde un dashboard para una herramienta de BI hasta un API para solucionar integraciones entre aplicaciones, y pasando, por supuesto, por un proceso que proporcione datos a través de Gen IA.
DENODO desacopla el nivel técnico en el que residen los datos, del nivel de consumo en el que el negocio dispone de estos datos. Por ello, DENODO es un aliado esencial en cualquier transformación tecnológica que tenga que ver con entornos informacionales y/o operacionales, incluyendo las iniciativas de Journy-to-Cloud.
Con DENODO, habitualmente, es más rápido, más flexible, más seguro y más barato.
Y, por cierto, en cuanto al rendimiento de DENODO como capa intermedia entre las fuentes y los consumidores de datos, nuestros miles de clientes de más de 40 sectores de actividad en más de 30 países, dicen que no hay problema. Tenemos algún cliente en el que DENODO resuelve más de 11.000 transacciones por segundo. Y, desde DENODO, estaremos encantados de colaborar con KMM para demostrar a cualquier Compañía que no solo DENODO no incorpora retraso en el rendimiento, sino que lo mejora frente a otras alternativas.
- ¿Cómo impacta la Inteligencia Artificial en la gestión de los datos y cómo DENODO asume este nuevo paradigma?
A lo largo de mi vida profesional, he visto surgir varias novedades tecnológicas que parecían que iban a revolucionar el mundo empresarial. Y yo creo que, en cierta medida, lo han hecho. Me refiero a ejemplos como Internet o el CRM.
Sin embargo, ahora veo diferencia entre aquello y cómo se plantea el impacto de la Inteligencia Artificial y, de manera importante, la Inteligencia Artificial Generativa.
La IA y la IA generativa no son sólo avances tecnológicos. Se han convertido en imperativos estratégicos para las organizaciones.
Veo la relación entre la IA y la IA Generativa y los dos datos en tres dimensiones.
La primera dimensión es el uso de la IA y de la IA Generativa para la gestión de los datos.
DENODO cuenta con un motor de IA, que lleva aprendiendo y optimizándose más de 25 años, que genera la mejor estrategia de acceso a las diferentes fuentes de datos involucradas en un Producto de Datos para conseguir que el consumidor de datos obtenga el Producto de Datos solicitado en un tiempo óptimo.
Además, DENODO ha incorporado funcionalidades basadas en IA Generativa para facilitar la gestión y el gobierno de los datos. Un ejemplo es el “Asistente” dentro del Catálogo de Metadatos de DENODO Platform que transforma los nombres técnicos de los metadatos adquiridos desde la fuentes de datos en conceptos de negocio, ayudando a la gestión y gobierno correspondiente.
Otra dimensión es la utilización de la IA y la IA Generativa para el consumo de los datos.
DENODO proporciona, a través de su agente “DENODO AI SDK”, una simplicidad sin precedentes en la conformación de un modelo RAG como un framework que combina las ventajas de recuperación de información corporativa con las capacidades de los modelos generativos de lenguaje extenso (LLM). Al combinar los datos corporativos y el mundo de las capacidades de los LLMs, es posible que el consumidor de datos interaccione en leguaje natural para solicitar los productos de datos que le son relevantes para su gestión y toma de decisiones. Y, además, gracias a que este agente “DENODO AI SDK” se ocupa de orquestar las diferentes tareas necesarias, incluyendo la vectorización de los metadatos y de los “sampling” correspondientes, se consigue respuestas más relevantes, precisas, actualizadas, y contextualizadas.
La tercera dimensión es el uso de datos para que la IA y la IA Generativa pueda existir y dar el servicio relevante que se espera. Solamente a través de la utilización de los datos oportunos, se puede crear un modelo de IA y ese modelo se puede entrenar para que responda adecuadamente. Sin datos no hay IA.
El presente y futuro de la transformación digital, empujado por la IA y la IA Generativa, se está acelerando, y se están creando nuevos modelos para gestionar y operar las organizaciones que van a revolucionar positivamente los modelos empresariales.
Y todo ello solo es posible si contamos con una adecuada gestión y gobierno operativo de los datos.
Descarga el Whitepaper A Modern Data Strategy with Denodo https://www.denodo.com/en/document/whitepaper/modern-data-strategy-denodo?utm_source=KMM&utm_medium=email&utm_campaign=KMMmag