Data Mesh para enfrentar a crescente complexidade dos dados
A procura e exigência pela qualidade de dados que hoje as empresas requerem estão a começar a ultrapassar as capacidades das arquitecturas de dados tradicionais, centralizadas e monolíticas que estão em vigor, defende Tareq Abedrabbo, data CTO da consultora Mesh-AI. Os níveis de ‘habilidades’ com dados – que, no original, o executivo adjectivou como ‘wizardry’ –, que seriam impensáveis há alguns anos, estão a ser, com alguma rotina, solicitados às equipas de dados das empresas, enquanto o volume, complexidade e diversidade desses mesmos dados estão a explodir em todas as direcções: «Além disso, decisões críticas de negócio estão a ser cada vez mais tomadas com base nesses conjuntos de dados». Tareq Abedrabbo defende, por isso, uma mudança de paradigma na forma como as empresas trabalham com dados. «É exactamente isso que o Data Mesh está a proporcionar em 2023», escreve o executivo no blogue desta consultora.
«O Data Mesh descentraliza, democratiza e transforma os dados em produtos num modelo ‘federado’ para que possam ser acedidos por qualquer pessoa, sempre que necessário. Tratar os dados como um produto é uma mudança fundamental que abre as portas para uma ampla inovação em dados e casos de uso avançados (IA/ML) em toda a organização», diz o CTO, que acredita que, à medida que cada vez mais histórias de sucesso de Data Mesh sejam partilhadas, mais empresas irão abraçar ou consolidar as suas jornadas face a este conceito. «Esperamos que o Data Mesh construa uma reputação como base indispensável para uma infra-estrutura de dados empresariais moderna e de primeira classe», lembra Tareq Abedrabbo.
A democratização dos dados
Outro aspecto enfatizado por Tareq Abedrabbo é o de que o Data Mesh mostrou que a inovação em dados se baseia muito na capacidade de compartilhar dados de alta qualidade em grande escala: «O primeiro passo para que isso aconteça é tornar os dados ‘descobríveis’. Historicamente, as empresas contavam com uma única visão técnica para isso, o que tende a complicar-se em escala. É difícil determinar que dados estão disponíveis e como entendê-los».
O CTO fala no facto de, juntamente com a adopção do Data Mesh, em 2023, se está a «assistir a uma mudança na forma como as empresas estão a tornar os seus dados visíveis». Em vez de depender de catálogos de dados tradicionais, as pessoas estão, agora, a «migrar para catálogos de produtos de dados: um inventário organizado de todos os produtos de dados disponíveis de maneira significativa, segura, privada e facilmente consumível». Isto significa que os utilizadores podem aceder e utilizar os dados «directamente, sem se preocupar se são confiáveis, actualizados, de alta qualidade e assim por diante».
Esta tendência é evidenciada pelo rápido crescimento e modernização das ferramentas de “descoberta” de dados. Para Tareq Abedrabbo, isto evidencia que os catálogos de produtos de dados tornar-se-ão parte inevitável de qualquer arquitectura moderna de dados, acessível e disponível para todos os consumidores de dados em toda a empresa.
