Arquitetura de dados e modelagem de dados: entenda as diferenças

A arquitetura de dados e a modelagem de dados têm funções diferentes, mas trabalham de formas complementares para ajudar as empresas a desbloquearem e capitalizarem o valor dos dados. Quer saber mais sobre o assunto? Continue acompanhando o nosso texto e fique por dentro!

Os benefícios da computação em nuvem estão auxiliando líderes de muitas empresas a repensarem as estratégias de dados corporativos utilizadas nos negócios. E, além disso, entenderem como a migração de dados e aplicativos para a nuvem pode levar à modernização de uma arquitetura de dados.

O conceito de organização e arquitetura de dados, no passado, costumava fazer parte do setor de TI nas empresas. Contudo, com o aumento da consciência a respeito do valor de negócio dos dados, veio a percepção de que uma estratégia de dados eficaz influencia uma tomada de decisões mais criteriosa, gerando resultados mais lucrativos.

Essa consciência levanta questões sobre o gerenciamento de dados, em particular a modelagem de dados versus arquitetura de dados. Nesse artigo, você vai entender as principais diferenças entre a arquitetura de dados e a modelagem de dados, o relacionamento entre a arquitetura de dados e a modelagem de dados como parte do processo de gerenciamento de dados e as várias funções dos modeladores e arquitetos de dados. Confira!

 

Noções básicas de modelagem de dados

Um modelo de dados é uma representação abstrata das entidades do mundo real que operam simultaneamente dentro do ambiente de negócios de uma organização. Ele representa entidades de dados, seus atributos e como essas entidades se relacionam entre si. Existem três tipos de modelos de dados: conceituais, lógicos e físicos.

 

Modelo de dados conceituais

Este modelo mostra uma visão de alto nível dos dados que a empresa usa para dar suporte aos processos de negócios. Embora esse modelo represente os objetos conceituais usados ​​pela organização, geralmente não está associado a um aplicativo específico ou sistema de gerenciamento de banco de dados. Em vez disso, destina-se a capturar os requisitos gerais de informações do negócio. O modelo de dados conceituais é usado para se comunicar com a empresa para garantir que as necessidades de processamento de informações sejam atendidas – por exemplo, a definição de entidades conceituais como cliente, produto e localização e os relacionamentos entre essas entidades: “Um cliente que mora em um local comprou um produto. “

 

Modelo lógico de dados

Este modelo captura detalhes das características, atributos e relacionamentos entre as diferentes entidades. Fornece a perspectiva técnica dos objetos de dados descritos no modelo conceitual com a definição de atributos específicos de cada entidade – por exemplo, associando atributos de um cliente, como sobrenome, nome e número do cliente, bem como vinculação um cliente para um local residencial específico que inclui atributos de rua, cidade, estado e código postal.

 

Modelo de dados físicos

Este modelo é específico para a estrutura de aplicativo e armazenamento usada para esses dados. Para cada entidade modelada, o modelo de dados físicos lista os elementos de dados, seus tipos de dados, comprimentos e outras características relevantes para o sistema de gerenciamento de banco de dados subjacente ou ambiente de armazenamento alternativo.

 

 

O que os modeladores de dados fazem

Os modelos de dados são desenvolvidos e refinados por modeladores de dados, que envolvem os usuários de dados de negócios e solicitam seus requisitos como uma primeira etapa para o refinamento dos modelos de dados conceituais, lógicos e físicos. Os modeladores de dados trabalham com os desenvolvedores de aplicativos para entender os processos de negócios implementados pelo aplicativo desenvolvido e determinar a melhor representação para os dados que suportam esse aplicativo. As tarefas de um modelador de dados incluem o seguinte:

 

• Envolver os usuários de negócios para avaliar suas necessidades de informação;
• Trabalhar com desenvolvedores de aplicativos para entender os processos de negócios implementados;
• Revisar o processo de negócios e conceitualizar as entidades que operam simultaneamente dentro do processo de negócios;
• Determinar como as várias entidades estão relacionadas e desenvolver diagramas de relacionamento de entidades que representam as conexões entre as entidades;
• Identificar as características e propriedades de cada entidade e garantir que as entidades possam ser diferenciadas dentro do modelo;
• Desenvolver um modelo de dados lógico e validar o modelo para garantir que ele atenda às necessidades do aplicativo de negócios e de seus consumidores;
• Transformar a representação lógica do modelo em uma representação física e trabalhar com os administradores de banco de dados para instanciar e gerenciar os dados;
• Otimizar o modelo para garantir um desempenho previsível;
• Manter os metadados – os “dados sobre os dados” que descrevem o modelo de dados, sua estrutura e semântica.

 

Noções básicas de arquitetura de dados

A arquitetura de dados inclui especificações usadas para descrever o estado existente, definir requisitos de dados, orientar a integração de dados e controlar ativos de dados conforme apresentado em uma estratégia de dados. Em resumo, a arquitetura de dados inclui as seguintes estratégias e táticas para gerenciar os ciclos de vida de dados em uma organização que informam e conduzem os processos de negócios operacionais e a tomada de decisão analítica:

 

• A seleção de dados se concentra em quais conjuntos de dados são criados dentro da organização e quais são adquiridos de fora da empresa;
• A infraestrutura de dados inclui a avaliação e seleção de plataformas de dados e ferramentas e serviços de gerenciamento de dados associados, implementação de sistemas em data centers locais e na nuvem e configuração de rede;
• O onboarding e a integração de dados consiste na ingestão de dados de fontes externas, validando-os com base em critérios de qualidade de dados definidos, transformando-os em formatos utilizáveis ​​e integrando-os com dados de aplicativos de negócios internos;
• O armazenamento de dados inclui o uso de sistemas de gerenciamento de banco de dados relacional para dados estruturados, arquivos de texto e valores separados por vírgula, dados semiestruturados e não estruturados gerenciados em bancos de dados NoSQL, estruturas de big data e serviços de armazenamento de objetos em nuvem;
• A utilização de dados identifica as diferentes comunidades de consumidores de dados, avalia seus requisitos e oferece suporte a seus cenários de uso;
• O acesso a dados se concentra nos métodos de acesso, como consulta direta, extrações e serviços de dados;
• A análise e apresentação de dados inclui métodos de organização de dados para fins de relatórios e analíticos, como o uso de um data warehouse e ferramentas de visualização do usuário final;
• A proteção de dados inclui precauções de segurança de perímetro, métodos de criptografia e controles de acesso baseados em funções e atributos;
• A governança e administração de dados supervisiona a conformidade com modelos, regras e políticas definidas que regem a coleta, gerenciamento e uso de dados organizacionais.

 

O que os arquitetos de dados fazem

A função dos arquitetos de dados é muito mais ampla do que a dos modeladores de dados. O trabalho engloba uma série de responsabilidades associadas ao escopo da estratégia de dados de uma empresa que abrange uma combinação de plataformas locais e serviços de aplicativos e dados em nuvem. As tarefas de um arquiteto de dados incluem as seguintes atribuições:

 

• Descrever os padrões e princípios de dados que governam o gerenciamento de dados em ambientes de dados, incluindo locais híbridos e várias nuvens;
• Definir os tipos de estruturas de gerenciamento de dados a serem usados, incluindo RDBMSes para processamento transacional e operacional; data warehouses, data marts e data lakes para processamento analítico; e ferramentas de consulta e visualização de dados do usuário final;
• Considerar as demandas operacionais e as expectativas de desempenho, bem como os custos, e planejar uma estratégia para gerenciar dados e aplicativos, cada vez mais na nuvem;
• Implementar um catálogo de dados para listar ativos de dados corporativos junto com suas características, onde esses ativos estão localizados, controles de acesso e classificação da sensibilidade dos dados;
• Supervisionar o uso de ferramentas e tecnologias de modelagem de dados, orientar os modeladores de dados no desenvolvimento de seus modelos, supervisionar os processos de modelagem de dados e manter um repositório de metadados para capturar “inteligência de dados” sobre o cenário de dados corporativos;
• Supervisionar a seleção e implementação de ferramentas de gerenciamento de dados que se alinham aos processos e metodologias de desenvolvimento;
• Desenvolver e manter uma arquitetura de referência que inclui a especificação de domínios de dados usados ​​em diferentes aplicativos de negócios e linhas organizacionais de negócios. Essa estrutura contribui para o desenvolvimento de uma estratégia de gerenciamento de dados principais corporativos para unificar representações de domínio e reduzir a replicação de dados desnecessária;
• Documentar como os dados fluem de pontos de origem e aquisição em sistemas e aplicativos e supervisionar o desenvolvimento, gerenciamento e monitoramento de pipelines de dados;
• Descrever técnicas e processos de integração de dados e selecionar ferramentas para implementação e supervisão dos esforços de integração;
• Especificar métodos de acesso a dados e serviços de dados de arquitetura para oferecer suporte à acessibilidade de autoatendimento downstream para cientistas e analistas de dados;
• Documentar as regras e expectativas de qualidade de dados e selecionar e implementar ferramentas para gerenciar e relatar a conformidade com os requisitos de qualidade de dados;
• Definir políticas de proteção de dados e selecionar as tecnologias certas para implementar as políticas;
• Monitorar, auditar e relatar a conformidade com os padrões de dados internos, regulamentos e políticas definidas externamente e expectativas de desempenho.

 

 

Modelagem de dados e arquitetura de dados: diferentes, mas complementares

Claramente existem diferenças entre a arquitetura de dados e a modelagem de dados, especialmente no que diz respeito a perspectivas “micro” (modelagem) “macro” (arquitetura).

A modelagem de dados se concentra nos detalhes, conteúdo e estrutura de todos os ativos de dados corporativos. O objetivo é representar os conceitos de negócios, seus relacionamentos e os domínios de valores que podem preencher os atributos de cada entidade.

A arquitetura de dados se concentra no nível global das plataformas e ferramentas de dados, bem como nos padrões e diretrizes para as políticas, processos e supervisão do gerenciamento de dados corporativos. O objetivo é estabelecer uma estrutura sólida para o processamento, organização e uso de dados corporativos.

No processo, a modelagem de dados e a arquitetura de dados se complementam. Modelos de dados bem definidos não apenas fornecem a base para a criação de políticas de armazenamento, acesso e proteção de dados corporativos, mas também informam as seleções de plataformas, ferramentas e tecnologias do arquiteto de dados. Uma arquitetura de dados estabelecida simplifica o trabalho do modelador de dados, especialmente quando boas ferramentas e práticas recomendadas são fornecidas para enquadrar como os conceitos de dados corporativos são definidos e atribuídos.

 

Sendo assim, podemos dizer que, ter uma abordagem integrativa para modelagem de dados e arquitetura de dados, indica que uma empresa atingiu um alto nível de maturidade de gerenciamento de dados.
Quer melhorar a estrutura de dados da sua empresa? Conte com a Hvar para auxiliar a sua empresa no processo de transformação digital! Temos um time de especialistas preparado para responder todas as suas dúvidas. Agende uma apresentação em Português com o time da Hvar Consulting enviando um email para hvar@hvarconsulting.com.br.