O conceito Data Driven tem sido difundido ao longo da última década e se tornado elemento chave na maioria das organizações, assim como o conceito big data. Mas embora seja de fácil compreensão, muitas empresas não conseguem implantar uma cultura de dados eficiente quando se deparam com alguns dilemas inerentes ao processo de transformação digital. Neste artigo vamos abordar pontos importantes e caminhos para a implantação da cultura de dados em uma jornada data driven.
Unificação dos dados
Empresas e startups já descobriram que para obterem sucesso é essencial que seus dados, incluindo os de toda a empresa, sejam unificados. Quando falamos de toda a empresa, estamos incluindo fornecedores e parceiros comerciais. Neste aspecto, a eliminação de silos de dados e o desbloqueio de dados não estruturados são pontos chave.
Sem um stack de tecnologia flexível, que favoreça diferentes tipos de análises e o uso de dados – incluindo dados offline – a unificação dos dados se torna uma tarefa utópica. O stack de tecnologia também precisa ser acessível. Isso significa poder ser acessado a partir de qualquer lugar, além de oferecer suporte a diferentes plataformas e linguagens de programação e ferramentas.
Os dados são cruciais para promover uma melhor experiência aos usuários, assim como para a criação de novos produtos. Contudo, as questões de armazenamento, inconsistência ferramental, compliance e segurança da informação são desafios que dificultam, e muitas vezes impedem, o processo de unificação, análise e descoberta de valor dos dados.
Vantagem competitiva na cultura de dados
É senso comum que dados são importantes e quanto a isso não há dúvidas. No entanto, poucas empresas conseguem extrair valor e insights de negócios de seus ecossistemas de dados.
Antes de sair criando dashboards ou adquirindo ferramentas de Dataviz (Data Visualization), é importante fazer algumas perguntas a si mesmo – importante ressaltar que estamos falando sempre dentro do contexto empresarial. Você conhece as expectativas dos seus clientes mudaram? Como você usa os dados para melhorar a experiência dos clientes? Quanto ao desafio, como os engenheiros e cientistas de dados estão empregando seu tempo atualmente? As respostas a essas e outras perguntas inerentes ao negócio e a perspectivas dos clientes são cruciais para gerar um plano que favoreça a vantagem competitiva e a implantação da cultura de dados. Ainda neste contexto de vantagem competitiva, os conceitos de multicloud e modernização de aplicativos estão inseridos e você pode ler mais sobre estes e outros temas em nossa área de conteúdo sobre tecnologia.
Cultura de dados a favor da inovação
Obter novos clientes e aumentar receita. Por mais que se fale sobre cultura de dados, no final isso é o que as empresas esperam: gerar maior lucratividade com menos custos. Mas para isso é necessário que os dados trabalhem a seu favor. Isso posto, é fundamental uma, ou mais, plataforma de dados que ajude a alcançar esses objetivos. Para a adoção de plataformas de dados existem alguns princípios que são importantes e vamos citar alguns: simplicidade e escalabilidade; agilidade e custos baixos.
Simplicidade e escalabilidade
É provável que você tenha muitos dados à sua disposição no momento. Talvez eles estejam crescendo exponencialmente e você queira manter ou aumentar seu ROI enquanto acompanha o volume. Talvez você esteja prevendo que terá muitos dados no futuro, por exemplo, um terabyte, e projetando seus sistemas para processar esse valor sabendo que, se o crescimento superar essa expectativa, será necessária a migração de todo o sistema. Ou talvez você tenha escolhido um data warehouse capaz de acompanhar a escala do crescimento esperado, mas tem sido difícil gerenciar o aumento das necessidades de processamento.
Sistemas menores costumam ser mais simples. No entanto, você não precisa mais escolher entre um sistema fácil de usar e um altamente escalável. Usar uma arquitetura sem servidor elimina a necessidade de gerenciar clusters e possibilita a utilização de enormes escalas de computação e armazenamento, para que você nunca mais precise se preocupar se o volume dos dados excede sua capacidade técnica.
Para fins de simplicidade e escalabilidade, recomendamos uma plataforma de dados sem servidor. Sugerimos que você desconsidere qualquer opção que exija a instalação de software, o gerenciamento de clusters ou o ajuste de consultas.
Agilidade e custos baixos
Qualquer sistema de gerenciamento de dados que combine computação e armazenamento fará com que você tenha que escalar a computação para lidar com o aumento do volume de dados, mesmo que não precise. Isso pode ser caro e você pode acabar tendo que fazer certas concessões, como armazenar apenas os dados dos últimos 12 meses no warehouse de análise. Você também pode decidir não incluir dados por não ter uma utilidade imediata para eles e descobrir mais tarde que não é possível testar uma hipótese porque eles não estão lá e seria necessário criar um novo pipeline.
Além do custo e do gerenciamento, você também precisa considerar a agilidade.
Quando seus dados mudam, quanto tempo você leva para perceber e agir? Quando uma nova versão de um software ou de uma ferramenta que você usa é lançada, quanto tempo você leva para adotar os novos recursos? O caminho para maior agilidade é escolher ferramentas flexíveis que não exigem monitoramento constante e sejam aplicáveis a uma grande variedade de cargas de trabalho.
Tomar decisões fundamentadas por dados em tempo real
O ritmo de trabalho das empresas não para de acelerar. As expectativas dos clientes também mudaram. Os casos em que seria possível reconciliar uma transação ou aprovar uma devolução em três dias agora precisam de uma resposta imediata. A tomada de decisão mais rápida e pontual gerou uma necessidade maior de usar streaming.
Você quer capturar dados em tempo real e os disponibilizar às suas equipes de negócios para consultas de baixa latência. Você também quer ter certeza de que os pipelines de streaming são escaláveis, resilientes e têm poucas despesas de gerenciamento. Essa é a única maneira de sua equipe reagir em tempo real acompanhando a velocidade dos negócios.
Eliminar silos de dados
No início do artigo fizemos menção aos silos de dados. Muitas organizações acabam criando silos porque armazenam separadamente os dados de diferentes departamentos e unidades de negócios que cada equipe gera. Isso significa que, sempre que você quiser fazer uma análise que envolva vários departamentos, terá que descobrir como eliminar esses silos, provavelmente executando pipelines de extração (ETL) para obter os dados e colocá-los no data warehouse. No entanto, os departamentos que geraram os dados geralmente têm pouco incentivo para manter os pipelines. Com o tempo, eles ficam desatualizados, e os dados coletados ficam mais obsoletos e menos úteis.
Além dos silos organizacionais, várias empresas têm adotado uma estratégia multinuvem baseada nas preferências de cada departamento, no alinhamento de capacidades e na pressão regulatória. Essas empresas também costumam lidar com a realidade de data lakes legados e investimentos em data warehouse on-premises. O ambiente multinuvem e híbrido de hoje exige um nível maior de sofisticação para gerenciar e acessar dados em silos.
Migrar para um warehouse distribuído com um painel de controle comum, também chamado de malha de dados ou data mesh, aumenta a capacidade de acessar dados de alta qualidade em departamentos, nuvens e sistemas on-premises. Isso pode solucionar problemas comerciais, como desempenho do produto ou comportamento do cliente, e possibilita a consulta dos dados em tempo real.
Quer saber mais sobre cultura de dados e como tornar sua empresa data driven? Entre em contato conosco para conversar com um de nossos especialistas.
