Um estudo que aponta as tendências para os próximos anos em dados em AI (Inteligência Artificial) foi divulgado recentemente pelo Google Cloud em parceria com o IDC (International Data Corporation). Nele são indicadas cinco tendências para uma estratégia de dados interconectada que contribuem para acelerar as inovações e enfrentar mudanças e desafios inerentes às novas tecnologias.
Cinco tendências em Dados e AI para os próximos anos
1ª tendência – Acabar com os silos de dados
2ª tendência – Entrar na era do ecossistema de dados abertos
3ª tendência – Aproveitar o grande momento da AI
4ª tendência – Usar insights em tudo
5ª tendência – Conhecer seus dados desconhecidos
Conheça em detalhes cada um dos itens ao longo deste artigo.
A demanda do consumidor, as condições do mercado e as novas tecnologias de AI e machine learning evoluíram. Com isso, é comum que as empresas tenham que lidar com o aumento da complexidade dos dados, procurando novos padrões, criando modelos, disponibilizando dados para as pessoas e aplicativos certos no momento certo e acompanhando cada byte para que atenda aos requisitos.
1ª tendência – Acabar com os silos de dados
Uma nuvem de dados unificada fornece uma plataforma com suporte a todas as fases do ciclo de vida dos dados. Bancos de dados, data warehouses, data lakes, streaming, BI, AI e ML residem em uma infraestrutura comum pré-configurada para integração perfeita.
Até 2026, 82% das organizações querem garantir a integração total dos recursos que dão suporte ao fluxo de trabalho completo de dados e AI na sua plataforma de dados em nuvem.
“As organizações começaram a perceber que as estratégias de data warehouse e armazenamento de dados em silos não conseguem acompanhar a demanda de hoje. Considerando a quantidade de dados que os dispositivos e aplicativos geram todos os dias, isso não é surpresa. Elas precisam de uma forma melhor de armazenar, gerenciar, analisar e governar todos esses dados e, ao mesmo tempo, reduzir trabalho extra, custos e insights conflitantes causados por silos e sistemas redundantes.
É melhor usar as habilidades de desenvolvedores, administradores de TI, analistas de segurança e equipes de negócios para desenvolver aplicativos inovadores e disponibilizar serviços no mercado mais rápido, e não para correr atrás de dados. Esses colaboradores precisam saber quais dados existem e onde estão, e conseguir acessar e analisar facilmente os dados atualizados. Com uma nuvem de dados unificada, tudo isso se torna possível.
Para mim, um dos pontos principais dessa tendência é que a nuvem de dados unificada permite a integração de dados e insights em experiências digitais e fluxos de trabalho. E, portanto, os usuários podem ter as informações certas exatamente quando precisam para alcançar os melhores resultados possíveis.”
Andi Gutmans / VP e gerente geral de engenharia de banco de dados Google Cloud
2ª tendência – Entrar na era do ecossistema de dados abertos
Para proteger a opção de tecnologia e reutilizar códigos e serviços baseados em padrões, cada vez mais as empresas estão adotando software de código aberto e APIs abertas.
78% da gerência executiva acredita que usar dados externos é uma competência crítica para a empresa.
“Os crescentes requisitos de flexibilidade do ecossistema de dados levaram as conversas sobre padrões abertos, integração de dados e escolha de tecnologia para um novo patamar. As organizações reconhecem que os dados são cruciais para inovação digital e são a chave para possibilitar a AI. O desafio é que os dados são gerados em volumes cada vez maiores e estão presos em novos silos de diferentes formatos de soluções pontuais e nuvens fechadas.
Criar um ecossistema de dados multinuvem aberto para aproveitar esses dados pode melhorar tudo. Ele pode diminuir o tempo de lançamento e aumentar o retorno do investimento. Acima disso, ele pode tornar sua organização mais competitiva. Imagine
se todos os seus funcionários, clientes e parceiros participassem do ecossistema de dados como colaboradores, e não como espectadores.
As organizações querem ter a liberdade para criar uma nuvem de dados que inclua todos os formatos de dados de qualquer fonte ou nuvem. Elas querem usar as tecnologias que funcionam melhor para suas necessidades específicas e aumentar o ritmo da inovação sem ter que se preocupar com os silos de tecnologia e a dívida técnica. Em última análise, é uma questão de aproveitar a capacidade dos dados e da IA em todas as empresas.”
Gerrit Kazmaier / VP e gerente geral de dados e análise de dados Google Cloud
Abra os sistemas para permitir a migração de dados e análise em múltiplas nuvens
Tradicionalmente, as organizações implantam sistemas e ferramentas individuais para resolver problemas específicos. Como resultado, agora muitas delas armazenam dados em várias plataformas e nuvens públicas. Geralmente, esses dados acabam ficando separados, o que dificulta a extração de insights de todos eles.
A adoção de arquiteturas e padrões abertos permite que as empresas evitem o lock-in do fornecedor e silos, protegendo a liberdade de mover dados entre plataformas conforme necessário, facilitando os fluxos de trabalho, insights e a monetização de dados. Por exemplo, os dados armazenados em qualquer banco de dados relacional baseado em SQL, como o PostgreSQL, podem ser facilmente movidos e compartilhados com qualquer outro banco de dados baseado em SQL. Sistemas com APIs abertas em conformidade com a arquitetura REST facilitam o consumo e o compartilhamento de dados de fontes internas e externas pelas empresas. Além disso, o uso de padrões e arquiteturas abertas também permite que as organizações analisem os dados no local em que estão, o que minimiza a migração de dados e as taxas de saída.
3ª tendência – Aproveitar o grande momento da AI
Agora as experiências baseadas em AI fazem parte da vida cotidiana. Essa onipresença cria uma demanda por formas mais fáceis de trabalhar com AI e ML de modo que mais pessoas usem esses recursos.
Até 2025, pelo menos 90% das novas versões de aplicativos corporativos vão incluir uma funcionalidade de AI incorporada.
“Estamos no auge da AI. Quer as pessoas percebam ou não, já usamos aplicativos baseados em IA todos os dias. Plataformas de redes sociais, assistentes por voz e serviços de transporte particular são alguns exemplos. As organizações estão adotando ferramentas e tecnologias de AI e ML porque elas permitem extrair muito mais informações dos dados e resolver problemas do mundo real em larga escala e com acuracidade.
A unificação é o aspecto mais importante para as estratégias emergentes de adoção de AI. Há apenas um ano, as empresas pensavam e gerenciavam as nuvens de dados e de AI como entidades separadas. Mas, como observamos em outras tendências, essa separação ou estratégia isolada cria obstáculos.
Hoje, os cientistas de dados, analistas, desenvolvedores e outros criadores de ML trabalham juntos. E todos querem uma interface que permita acessar as ferramentas, dados e insights em um portal unificado.”
June Yang / VP, soluções do setor e de IA na nuvem Google Cloud
Supere a falta de qualificação em Machine Learning
Como a maioria das empresas não têm a equipe de ciência de dados necessária para atingir as metas de AI/ML, cada vez mais organizações estão capacitando “cientistas de dados cidadãos” para desenvolver modelos de ML pré-treinados ou métodos de treinamento com pouco código. E 81% das organizações afirmam que ter mais cientistas de dados cidadãos melhoraria bastante a capacidade de realizar análises avançadas em mais projetos.
Dica para a adoção de AI/ML
• Mesmo que tenha um bom conhecimento em ciência de dados, você não precisa começar tudo do zero. Adote modelos, amostras e outros recursos prontos para uso que permitem a personalização e realizam 80% do trabalho, para que você possa se concentrar no essencial.
• O rastreamento de modelo é fundamental para entender os dados, incluindo quando eles foram treinados, quem treinou e de onde eles vieram.
• Não é preciso construir algo de outro mundo, basta desenvolver um modelo que faça uma tarefa melhor do que você já está fazendo.
• Comece com projetos pequenos e simples. Usar o ML para melhorar a taxa de cliques de pesquisa em 3 ou 4% pode não parecer muito, mas, na realidade, esse valor pequeno pode resultar em milhões de dólares em receita adicional.
• Soluções de AI bem-sucedidas criam confiabilidade e estabilidade no modelo desde o início.
4ª tendência – Usar insights em tudo
Repense estratégias e aplicativos de BI e análise de dados para melhorar as decisões, o atendimento ao cliente, o desenvolvimento de produtos e a receita.
Nos próximos anos, 75% das organizações vão exigir novos recursos de suporte à decisão indisponíveis em seu software de BI legado.
“Mesmo após anos de investimento significativo em dados e análises, ainda não houve uma ampla adoção de BI nas organizações. Um dos motivos é a falta de confiança nos relatórios e nas ferramentas. Com frequência, os relatórios tradicionais fornecem dados inconsistentes ou imprecisos porque são criados com cópias de dados desatualizadas, ferramentas isoladas e cálculos não padronizados. Outro motivo para a lenta adoção do BI é que normalmente os dados são fornecidos em um painel compartilhado que fornece métricas gerais, em vez de conclusões claras e acionáveis personalizadas para usuários específicos.
Para acelerar a adoção, as organizações estão mudando as expectativas em relação ao BI, inclusive nas modalidades tradicionais de painel. Elas estão explorando diferentes soluções para criar uma experiência com dados contextualizados que forneça aos usuários as informações de que precisam, quando e onde precisam. Isso se
aplica a todos os usuários, não só aos analistas de dados experientes que conhecem SQL. As organizações estão capacitando os tomadores de decisões de negócios com as ferramentas apropriadas para incorporar os insights necessários nos fluxos de trabalho diários.”
Kate Wright / Diretora sênior, gerenciamento de produtos Google Cloud
Mais do que KPIS
O BI está mudando. As organizações do futuro estão deixando para trás o modelo tradicional orientado para painel em favor da adoção de um paradigma de BI voltado para a ação, no qual os insights são veiculados para mais pessoas em mais ambientes. Isso permite suporte a mais tipos de fluxos de trabalho do que nunca.
As organizações usam BI e análise para identificar tendências e também anomalias de dados e problemas de negócios. Não é obrigatório que esses insights envolvam ML ou AI. No entanto, é importante notar que 87% das organizações consideram importante que o software de BI e análise dê suporte ao desenvolvimento e à implantação de modelos preditivos. Nesses casos de uso, o BI e a análise alimentam os modelos com dados e fornecem insights instantâneos aos usuários, mesmo em ambientes dinâmicos com contagem de milissegundos, como lances de anúncios digitais.
Outros casos de uso ajudam a alcançar mais perfis, como a incorporação de BI em aplicativos corporativos, que é crítica para 87% das organizações. Isso é importante porque 79% das organizações querem aumentar o público interno e 66% querem alcançar mais usuários externos com recursos integrados de BI e análise nos aplicativos corporativos.
5ª tendência – Conhecer seus dados desconhecidos
As organizações buscam descobrir e mitigar os riscos regulatórios e de compliance causados por dados desconhecidos.
Hoje 77% das organizações buscam melhorar a capacidade de classificar dados e aplicar controles de privacidade e segurança de dados.
“Os dados são valiosos. Eles são um fator importante para a competitividade das empresas. Mas, à medida que as empresas reúnem volumes de dados estruturados e não estruturados de mais canais de suporte a clientes, parceiros, fornecedores e funcionários, muitas desconhecem o nível de risco que todos esses dados representam.
Se você não souber os dados que tem, não poderá protegê- los. Além disso, também não saberá quais são os riscos de segurança ou quais medidas de segurança precisará tomar.
Se você criar uma tabela em um banco de dados com informações de identificação pessoal (PII), como dados do paciente, precisa saber quais tipos de dados ela contém e como proteger e manter a conformidade legal. As empresas modernas coletam e copiam grandes quantidades de dados de muitas fontes, especialmente não estruturados, e estão descobrindo que é impossível encontrar, digitalizar e classificar manualmente o risco de todos os conjuntos de dados.
Dados não estruturados provenientes de aplicativos de chat ou arquivos de registro podem causar uma grande dor de cabeça para as organizações, principalmente se tiverem acidentalmente dados confidenciais, como informações pessoais. Um exemplo disso são as transcrições de atendimentos ao cliente, porque não é possível saber quais informações serão enviadas. Em uma conversa com o atendimento ao cliente, uma pessoa pode escrever: “Não recebi meus medicamentos. Este é meu nome, os medicamentos de que preciso e meu CPF”. Agora esses dados confidenciais de identificação pessoal estão em um dos seus bancos de dados e podem não estar protegidos e classificados corretamente.”
Anton Chuvakin / Consultor sênior de segurança da equipe Google Cloud
Garanta que os dados sejam detectáveis
Conseguir visibilidade de todos os seus dados é a primeira etapa e a mais crítica no gerenciamento de risco de dados. Isso inclui entender todos os seus pipelines de ingestão de dados e silos de armazenamento.
Classifique seus dados
Depois de saber onde estão os dados, você precisa classificar todos eles. Acuracidade é essencial. Como muitas vezes não há como fazer isso manualmente, as organizações estão aumentando as habilidades e os recursos com o machine learning e as ferramentas de automação de negócios. Como vimos na quarta tendência, 90% das empresas também estão usando BI e análises para detectar anomalias nos dados. A detecção de anomalias ajuda a sinalizar todos os tipos de dados que não cumprirem a finalidade de uma tabela ou armazenamento de arquivos.
Implemente controles consistentes
Caso tenha dados detectáveis que também são confidenciais, é possível implementar controles automatizados para reduzir o risco ao armazenar e compartilhar dados. Por exemplo, se suspeitar que os clientes vão inserir dados confidenciais, como informações pessoais, quando interagirem com um representante de atendimento ao cliente, configure um processo automatizado que execute etapas como:
• Retirar os dados pessoais do cliente antes que as informações da transação sejam armazenadas no seu sistema
• Armazenar todos os dados da transação, mas tokenizar as informações pessoais se eles saírem do sistema em que estão armazenados
• Armazenar todos os dados da transação, mas impedir que eles sejam movidos para determinados estados ou regiões
A HVAR é parceira Google Cloud e pode ajudar sua empresa na jornada de dados proporcionando maturidade analítica e suportando os processos de adoção de novas tecnologias. Entre em contato conosco e solicite uma reunião com um de nossos especialistas.
