De Onde Vemos? Desvendando o Aumento do Interesse em Dados e Ferramentas de Dados

Nos últimos dez anos, o cenário de ferramentas e infraestrutura de dados passou por uma transformação dramática. Como fundador de uma empresa de infraestrutura de dados em nuvem desde 2009 e criador de uma comunidade de meetups para engenheiros de dados em 2013, testemunhei a evolução dessa comunidade muito antes de "engenheiro de dados" se tornar um título formal. Essa perspectiva única me permite refletir sobre as lições aprendidas no passado e como elas devem influenciar o desenvolvimento da nova era da IA.

No campo da antropologia tecnológica, 2013 marcou a transição da era do "big data" para a era do "modern data stack" (MDS). Durante o período do big data, acreditava-se que mais dados significavam melhores insights, supostamente abrindo as portas para um novo valor comercial.

Como consultor estratégico de uma grande empresa de internet, fui encarregado de desenvolver uma estratégia para analisar a enorme quantidade de dados gerados por bilhões de consultas DNS diárias, com o objetivo de descobrir um potencial insight de $100 milhões. Infelizmente, apesar de nossos esforços, não conseguimos identificar tais insights dentro do prazo limitado do projeto. Essa experiência reforçou uma lição crucial: enquanto armazenar uma grande quantidade de dados é relativamente simples, extrair insights significativos é uma tarefa complexa e que demanda muitos recursos.

Reconhecendo esse desafio, as empresas correram para fortalecer suas infraestruturas de dados, motivadas pela crença de que os insights só poderiam ser gerados se seus sistemas de dados estivessem otimizados. Essa pressa gerou uma explosão de ferramentas de dados, à medida que os fornecedores alegavam oferecer a peça que faltava em uma pilha de dados completa capaz de gerar esses insights elusivos.

O termo "explosão" é usado com propriedade; segundo o MAD (Machine Learning, AI, and Data) Landscape de Matt Turck de 2024, o número de empresas que oferecem ferramentas de infraestrutura de dados saltou de 139 em 2012 para 2.011 este ano — um impressionante aumento de 14,5 vezes.

O Desafio do Excesso de Ferramentas

Vários fatores moldaram o cenário atual de dados. Muitas empresas migraram suas cargas de trabalho locais para a nuvem, com fornecedores de MDS oferecendo serviços gerenciados projetados para confiabilidade, flexibilidade e soluções escaláveis.

No entanto, à medida que as empresas expandiram suas ferramentas durante o período de taxa de juros zero (ZIRP), surgiram desafios significativos. A complexidade de utilizar várias ferramentas distintas, as dificuldades de integração e os serviços em nuvem subutilizados levantaram dúvidas sobre a capacidade do MDS de cumprir suas promessas.

Muitas empresas da lista Fortune 500 investiram pesadamente em infraestrutura de dados sem uma estratégia coerente para extrair valor desses dados. A atração de coletar uma ampla variedade de ferramentas levou a redundâncias, à medida que equipes dentro da mesma organização frequentemente utilizavam plataformas sobrepostas, como Tableau e Looker, resultando em custos inflacionados sem benefícios correspondentes.

Apesar da eventual explosão da bolha ZIRP, o cenário MAD continua a se expandir. Mas por quê?

A Nova Pilha de IA

Muitas empresas de ferramentas de dados, bem capitalizadas durante a era ZIRP, continuam a operar apesar de orçamentos empresariais mais apertados e da diminuição da demanda no mercado. Um fator significativo é o forte interesse em IA, que gerou uma nova onda de ferramentas de dados sem passar por uma consolidação substancial do mercado da era anterior.

A "pilha de IA" representa um paradigma fundamentalmente novo. Enquanto as pilhas de dados tradicionais foram projetadas para dados estruturados, a nova onda de IA prospera em conjuntos de dados não estruturados massivos — texto, imagens e vídeo. Além disso, os modelos de IA generativa se distinguem dos modelos mais antigos e determinísticos de aprendizado de máquina ao produzir saídas variadas, mesmo a partir de entradas inalteradas, como demonstrado por ferramentas como o ChatGPT.

Dadas essas diferenças, os desenvolvedores devem adotar novas metodologias para avaliar e monitorar as saídas dos modelos de IA, garantindo governança ética e integração eficaz. As áreas-chave de foco devem incluir orquestração de agentes (comunicação entre modelos), desenvolvimento de modelos especializados para casos de uso de nicho e ferramentas inovadoras de fluxo de trabalho para curadoria de conjuntos de dados.

Numerosas startups já estão abordando esses desafios, resultando no surgimento de ferramentas de ponta dentro da nova pilha de IA.

Construindo de Forma Mais Inteligente na Nova Era da IA

À medida que navegamos por essa nova era da IA, é crucial reconhecer nosso passado. Os dados servem como a base da IA, e a infinidade de opções de ferramentas disponíveis hoje abriu caminho para tratar os dados como um ativo vital. No entanto, devemos nos perguntar como evitar as armadilhas dos excessos do passado.

Uma abordagem é que as empresas esclareçam o valor específico que esperam de qualquer ferramenta de dados ou IA. Comprometer-se demais com tendências tecnológicas sem um propósito estratégico pode ser prejudicial, especialmente à medida que o burburinho em torno da IA consome tanto atenção quanto orçamentos. É essencial priorizar ferramentas que demonstrem valor claro e retorno sobre investimento mensurável.

Os fundadores também devem ser cautelosos ao criar soluções "me too". Antes de buscar uma nova ferramenta em um mercado saturado, eles devem avaliar se sua equipe possui insights únicos e expertise diferenciada que realmente agregaria valor.

Os investidores, por sua vez, precisam avaliar criticamente onde o valor se agregará ao longo da pilha de ferramentas de dados e IA antes de investir. Contar apenas com o pedigree de um fundador em empresas prestigiadas pode levar a um mercado saturado com produtos indesejados.

Uma pergunta interessante foi levantada em uma conferência recente: “Qual é o custo para o seu negócio se uma única linha de seus dados estiver incorreta?” Isso leva as empresas a estabelecer um quadro claro para quantificar o valor dos dados e das ferramentas de dados em suas operações.

Sem essa clareza, nenhum investimento em ferramentas de dados e IA resolverá a confusão existente.

Pete Soderling é fundador e sócio-gerente da Zero Prime Ventures.

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles