Entendendo o Shadow AI e Seus Desafios para os Departamentos de TI
O Shadow AI está se tornando um desafio significativo para os departamentos de TI encarregados de implementar e gerenciar serviços de inteligência artificial generativa. Alarmantemente, 45% das empresas não possuem uma política formal que regula o uso da IA generativa, deixando-as vulneráveis a riscos.
Com a proliferação e acessibilidade dos grandes modelos de linguagem (LLMs), as equipes de TI podem facilmente acessar LLMs e GPUs como serviço de diversos provedores de nuvem pública ou ofertas de API especializadas. Essa acessibilidade facilitou a criação de assistentes digitais por trabalhadores do conhecimento, utilizando interfaces amigáveis em laptops ou dispositivos móveis.
A Ascensão do Shadow AI
O estado atual do shadow AI reflete a emergência de aplicações SaaS e serviços de nuvem pública, onde líderes de TI enfrentaram unidades de negócios e desenvolvedores que adquiriram softwares sem aprovação. Muitas vezes, as equipes de TI responderam restringindo o shadow IT ou estabelecendo acordos instáveis com funcionários que preferiam suas aplicações.
Simultaneamente, o consumo de nuvem se descontrolou, resultando em custos excessivos devido a configurações incorretas e provisionamento excessivo. À medida que a TI começou a avaliar investimentos em relação ao valor comercial, o foco passou a ser a otimização dos gastos com nuvem.
Reequilibrar as cargas de trabalho de TI tornou-se essencial, à medida que as organizações perceberam que muitas aplicações poderiam ter um desempenho melhor em ambientes locais ou em nuvens alternativas. Com alguns fornecedores de nuvem reavaliando taxas de saída de dados, os líderes de TI estão repensando suas estratégias.
Enquanto a nuvem pública é um excelente ambiente para testes rápidos de aplicações e escalabilidade, ela também aumenta a suscetibilidade a cargas de trabalho não autorizadas.
Navegando na Governança da IA
A democratização das capacidades de IA apresenta um enigma de governança para os líderes de TI. Apesar dos desafios, os CEOs estão ansiosos para abraçar serviços de IA generativa, o que torna inviável um cancelamento total.
Os líderes de TI devem encontrar um equilíbrio entre apoiar as iniciativas dos funcionários em IA generativa e implementar uma governança responsável que respeite as restrições orçamentárias.
Identificando Casos de Uso Ideais para IA
Para alcançar esse objetivo, os líderes de TI devem se unir a executivos de negócios para identificar os casos de uso ideais para IA generativa. Esse processo exigirá que ambas as partes façam concessões, com a TI reduzindo as opções de serviço e padronizando ferramentas.
Cada caso de uso deve ser avaliado quanto à relação custo-benefício e desempenho, seja implantado em ambientes locais ou hospedados. Algumas aplicações podem ter um desempenho melhor em ambientes de nuvem pública, mas muitas prosperarão localmente, beneficiando-se de supervisão e segurança aprimoradas.
Implantar um LLM localmente também pode resultar em economia de custos. Um estudo recente do Enterprise Strategy Group (ESG) revelou que realizar inferências com um LLM de código aberto usando geração aumentada por recuperação (RAG) localmente é frequentemente mais econômico do que utilizar recursos de nuvem pública ou serviços baseados em API.
Nos testes da ESG, eles descobriram que:
- Uma instância do modelo de código aberto Mistral 7B testada contra o Amazon Web Services (AWS) EC2 foi de 38% a 48% mais econômica, com as economias aumentando com o crescimento dos usuários.
- Comparando uma instância de 70 bilhões de parâmetros do Meta Llama 2 com o AWS EC2, foi observado uma vantagem de custo de 69% a 75%.
- O teste do Llama 2 (70B parâmetros) contra o GPT-4 Turbo da OpenAI para 50.000 usuários empresariais indicou que era de 81% a 88% mais econômico.
Embora a implantação de serviços de IA generativa em ambientes locais não elimine o shadow AI, pode ajudar a mitigar seu impacto. Monitorar modelos internamente facilita para as equipes de TI resolverem problemas decorrentes de saídas inesperadas, enfatizando a importância de alinhar as iniciativas de IA com os dados organizacionais.
Colaborando para o Sucesso
As organizações provavelmente operarão cargas de trabalho de IA generativa em vários ambientes, incluindo nuvens públicas e privadas, além de locais de borda. Decidir onde implantar LLMs pode ser complexo, e parceiros de confiança como a Dell Technologies podem fornecer suporte crítico nesse processo, oferecendo servidores otimizados para IA, dispositivos clientes modernos e serviços profissionais.
O shadow AI apresenta desafios significativos, mas, com a estratégia e parcerias certas, as empresas podem construir uma estrutura responsável de IA generativa. O parceiro ideal pode iluminar o caminho a seguir.
Classificação
