A S&P Global, um dos principais fornecedores de inteligência financeira, anunciou o lançamento do S&P AI Benchmarks by Kensho, uma solução inovadora destinada a estabelecer um novo padrão para a avaliação de grandes modelos de linguagem (LLMs) em aplicações financeiras complexas.
Desenvolvida pela Kensho, divisão focada em IA da S&P Global, essa ferramenta de benchmarking mede a capacidade de um LLM para realizar tarefas como raciocínio quantitativo, extração de dados de documentos financeiros e demonstração de conhecimento específico do domínio. Os resultados são apresentados em um leaderboard, oferecendo uma visão transparente do desempenho de cada modelo.
O S&P AI Benchmarks classifica os LLMs com base em métricas financeiras e quantitativas essenciais, incluindo conhecimento do domínio, extração de quantidades e síntese de programas. “O S&P AI Benchmarks combina a pesquisa de ponta em IA da Kensho com a inteligência financeira da S&P Global”, afirmou Bhavesh Dayalji, Chief AI Officer da S&P Global e CEO da Kensho. “Nossa meta é que essa solução se torne o padrão da indústria para avaliar LLMs em raciocínios financeiros complexos, promovendo a inovação no espaço FinAI.”
O lançamento é oportuno para o setor de serviços financeiros, pois as instituições exploram cada vez mais o potencial da IA generativa e dos LLMs para aprimorar operações e obter vantagem competitiva. A falta de benchmarks padronizados dificultou a avaliação dos modelos adequados para necessidades específicas.
"Solucões de benchmarking como essa são vitais para auxiliar as instituições a determinarem quais LLMs utilizar em suas aplicações específicas", explicou Dayalji. “O S&P AI Benchmarks impulsionará a inovação ao guiar profissionais financeiros sobre onde cada modelo se destaca e como pode oferecer maior valor.”
A metodologia do S&P AI Benchmarks foi desenvolvida e validada por uma equipe diversificada de especialistas, incluindo engenheiros, pesquisadores, acadêmicos e profissionais financeiros da S&P Global. A avaliação consiste em 600 perguntas projetadas para testar rigorosamente o desempenho dos LLMs em três categorias principais.
Analistas da indústria consideram o lançamento do S&P AI Benchmarks um marco significativo na adoção da IA no setor financeiro. Com a crescente integração de tecnologias avançadas de IA nas finanças, ter uma ferramenta de benchmarking confiável e transparente será essencial para as empresas tomarem decisões informadas sobre a implementação. A solução da S&P Global pode acelerar a adoção responsável de LLMs e estimular a inovação no espaço FinAI.
Olhando para o futuro, a S&P Global imagina que o S&P AI Benchmarks desempenhará um papel crucial no futuro da IA nos serviços financeiros. “Nossa visão é que os LLMs se adaptem de forma mais eficiente às necessidades de nossas indústrias, e soluções como a nossa facilitarão isso”, afirmou Dayalji. “Incentivamos todos os fornecedores de modelos a participar para nos ajudar a continuar evoluindo nossa estrutura.”
À medida que a indústria financeira navega pelo cenário em rápida mudança da IA e da IA generativa, ferramentas como o S&P AI Benchmarks by Kensho se tornarão recursos essenciais, permitindo que as organizações aproveitem essas tecnologias, garantindo precisão, transparência e implementação responsável.