S&P Global이 금융 정보 제공의 선두주자로서 복잡한 금융 애플리케이션에서 대형 언어 모델(LLM)을 평가하기 위한 새로운 기준을 확립하는 혁신적인 솔루션인 S&P AI Benchmarks를 Kensho와 함께 출시했습니다.
Kensho에서 개발한 이 벤치마킹 도구는 LLM의 정량적 추론, 금융 문서에서의 데이터 추출, 도메인별 지식 시연 능력을 측정합니다. 결과는 리더보드로 표시되어 각 모델의 성과를 투명하게 보여줍니다. S&P AI Benchmarks는 도메인 지식, 데이터 추출, 프로그램 합성 등 주요 금융 및 정량적 지표를 기준으로 LLM을 평가합니다.
“우리는 S&P AI Benchmarks가 복잡한 금융 추론에서 LLM을 평가하기 위한 산업 표준이 되기를 바랍니다,”라고 S&P Global의 최고 AI 책임자이자 Kensho CEO인 Bhavesh Dayalji가 말했습니다. 이 솔루션은 FinAI 분야의 혁신을 촉진할 것으로 기대됩니다.
현재 이러한 출시 시점은 금융 서비스 산업에 매우 중요합니다. 금융 기관들이 생성적 AI와 LLM의 잠재력을 탐색하여 운영을 향상시키고 경쟁 우위를 확보하려고 하고 있기 때문입니다. 표준화된 벤치마크의 부재는 조직들이 특정 요구에 맞는 적절한 모델을 평가하는 데 어려움을 겪게 만들었습니다.
“이런 벤치마킹 솔루션은 기관들이 특정 애플리케이션에 사용할 LLM을 결정하는 데 필수적입니다,”라고 Dayalji는 설명했습니다. “S&P AI Benchmarks는 금융 전문가들에게 각 모델이 어떤 부분에서 우수한지, 최대 가치를 어떻게 제공할 수 있는지 안내함으로써 혁신을 더욱 촉진할 것입니다.”
S&P AI Benchmarks의 방법론은 S&P Global의 엔지니어, 연구원, 학계 및 금융 전문가들로 구성된 다양한 팀에 의해 개발되고 검증되었습니다. 이 평가는 LLM의 성능을 철저히 테스트하기 위해 설계된 600개의 질문으로 구성되어 있습니다.
산업 분석가들은 S&P AI Benchmarks의 출범을 금융 분야 내 AI 채택의 중요한 이정표로 보고 있습니다. 고급 AI 기술이 금융에 더욱 통합됨에 따라, 신뢰할 수 있고 투명한 벤치마킹 도구는 정보에 기반한 배포 결정을 내리려는 기업에 필수적입니다. S&P Global의 이 솔루션은 LLM의 책임 있는 도입을 가속화하고 FinAI 분야의 혁신을 자극할 수 있습니다.
앞으로 S&P Global은 S&P AI Benchmarks가 금융 서비스 분야에서 AI의 미래에 중요한 역할을 하기를 기대하고 있습니다. “우리의 비전은 LLM이 산업의 필요에 더 효과적으로 적응하도록 하는 것이며, 저희와 같은 솔루션이 이를 촉진할 것입니다,”라고 Dayalji는 덧붙였습니다. “또한 모든 모델 제공업체가 참여하여 우리의 프레임워크를 계속 발전시킬 수 있도록 권장합니다.”
금융 산업이 AI와 생성적 AI의 빠르게 변화하는 환경을 탐색함에 따라, Kensho의 S&P AI Benchmarks와 같은 도구들은 정확성, 투명성 및 책임 있는 배포를 보장하면서 조직이 이러한 기술을 활용할 수 있도록 필수적인 자원이 될 것입니다.