AI의 중간 계층은 고급 하드웨어 솔루션이 필요합니다.

기업들이 AI 애플리케이션과 에이전트를 개발하는 데 집중함에 따라, 최적의 결과를 위한 다양한 언어 모델 및 데이터베이스 활용의 중요성이 점점 더 드러나고 있습니다. Llama 3에서 Mistral로 애플리케이션을 전환하는 것은 정교한 기술적 조정이 필요할 수 있습니다. 이 과정의 핵심은 기초 모델과 애플리케이션을 연결하는 중재 역할을 하는 오케스트레이션 레이어입니다. 이 레이어는 API 호출을 관리하여 작업을 효과적으로 실행합니다.

오케스트레이션 레이어는 주로 LangChain, LlamaIndex와 같은 소프트웨어 솔루션으로 구성되어 데이터베이스 통합을 지원합니다. 그러나 이러한 레이어가 소프트웨어로만 구성되어 있는지, 아니면 하드웨어가 AI 모델을 구동하는 것 이상으로 중요한 역할을 하는지에 대한 질문이 생깁니다.

명확한 대답은 하드웨어가 LangChain과 AI 애플리케이션의 기반이 되는 데이터베이스를 지원하는 데 필수적이라는 것입니다. 기업들은 대량의 데이터 흐름을 관리할 수 있는 강력한 하드웨어 스택을 필요로 하며, 현장에서 상당한 데이터 센터 작업을 수행할 수 있는 장치를 고려해야 합니다.

“AI 중간 계층은 주로 소프트웨어 문제지만, 하드웨어 공급업체는 성능과 효율성에 상당한 영향을 미칠 수 있다”며 InterSystems의 데이터 플랫폼 책임자인 Scott Gnau가 말합니다. AI 인프라 전문가들은 소프트웨어가 AI 오케스트레이션의 기반이지만, 그 효과는 서버와 GPU의 대량 데이터 처리 능력에 따라 달라진다고 강조합니다. 따라서 오케스트레이션 레이어가 최적의 기능을 발휘하려면, 기본 하드웨어는 고대역폭과 저지연의 연결에 초점을 맞춰 스마트하고 효율적이어야 합니다.

“이 오케스트레이션 레이어는 빠른 칩을 필요로 한다”고 IBM Consulting의 생성적 AI 관리 파트너인 Matt Candy가 설명합니다. “오케스트레이션 레이어가 동적으로 작업을 전환할 때 실리콘, 칩, 서버가 모델의 유형과 크기에 따라 최적화될 수 있는 미래를 구상하고 있다”고 덧붙였습니다. 현재 시중에 나와 있는 GPU는 이러한 요구를 효과적으로 지원할 수 있습니다.

델의 글로벌 CTO이자 최고 AI 책임자인 John Roese는 “이 문제는 하드웨어와 소프트웨어가 맞물려 있다. 사람들이 종종 AI가 소프트웨어로 나타나고, 이는 하드웨어에서 작동한다는 것을 잊는다. AI 소프트웨어는 우리가 만든 것 중 가장 높은 성능을 요구하며, 성능 메트릭과 계산 요구 사항에 대한 이해가 필요하다”고 말합니다.

AI 중간 계층은 빠르고 강력한 하드웨어를 요구하지만, 기존의 GPU와 칩을 넘어서는 새로운 특수 장비는 필요하지 않습니다. “하드웨어는 결정적인 요소지만, 모델 성능을 향상시키기 위한 주요 발전을 불러올 만한 특수 하드웨어는 없을 것이라고 생각한다”라며 Gnau가 지적합니다. “최적화는 소프트웨어와 아키텍처에서 비롯되며, 데이터 이동을 최소화할 것입니다.”

AI 에이전트의 출현은 중간 계층을 강화할 필요성을 높였습니다. AI 에이전트 간의 의사소통과 여러 API 호출을 시작할 때, 효과적인 오케스트레이션 레이어가 필요한 이유입니다. “이 레이어는 모든 유형의 AI 모델과 기술에 대한 원활한 API 접근을 보장하여 전체 사용자 경험을 향상시킵니다”라고 Candy가 설명합니다. “저는 이것을 미들웨어 스택 내의 AI 컨트롤러라고 합니다.”

AI 에이전트는 업계에서 핫한 주제로 떠오르며, 앞으로 기업 AI 인프라의 발전에 큰 영향을 미칠 가능성이 높습니다. Roese는 기업에 또 다른 고려 사항인 온디바이스 AI를 제안합니다. 연결이 끊기면 AI 에이전트가 로컬에서 작동해야 하는 시나리오를 대비해야 한다는 것입니다.

“중요한 질문은 작업이 어디에서 발생하는가입니다”라고 Roese가 말합니다. “여기서 AI PC와 같은 개념이 등장합니다. 당신을 대신해서 여러 에이전트가 협력할 때, 모두 중앙 집중식으로 운영될 필요가 있을까요?” 그는 인터넷이 차단되는 상황에서도 작업을 계속 진행할 수 있는 온디바이스 ‘콘시어지’ 에이전트에 대한 Dell의 탐구를 언급합니다.

생성적 AI는 기술 스택의 폭발적인 성장을 촉발했으며, 새로운 서비스 제공업체들이 GPU 공간, 데이터베이스, AIOps 서비스를 제공하고 있습니다. 그러나 Uniphore CEO인 Umesh Sachdev는 이러한 확장이 영구적이지 않을 것이라고 경고합니다. “기술 스택이 폭발적으로 증가했지만, 저는 정상화 단계를 목격할 것이라 믿습니다”라고 Sachdev는 예측합니다. “궁극적으로 조직들은 자원을 내부에서 통합할 것이고, GPU 수요는 안정될 것입니다. 레이어와 공급업체의 확산은 새로운 기술의 전형적인 현상이며, AI에서도 유사한 경향을 볼 수 있을 것입니다.”

기업들에게 가장 좋은 방법은 하드웨어에서 소프트웨어까지 전체 AI 생태계를 고려하여 효과적인 AI 워크플로를 보장하는 것입니다.