LLM 이용 제한? Snowflake, 향상된 가용성을 위한 교차 지역 추론 공개!

대규모 언어 모델(LLM)의 지역 접근성은 경쟁 우위를 크게 향상시킬 수 있습니다. 더 빠른 접근이 혁신을 가속화하기 때문입니다. 반면, 대기해야 하는 조직은 뒤처질 위험이 있습니다. 그러나 AI 개발의 빠른 속도는 종종 조직이 기술 스택 내에서 모델이 사용 가능할 때까지 도입을 연기해야 하는 상황을 초래합니다. 이러한 지연은 일반적으로 자원 제한, 서구 중심의 편향, 다국어 문제로 인해 발생합니다.

이러한 시급한 문제를 해결하기 위해 Snowflake는 Cortex AI에 대한 지역 간 추론의 일반 가용성을 발표했습니다. 간단한 설정만으로 개발자는 특정 모델이 지역에 없더라도 여러 지역에서 요청을 처리할 수 있습니다. 이는 새로운 LLM이 접근 가능해질 때 원활하게 통합할 수 있도록 합니다.

조직은 추가 전송 요금 없이 미국, EU, 아시아 태평양 및 일본(APJ) 전역에서 LLM을 안전하게 활용할 수 있습니다. Snowflake의 AI 제품 마케팅을 이끄는 아룬 아가르왈은 "Cortex AI의 지역 간 추론을 통해 원하는 LLM을 지역 가용성과 관계없이 원활하게 통합할 수 있습니다"고 설명합니다.

지역 간 추론 활용 가능성

데이터 전송을 위해 지역 간 기능이 활성화되어야 하며, 기본 설정은 비활성화되어 있습니다. 개발자는 추론을 위한 지역을 지정해야 합니다. 두 지역이 Amazon Web Services(AWS) 아래에서 운영되는 경우 데이터는 AWS의 글로벌 네트워크를 통해 안전하게 전송되며, 자동 물리적 레이어 암호화를 이용합니다. 다른 클라우드 제공업체가 포함된 경우, 트래픽은 암호화된 상호 전송 계층 보안(MTLS)을 사용하여 공용 인터넷을 통해 전송됩니다. 특히 입력, 출력 및 서비스에서 생성된 프롬프트는 저장되거나 캐시되지 않으며, 추론 처리 과정은 오로지 지역 간 환경에서 발생합니다.

Snowflake의 프레임워크 내에서 안전하게 응답을 생성하려면 사용자가 먼저 추론이 이루어질 계정 수준의 매개변수를 설정해야 합니다. 이후 Cortex AI는 요청된 LLM이 원본 지역에 없을 때 자동으로 적절한 처리 지역을 식별합니다. 예를 들어, 사용자가 매개변수를 “AWSUS”로 설정하면 추론은 미국 동부 또는 서부 지역에서 발생할 수 있습니다. 반면, “AWSEU”를 설정하면 중앙 유럽 또는 아시아 태평양 북동부로 라우팅됩니다. 현재 대상 지역은 AWS 내에서만 구성할 수 있으며, Azure나 Google Cloud에서 지역 간 기능이 활성화된 경우 요청은 여전히 AWS를 통해 처리됩니다.

아가르왈은 Snowflake Arctic의 시나리오를 들어 이러한 과정을 설명합니다. 만약 모델이 원본 지역(AWS 미국 동부)에서 사용할 수 없다면, 지역 간 추론은 요청을 AWS 미국 서부 2로 라우팅하며, 응답은 원래 지역으로 반환됩니다. "모든 과정은 단 한 줄의 코드로 가능합니다."라고 아가르왈은 덧붙입니다.

사용자는 소스 지역에서 소비된 LLM 사용에 대해 크레디트를 청구받으며, 지역 간 사용에 대해서는 청구되지 않습니다. 지역 간 왕복 지연 시간은 인프라 및 네트워크 상황에 따라 달라지지만, Snowflake는 이 지연 시간이 LLM 추론 지연에 비해 미미할 것이라고 예상하고 있습니다.