쉐도우 AI 통제: 보안 및 성능 강화를 위한 생성 AI의 전략적 배치

섀도우 AI와 IT 부서의 도전 과제 이해하기

섀도우 AI는 생성 AI 서비스 배포 및 관리에 책임이 있는 IT 부서에 큰 도전 과제가 되고 있습니다. 놀랍게도, 45%의 기업이 생성 AI 사용에 대한 공식 정책이 없으며, 이로 인해 조직이 위험에 노출되고 있습니다.

대형 언어 모델(LLM)의 확산과 접근성이 높아짐에 따라 IT 직원들은 다양한 퍼블릭 클라우드 제공업체나 전문 API 서비스를 통해 손쉽게 LLM과 GPU 서비스를 이용할 수 있습니다. 이러한 접근성은 지식 근로자들이 노트북이나 모바일 기기에서 사용자 친화적인 인터페이스를 통해 자신만의 디지털 비서를 쉽게 만들 수 있게 하였습니다.

섀도우 AI의 부상

현재의 섀도우 AI 상황은 SaaS 애플리케이션과 퍼블릭 클라우드 서비스의 출현을 반영하고 있으며, 이에 따라 IT 리더들은 비즈니스 부서와 개발자들이 승인 없이 소프트웨어를 조달하는 문제에 시달리고 있습니다. IT 부서는 종종 섀도우 IT를 제한하거나 직원들이 선호하는 애플리케이션과 불편한 합의를 형성하는 방식으로 대응하였습니다.

동시에 클라우드 소비는 통제 불능 상태로 치달으며, 잘못된 설정 및 과다 공급으로 인해 불필요한 비용이 발생했습니다. IT는 비즈니스 가치를 기준으로 투자를 평가하기 시작하면서 클라우드 지출 최적화에 주력하게 되었습니다.

조직들은 많은 애플리케이션들이 온프레미스 또는 대안 클라우드 환경에서 더 뛰어난 성능을 발휘할 수 있음을 깨닫게 되면서 IT 작업량을 재조정하는 것이 필수가 되었습니다. 일부 클라우드 공급업체가 데이터 이그레스 요금을 재고함에 따라 IT 리더들은 전략을 재고하고 있습니다.

퍼블릭 클라우드는 빠른 애플리케이션 테스트 및 확장을 위한 최적의 환경이지만, 무단 작업 부하에 대한 취약성이 증가하는 문제도 동반합니다.

AI 거버넌스 탐색하기

AI 기능의 민주화는 IT 리더들에게 거버넌스의 딜레마를 안겨줍니다. 이런 도전 과제에도 불구하고 CEO들은 생성 AI 서비스를 받아들이고자 하며, 이를 완전히 중단하는 것은 현실적이지 않습니다.

따라서 IT 리더들은 직원들의 생성 AI 이니셔티브를 지원함과 동시에 예산 제약을 존중하는 책임 있는 거버넌스를 구현해야 하는 균형을 찾아야 합니다.

이상적인 AI 사용 사례 식별하기

이를 위해 IT 리더들은 비즈니스 경영진과 협력하여 최적의 생성 AI 사용 사례를 식별해야 합니다. 이 과정에서 양측이 타협이 필요하며, IT는 서비스 옵션을 좁히고 도구를 표준화할 것입니다.

각 사용 사례는 비용 효과성과 성능을 평가해야 하며, 온프레미스와 호스트 환경 모두에서 고려해야 합니다. 일부 애플리케이션은 퍼블릭 클라우드에서 더 나은 성능을 발휘할 수 있지만, 많은 애플리케이션은 온프레미스에서의 향상된 감독 및 보안을 통해 더욱 성공적일 것입니다.

온프레미스에서 LLM을 배포하는 것도 비용 절감으로 이어질 수 있습니다. 최근 Enterprise Strategy Group(ESG)의 연구에 따르면, 검색 증강 생성(RAG)을 활용한 오픈 소스 LLM의 추론을 온프레미스에서 수행하는 것이 퍼블릭 클라우드 리소스나 API 기반 서비스보다 더 경제적인 경우가 많습니다.

ESG의 테스트에서 발견된 내용은 다음과 같습니다:

- 오픈 소스 Mistral 7B 모델을 Amazon Web Services(AWS) EC2와 비교했을 때 38%에서 48% 더 비용 효과적이었으며, 사용자 수 증가에 따라 절감 효과가 증가했습니다.

- 70억 매개변수의 Meta Llama 2 인스턴스를 AWS EC2와 비교했을 때 69%에서 75%의 비용 우위를 보였습니다.

- Llama 2(70B 매개변수)를 OpenAI의 GPT-4 Turbo와 비교한 결과, 5만 기업 사용자를 대상으로 할 때 81%에서 88% 더 비용 효과적이었습니다.

생성 AI 서비스를 온프레미스에서 배포한다고 해서 섀도우 AI를 완전히 제거할 수는 없지만, 그 영향을 완화하는 데 도움이 됩니다. 내부에서 모델을 모니터링하면 IT 팀이 예기치 않은 출력에서 발생하는 문제를 보다 쉽게 해결할 수 있으며, AI 이니셔티브가 조직의 데이터와 일치하는 것이 중요하다는 점을 강조합니다.

협업을 통한 성공

조직들은 퍼블릭 및 프라이빗 클라우드, 엣지 위치 등 다양한 환경에서 생성 AI 작업을 수행할 가능성이 높습니다. LLM을 어디에 배포할지 결정하는 것은 복잡할 수 있으며, Dell Technologies와 같은 신뢰할 수 있는 파트너가 이 여정에서 중요한 지원을 제공할 수 있습니다. AI 최적화 서버, 최신 클라이언트 장치 및 전문 서비스를 제공합니다.

섀도우 AI는 상당한 도전 과제를 제기하지만, 올바른 전략과 파트너십을 통해 기업은 책임 있는 생성 AI 프레임워크를 구축할 수 있습니다. 올바른 파트너가 앞으로 나아갈 길을 밝혀줄 수 있습니다.

Dell AI 솔루션에 대해 더 알아보세요.