기업들이 인공지능(AI) 도입에 박차를 가하면서, 많은 기업이 가장 큰 도전 과제가 모델 구축이 아닌 신뢰성 있고 법규를 준수하는 데이터 확보라는 사실을 깨닫고 있습니다. 효과적인 AI 거버넌스 없이 기업은 잘못된 결정을 내리거나 개인정보 보호 규제를 위반할 위험에 처할 수 있습니다.
이 문제를 해결하기 위해 기업 데이터 인텔리전스 제공업체인 Collibra는 거버넌스, 자동화, 데이터 민주화를 중심으로 한 포괄적인 AI 도구 모음을 출시하였습니다. 이는 AI에 대한 신뢰를 구축하는 데 필수적인 요소입니다.
AI 거버넌스: 새로운 감독 시대
새로운 도구 중 하나인 AI 거버넌스 애플리케이션은 조직 내 다양한 AI 이니셔티브를 관리하는 중앙 허브로 설계되었습니다. 이 도구는 모델 프로토타입을 작성하는 데이터 과학팀과 모델이 생산에 들어가기 전에 승인을 받아야 하는 리스크 및 준수 관련 이해관계자 간의 간극을 해소합니다.
Collibra의 CEO인 Felix Van de Maele는 "우리 고객들은 AI에 대해 매우 기대하고 있지만, 성공은 알고리즘만으로 이루어지지 않는다는 것을 깨닫고 있습니다. 데이터가 AI의 핵심이므로 강력한 데이터 거버넌스가 필수적입니다."라고 강조했습니다.
Van de Maele는 적절한 감독 없이 조직이 실험과 프로토타입을 진행하는 현상인 "섀도우 AI"에 대해 언급하며, "데이터 과학자와 엔지니어가 적절하고 법규를 준수하는 데이터에 접근할 수 있도록 하는 것이 주요 도전 과제입니다."라고 덧붙였습니다.
AI 거버넌스를 구현하려면 명확한 변화 관리 전략과 법률 및 준수 팀을 비롯한 여러 이해관계자 간의 협력이 필요합니다. Van de Maele는 기존 및 새로운 규정을 준수하는 것이 점점 더 중요하다고 강조했습니다.
AI 거버넌스 도구는 Collibra의 10년 간 데이터 거버넌스에 대한 투자를 기반으로 하며, 데이터 거버넌스의 원칙이 AI 거버넌스와 밀접하게 연결되어 있음을 보여줍니다. 이를 통해 정책, 역할 및 책임을 정의하고 AI 사용 사례를 등록, 승인, 문서화 및 모니터링하는 표준화된 워크플로우를 생성하며, 투명성과 책임성을 향상시킵니다.
Collibra AI: 데이터 관리 작업 자동화
이번 릴리즈의 또 다른 주요 기능인 Collibra AI는 대규모 언어 모델(LLM)을 활용하여 일반적으로 수작업이 필요한 지루한 데이터 관리 프로세스를 자동화합니다. 주요 기능 중 하나는 데이터 자산에 대한 설명 및 정의 생성을 통해 효과적인 데이터 카탈로깅과 거버넌스를 지원합니다.
Van de Maele는 이를 "코파일럿 접근법"이라고 설명하며, 시스템이 사용자 검토를 위해 초안 설명을 생성한다고 말했습니다. "명확한 설명을 갖는 것은 데이터에 대한 신뢰와 이해를 구축하는 데 매우 중요합니다."
또한 Collibra AI는 자연어 요청에 기반하여 데이터 품질 규칙을 생성할 수 있습니다. 예를 들어, "국가 코드가 ISO 기준을 준수해야 한다"는 사양을 실행 가능한 기술 규칙으로 변환할 수 있습니다.
더욱이 시스템은 SQL 쿼리와 비즈니스 인텔리전스 보고서를 분석해 데이터 계보 그래프를 생성합니다. 이러한 가시성은 조직이 데이터 흐름을 추적하고 문제의 출처를 식별하며 데이터 변경의 영향을 더 효과적으로 평가할 수 있도록 합니다.
"사용자가 대시보드의 숫자가 어떻게 계산되었는지 이해하고 싶어할 때 흔히 발생하는 문제입니다."라고 Van de Maele는 언급하며, "추적 가능한 계보는 조직이 데이터를 신뢰하는 데 도움을 줍니다."라고 덧붙였습니다.
Collibra 데이터 노트북으로 데이터 접근성 민주화
데이터 접근성을 더욱 향상시키기 위해 Collibra는 데이터 노트북을 도입하여 비즈니스 사용자가 신뢰할 수 있는 데이터 자산을 쉽게 검색하고 접근할 수 있도록 합니다. 이 도구는 데이터 세트를 탐색하는 과정을 단순화하며, 모든 거버넌스 워크플로우가 배경에서 원활하게 작동해 준수와 보안을 유지하도록 합니다.
Van de Maele는 "우리는 사용자에게 데이터셋에 원클릭으로 접근할 수 있는 방법을 제공하며, 거버넌스 워크플로우를 통합합니다."라고 말하며, 이를 아마존에서 제품을 찾고 접근하는 경험에 비유했습니다.
미래 전망과 도전
Collibra는 데이터 거버넌스에서의 폭넓은 경험을 활용하여 확장되는 AI 거버넌스 분야에서 두각을 나타낼 계획입니다. "우리는 데이터 카탈로그가 인기를 끌기 오래전부터 15년간 데이터 거버넌스에 집중해 왔습니다."라고 Van de Maele는 언급하며, "이는 AI 거버넌스 구현에 있어 조직의 요구를 충족할 수 있는 좋은 위치에 있습니다."라고 덧붙였습니다.
그럼에도 불구하고 Collibra는 Microsoft, IBM, AWS, Google 등의 대형 테크 기업들과 경쟁하게 됩니다. 5억 9천만 달러 이상의 자금을 Sequoia Capital 및 ICONIQ Capital과 같은 투자자로부터 확보한 Collibra는 경쟁력을 유지하기 위해 지속적으로 혁신하고 역량을 확장해야 합니다.
이런 도전에도 불구하고 Van de Maele는 낙관적입니다. 그는 많은 테크 기업들이 Collibra의 고객이자 파트너라는 점을 강조하며, 데이터 거버넌스에 대한 회사의 전문적인 집중이 경쟁업체와의 차별성을 만든다고 믿고 있습니다.
"우리의 사명은 조직이 데이터를 활용하는 방식을 혁신하여 궁극적으로 데이터를 통해 세상을 변화시키는 것입니다."라고 Van de Maele는 결론지었습니다. "우리가 기업 AI 환경의 핵심 요소가 되어 책임 있는 데이터 관리가 이루어질 수 있다면, 잠재적인 기회는 엄청날 것입니다."