VB Transform 2024에서 IBM의 David Cox는 기업 생성 AI에서 개방형 혁신의 중요성을 강조하며, 회사가 오랜 기간 동안 지속해온 오픈 소스 기술에 대한 헌신을 바탕으로 의견을 제시했습니다. AI 모델 부사장 겸 MIT-IBM Watson AI Lab의 Director인 Cox는 기술 분야를 도전시키고 영감을 주는 비전을 제안했습니다.
Cox는 "개방형 혁신은 인간 발전의 이야기"라며, 이 개념이 기술 발전에 필수적이라고 강조했습니다. 그는 AI 개발의 현 순간이 중요함을 지적하며, "우리는 투자할 방향과 잠금 해제를 피하는 방법을 결정해야 합니다."라고 말했습니다.
Cox는 AI에서 개방성의 이분법적 인식을 도전하며, “개방성은 단순히 하나의 의미가 아닙니다. 여러 가지 의미를 포함합니다.”라고 설명했습니다. 그는 기술 대기업, 대학, 그리고 정부 등 다양한 출처에서 나오는 개방형 모델의 생태계를 강조했습니다.
그러나 그는 많은 대규모 언어 모델(LLMs)의 개방성 품질에 대해 우려를 표명했습니다. “어떤 경우에는 단순히 숫자 더미만 제공됩니 다. 어떻게 생성되었는지는 알 수 없습니다.”라고 경고했습니다. 이런 투명성 부족은 재현 가능성을 복잡하게 만들고 필수적인 오픈 소스 원칙을 약화시킨다고 주장했습니다.
Cox는 전통적인 오픈 소스 소프트웨어와의 유사성을 강조하며, 성공을 이끈 특성—빈번한 업데이트, 구조화된 릴리즈 주기, 보안 패치, 그리고 활발한 커뮤니티 기여—를 언급했습니다. “모든 것이 잘 정의되어 있으며 기업과 커뮤니티 모두의 점진적인 기여를 가능하게 합니다.”라고 그는 말했습니다.
그는 현재의 개방형 LLM 상태를 비판하며, "인상적임에도 불구하고 핵심 오픈 소스 속성이 부족합니다."라고 언급했습니다. 특정 제공자의 불규칙한 릴리즈 일정과 모델이 초기 출시 후 업데이트를 받지 않는 경우가 많다는 점이 그러한 이유입니다. 이러한 불일치는 오픈 소스의 진정한 본질을 약화시키고 AI에서 커뮤니티 주도의 혁신을 제한한다고 Cox는 지적했습니다.
Cox는 IBM의 Granite 시리즈 오픈 소스 AI 모델을 통해 투명성에 대한 IBM의 헌신을 강조했습니다. “모델에 대한 모든 정보를 공개합니다.”라며, 품질과 불쾌한 콘텐츠 필터링을 보장하기 위해 모든 처리 코드를 오픈 소스화했다고 밝혔습니다.
그는 이 수준의 개방성이 성능에 해를 끼치지 않는다고 주장했습니다. Granite 모델이 최신 기술이라는 기준치를 보여주는 벤치마크를 제시하며, “우수한 성능을 위해 투명성을 포기할 필요가 없습니다.”라고 강조했습니다.
Cox는 LLM에 대한 새로운 관점을 제시하며, 단순한 대화 도구 이상의 데이터 표현으로서의 역할을 강조했습니다. LLM이 곧 공개적으로 사용 가능한 거의 모든 데이터를 포함하게 될 것이라는 예측과 함께, 그는 기업의 독점 지식이 이러한 모델에 대부분 반영되지 않았음을 지적했습니다.
이를 해결하기 위해 그는 기초 모델에 기업 데이터를 통합하여 그 잠재력을 최대한 발휘할 사명을 제안했습니다. RAG와 같은 기술이 존재하지만, Cox는 이들이 종종 독특한 기업 지식과 독점 정보를 활용하지 못한다고 주장했습니다.
Cox는 기업을 위한 3단계 접근법을 설명했습니다: 신뢰할 수 있는 오픈 기본 모델 식별, 비즈니스 데이터의 새로운 표현 생성, 그리고 가치 창출을 위한 배포 및 확장. 그는 규제 산업에서 기초 모델 선택에 있어 투명성의 필요성을 강조하며, 많은 모델 제공자가 데이터를 공개하지 않는 문제를 지적했습니다.
도전 과제는 독점 데이터를 기본 모델과 효과적으로 통합하는 것입니다. Cox는 선택된 기본 모델이 고성능, 투명성 및 오픈 소스여야 하며, 기업에 필요한 통제력과 유연성을 제공해야 한다고 주장했습니다.
그의 비전을 실현하기 위해 Cox는 IBM과 Red Hat 간의 공동 프로젝트인 InstructLab을 소개했습니다. “InstructLab은 LLM에 대한 진정한 오픈 소스 기여를 가능하게 합니다.”라고 그는 설명했습니다.
이 프로젝트는 세계 지식과 기술의 구조화된 분류 체계를 사용하여 사용자가 모델 성능을 정확하게 향상할 수 있도록 합니다. 이러한 구조화된 접근 방식은 기업의 특정 통찰력을 통합하여 도메인 전문가가 모델을 쉽게 맞춤 설정할 수 있도록 지원합니다.
InstructLab은 "교사" 모델을 사용하여 합성 교육 데이터를 생성하며, 독점 데이터를 기본 모델과 매끄럽게 결합해 성능을 희생하지 않습니다. 특히 전통적인 긴 릴리즈 주기와 달리 모델 업데이트 주기를 단 하루로 단축합니다.
Cox의 통찰력과 IBM의 InstructLab은 기업 AI 채택의 변화를 나타내며, 일반적인 모델에서 각 기업의 고유한 전문 지식을 반영한 맞춤형 솔루션으로 나아가고 있습니다. 기술이 발전함에 따라 경쟁 우위는 기관 지식을 AI 기반 통찰력으로 효과적으로 전환하는 데 달려 있을 수 있습니다. AI의 다음 장은 단순히 똑똑한 기계가 아니라, 사용자가 이해하는 만큼 비즈니스를 이해하는 기계에 관한 것입니다.