앤트로픽의 최고정보보호책임자(CISO)인 제이슨 클린턴은 CEO 다리오 아모데이에게 직접 보고하며 다각적인 역할을 수행하고 있습니다. 그의 헌신적인 팀과 함께 그는 구글과 아마존의 지원을 받는 이 스타트업에서 데이터와 물리적 보호를 포함한 다양한 보안 측면을 관리하고 있습니다. 앤트로픽은 고급 언어 모델인 클로드와 클로드 2로 유명하며, 70억 달러 이상을 투자 유치하고 약 300명의 직원을 고용하고 있지만, 클린턴의 주요 초점은 무단 접근으로부터 클로드의 모델 가중치를 보호하는 것입니다. 이 가중치는 방대한 테라바이트 크기의 파일에 저장되어 있습니다.
머신 러닝, 특히 심층 신경망에서 모델 가중치는 신경망이 학습하고 예측을 수행할 수 있도록 하는 중요한 수치 연결을 나타냅니다. 이러한 가중치의 최종 값은 모델의 전반적인 성능에 큰 영향을 미칩니다. 최근 랜드 리서치 연구 보고서는 이러한 가중치를 보호하는 것이 매우 중요하다고 강조했으며, 이는 고급 모델 학습에 관여하는 방대한 자원과 복잡한 과정이 집약되어 있습니다. 악의적인 행위자가 이 가중치를 손에 넣을 경우, 극히 낮은 비용으로 모델에 전체 접근할 수 있을 것입니다.
“CISO로서 거의 반의 시간을 이 파일을 보호하는 데 할애하고 있습니다.”라고 클린턴은 최근 인터뷰에서 언급하며, 이 파일이 조직 내에서 상당한 주목과 자원을 받고 있다고 강조했습니다.
모델 가중치에 대한 우려
구글에서 11년을 근무한 후 앤트로픽으로 이직한 클린턴은 일부가 이 가중치를 매우 가치 있는 지식 재산으로 간주하지만, 회사의 주요 관심사는 기술이 잘못된 손에 넘어가는 것을 방지하는 것이라고 지적했습니다. 그는 기회주의적 범죄자, 테러 집단 또는 국가에 의한 오용이 심각한 결과를 초래할 수 있다고 설명했습니다. “공격자가 전체 파일에 접근하면 그게 바로 전체 신경망입니다.”라고 그는 경고했습니다.
이러한 우려는 최근 미국 정부의 이니셔티브에서도 여실히 드러납니다. 백악관의 ‘안전하고, 보안하며, 신뢰할 수 있는 인공지능 개발 및 사용을 위한 행정명령’은 기초 모델 회사들이 모델 가중치의 소유권 및 보안 조치를 문서화하도록 의무화했습니다.
오픈AI는 이 분야의 주요 기업으로서 2023년 10월 블로그 게시물에서 자사의 독점적인 모델 가중치를 보호하기 위해 사이버 보안 조치에 적극 투자하고 있으며, 외부 배포를 자사 조직과 기술 파트너인 마이크로소프트로 제한하고 있다고 밝혔습니다.
새로운 연구에서 확인된 공격 벡터
랜드 리서치의 공동 저자인 셀라 네보와 단 라하브는 최근 보고서 ‘인공지능 모델 가중치 보안’에서 악의적인 행위자가 모델 가중치를 훔치기 위해 악용할 수 있는 약 40가지 잠재적인 공격 벡터를 식별했습니다. 무단 물리적 접근부터 공급망 공격까지, 보고서는 이러한 벡터의 실제 사례를 강조했습니다.
네보는 현재의 능력보다 미래의 위험에 더 많은 우려를 표명하며, 모델이 발전함에 따라 국가 안보에 상당한 영향을 미칠 것으로 예측했습니다.
오픈 파운데이션 모델의 위험
모든 전문가가 AI 모델 가중치 유출과 관련된 위험의 심각성에 동의하는 것은 아닙니다. 스탠포드 HAI 정책 브리핑은 널리 사용 가능한 오픈 파운데이션 모델이 혁신과 투명성을 촉진할 수 있으며, 이와 관련된 위험은 폐쇄 모델과 비교해 평가해야 한다고 언급했습니다. 민주주의 및 기술 센터의 케빈 뱅크스톤은 균형 잡힌 증거 기반 분석에 대해 해당 브리핑을 칭찬했습니다. 이 브리핑은 메타의 라마 2 모델을 언급하며, 이전 유출에도 불구하고 공개 가중치와 함께 출시된 점을 강조했습니다.
오픈 소스 보안 옹호자들은 세대적 모델이 발전함에 따라 악의적인 기술의 표적이 되는 개인에게 피해를 줄 가능성이 높아진다고 지적했습니다. 조지타운 대학의 헤더 프레이스는 이러한 점을 강조했습니다.
보안의 투명성 강조
허깅 페이스의 ML 엔지니어 니콜라스 패트리는 모델 가중치와 관련된 위험이 정기적인 보안 프로토콜을 요구한다고 밝혔습니다. 그럼에도 불구하고 투명성이 보안을 향상시킨다고 믿습니다. 라이트닝 AI의 CEO 윌리엄 팔콘은 모델 가중치 유출을 통제하려는 노력은 헛수고라며, 오픈 소스 커뮤니티가 빠르게 발전하고 있다고 언급했습니다.
클린턴은 오픈 소스 모델이 앤트로픽이 우선해야 할 가장 큰 위험을 제기하지 않는다고 동의하며, 정부는 ‘최전선’ 모델에 대한 규제를 강화해야 하며, 지속적인 연구와 보안의 중요성을 강조해야 한다고 촉구했습니다.
지속적인 보안 도전
연구자들의 낙관적인 시각에도 불구하고 네보는 안주하지 말 것을 경고하며, 현재의 보안 조치가 미래의 위협에 충분히 대응하지 못할 수 있다고 경고했습니다. 클린턴은 AI 보안 분야에서 인력 부족의 과제를 강조하며, “AI 보안 전문가가 없습니다… 우리는 이 변화하는 환경에 빠르게 적응할 수 있는 최고의 보안 엔지니어가 필요합니다.”라고 말했습니다.
그는 attackers가 취약점을 악용하기가 점점 쉬워질 것이라는 우려를 표명했습니다. 미래를 바라보며, 그는 사이버 보안 관행의 변화로 인해 주기적인 업데이트에서 일일 업데이트로의 전환을 예상하며, 이는 업계 전반에 걸쳐 사고 방식의 중대한 변화를 필요로 할 것이라고 덧붙였습니다.
클린턴은 신속한 연구 발전과 강력한 보안 조치를 균형 있게 유지하려는 그의 의지를 강조하며, AI 모델 가중치를 보호하기 위한 사전 전략의 긴급성을 언급했습니다. “우리 연구팀이 모델 가중치를 안전하게 관리할 수 있도록 지원받는 것이 매우 중요합니다.”라고 그는 결론지었습니다.
순위 목록
