IT 리더들은 점점 더 생성 AI에 우선순위를 두고 있으며, 이를 마케팅, 디자인, 제품 개발, 데이터 과학, 운영 및 판매와 같은 핵심 비즈니스 기능에 적용하고 있습니다. 조직 내부의 활용뿐만 아니라, 생성 AI는 백신 개발, 암 탐지, 자원 최적화와 같은 환경, 사회 및 거버넌스 이니셔티브에도 중요한 역할을 합니다. 그러나 이러한 각각의 응용 프로그램은 개인 정보 보호, 법적 준수 및 민감한 데이터와 지적 재산의 잠재적 손실과 관련된 독특한 보안 위험을 제시합니다. 생성 AI의 채택이 확대됨에 따라 이러한 위험은 더욱 커질 것입니다.
“조직은 현재의 위험뿐만 아니라 미래의 도전 과제를 염두에 두고, 각 생성 AI 프로젝트를 내부 및 외부적으로 프로액티브하게 계획해야 합니다,”라고 Cisco의 Outshift에서 SVP인 Vijoy Pandey가 조언합니다. “혁신과 사용자 신뢰의 균형을 맞추고, 개인 정보 보호, 진정성 및 책임을 우선시하는 것이 필수적입니다.”
생성 AI의 고유한 위험 이해하기
생성 AI와 관련된 위험은 전통적인 기술과는 다릅니다. 정교한 피싱 공격이 딥페이크 기술을 활용해 개인을 오도할 수 있으며, 이로 인해 신원 사기가 증가하고 있습니다. 사기꾼이 회사의 고객 서비스 상담사를 가장해 민감한 정보를 불법적으로 탈취하면 막대한 재정적 손실로 이어질 수 있습니다.
또한, 사용자가 생성 AI 모델에 민감한 정보를 의도치 않게 입력하면, 이 데이터는 학습 목적으로 보존되고 활용될 수 있어 개인 정보 보호 및 데이터 보호에 대해 심각한 우려를 초래합니다. 조직은 생성 AI 위험에 대응하기 위해 새롭게 등장하는 규정을 면밀히 주시해야 합니다.
대규모 언어 모델(LLMs)의 방대한 데이터 요구는 어려움을 초래하지만, 기존 보안 프레임워크는 원시 데이터와 데이터 유출과 관련된 위험을 완화하는 데 도움이 될 수 있습니다. 사기꾼은 생성 AI 파이프라인의 취약점을 악용해 정확한 예측을 저해하거나 서비스 거부, 운영 시스템 침해 및 소셜 미디어 평판에 영향을 미칠 수 있습니다.
“데이터 오염 및 모델 역전과 같은 위협에 직면하면서, 탐지가 가장 중요해집니다,”라고 Pandey는 설명합니다. “모델의 출력 평가에 신뢰 구간을 의존하지만, 공격자가 파이프라인을 침해하면 우리의 신뢰 기준이 훼손될 수 있습니다.” 즉각적인 문제 탐지는 어려우며, 문제는 시간이 지나면서 나타나는 경우가 많습니다. 보안 운영 팀은 생성 AI 보안 문제를 해소하기 위해 MITRE ATLAS 및 OWASP Top 10과 같은 리소스를 활용할 수 있습니다.
“생성 AI는 여전히 발전 중이며, 보안도 이에 발맞춰 진화해야 합니다,”라고 Pandey는 경고합니다. “이는 지속적인 여정입니다.”
지적 재산 보안 및 투명성 문제
생성 AI는 방대한 데이터 세트와 복잡한 알고리즘을 처리하여 복잡한 출력을 생성합니다. 사용자는 제공된 정보의 출처를 추적할 수 없는 경우가 많아, 지적 재산 노출과 관련된 상당한 위험이 발생합니다. 이러한 우려는 외부 교육 데이터와 사용자가 생성한 콘텐츠 모두에서 비롯됩니다.
“문제는 데이터를 보호하는 동시에 지적 재산과 민감한 정보가 조직을 떠나거나 모델에 우연히 입력되지 않도록 하는 것입니다,”라고 Pandey는 말합니다. “우리는 오픈 소스 또는 라이선스 콘텐츠를 부적절하게 사용하고 있지 않은가요?” 게다가 생성 AI 모델은 종종 실시간 데이터의 관련성과 세부 정보가 부족하여 최신 비즈니스 맥락을 통합하고 확인을 위한 인용을 제공하는 검색 증강 생성(RAG)과 같은 응용 프로그램에 영향을 미칩니다. RAG는 LLM이 지속적으로 학습할 수 있게 하여 부정확성을 줄이는 동시에 민감한 정보를 안전하게 유지합니다.
“RAG는 양자 물리학에 대해 배우기 위해 도서관에 일반인을 보내는 것과 같습니다,”라고 Pandey는 설명합니다. “관련 정보를 수집하고 소화하는 것이 RAG의 본질입니다. 도전 과제가 있긴 하지만 실험이 필요하며, 데이터를 훼손하지 않으면서 조직의 사례에 맞게 기본 모델을 맞춤화하는 데 효과적입니다.”
사용자 보호 및 미래 구축
“현재 생성 AI 사용 사례의 경계는 명확하지만, 향후 몇 년 내에 모든 창작물이나 소비하는 것에 침투할 것입니다,”라고 Pandey는 예측합니다. “이로 인해 제로 트러스트 접근 방식을 채택해야 합니다.” 데이터에서 모델, 사용자 접근에 이르기까지 파이프라인의 모든 구성 요소가 실패할 가능성이 있다고 가정해야 합니다.
또한, 이 기술의 새로움으로 인해 기존의 규정이 부족하여 인간의 실수와 취약점이 쉽게 간과될 수 있습니다. 잠재적인 위반 사항을 처리하고 보안 조치를 우선시하기 위해서는 포괄적인 문서화가 필수적입니다. “목표를 기록하세요: 데이터 출처, 생산 중인 모델 및 학습 프로세스를 문서화합니다.”라고 Pandey는 조언합니다. “응용 프로그램을 중요도에 따라 분류하고, 보안 정책이 이 중요성을 반영하도록 합니다.”
보안은 인프라에서 애플리케이션까지 모든 수준에서 내재화되어야 합니다. 하나의 층이 실패하면, 방어 심화 전략이 추가 보호를 제공할 수 있어 보안이 지속적인 여정임을 강조합니다. “생성 AI 내의 보안 문제를 관리하기 위해 다른 모델에 대해 특별히 개발된 확률적 프로세스가 해답이 될 수 있습니다,”라고 Pandey는 제안합니다.
생성 AI에서 사용자 신뢰의 중대한 중요성
사용자 신뢰는 비즈니스 성과의 핵심 지표입니다. “보안은 사용자 경험에 영향을 미치며, 이는 생성 AI 솔루션의 성공에 직접적인 영향을 미칩니다,”라고 Pandey는 강조합니다. 신뢰 상실은 수익에 심각한 영향을 줄 수 있습니다.
“보안이 없는 애플리케이션은 본질적으로 존재하지 않으므로, 관련된 수익화나 비즈니스 목표가 무의미해집니다,”라고 그는 덧붙입니다. “불안정한 생성 AI 모델이나 애플리케이션에도 마찬가지입니다. 보안이 없으면 모델은 사용할 수 없으며, 이는 비즈니스 성장에 장애가 됩니다.” 반대로, 고객이 개인 데이터가 잘못 처리되었다고 발견하면—특히 생성 AI 환경에서—신뢰는 급속하게 무너질 수 있으며, AI 기술에 대한 이미지를 더욱 복잡하게 만듭니다.
이 두 가지 동시에 직면하는 도전 과제는 조직이 위험을 완전히 이해하고 효과적인 솔루션을 구축하는 데 시간을 필요로 합니다. “제로 트러스트 철학을 채택하고, 강력한 방어를 구축하며 생성 AI의 불투명한 특성을 인식하세요,”라고 Pandey는 결론짓습니다. “오늘 시작하는 위치가 3년 후에는 크게 달라질 것이며, 생성 AI와 관련된 보안 조치가 빠르게 발전할 것입니다.”
순위 목록
