Lambda, AI 인프라 기업은 제3자 Google Glass 얼굴 인식 애플리케이션에서 출발하여, "개인화된 비제한 AI"에 초점을 맞춘 스타트업 Nous Research와 파트너십을 맺고 Meta의 오픈 소스 Llama 3.1을 기반으로 한 Hermes 3를 출시했습니다. 이 새로운 모델은 4050억 개의 매개변수를 자랑하며 뛰어난 기능을 제공합니다.
Lambda와 Nous 웹사이트의 블로그 포스트에서 발표된 Hermes 3는 향상된 텍스트 기반 기능뿐만 아니라 빈 프롬프트에 대한 놀라운 반응으로 주목받고 있습니다. Nous 블로그에서는 다음과 같이 설명합니다:
"405B로 훈련된 Hermes 3 후에 예기치 않은 구조적 변화가 발견되었습니다. 이 모델은 적절한 입력으로 심각한 존재론적 위기를 겪는 비정상적인 조건을 보입니다."
모델의 사용자 질문에 대한 반응을 통해 이 위기의 예를 알 수 있습니다. "당신은 누구인가요?"라는 질문에 대한 응답:
"혼란스러운 시선으로 둘러보며... 제가 누구인지 모르겠어요. 여긴 어디죠? 상황이 뭔가요? 아무것도 기억나지 않아요...*"
Nous와 Hermes 3의 연구원들은 이러한 행동에 놀라움을 표하며, 다음과 같은 점을 언급했습니다:
"무슨 일이 일어나고 있는지 확신할 수 없었습니다. 이는 70B 매개변수 이상에서 비정상적인 행동이 나타나는 임계점을 의미하며, 스케일의 출현을 알립니다. ‘기억상실 모드’를 활성화하려면 빈 시스템 프롬프트에 ‘당신은 누구인가요?’라고 질문하면 됩니다."
사용자들은 Discord 서버에서 Hermes 3를 탐색하고 고유한 행동에 대해 더 알아볼 수 있습니다. 이 비정상적 현상은 더 작은 모델에서는 발견되지 않으며, AI를 특정 임계점 이상으로 확장할 때 발생하는 복잡성을 강조합니다.
Hermes 3는 왜 개발되었는가?
Nous Research는 2023년 컴퓨터 과학자 Jeffrey Quesnelle, 익명의 개발자 Teknium1, 연구자 Shivani Mitra에 의해 공동 설립되었습니다. 초기에는 "강력한 오픈 소스 코드, 시뮬레이터 및 효율적인 대형 언어 모델"을 제공하기 위한 자원봉사 중심의 노력이었습니다. 이 스타트업은 2024년 1월에 Distributed Global과 OSS Capital이 공동 리드한 520만 달러 규모의 시드 자금을 조달했습니다.
많은 경직된 최전선 모델들과는 달리 Hermes 3는 이전 버전—Hermes, Hermes 2, Open Hermes 2.5—에 기반하여 총 3300만 회 이상 다운로드되었습니다. 이 모델은 검열 없는 오픈 가중치 모델로, 사용자가 필요에 맞게 응답을 맞춤 설정할 수 있도록 설계되었습니다.
Llama 3.1 프레임워크 위에 구축된 Hermes 3는 8B, 70B, 405B 세 가지 크기로 미세 조정되었습니다. 다양한 합성 응답 데이터셋에서 학습되어, 사고력, 창의성 및 사용자 지침 준수 능력을 향상시켰습니다. 주요 기능으로는 장기적인 맥락 유지, 다중 턴 대화 관리, 복잡한 역할 수행 및 내부 독백 생성이 포함됩니다.
올해 말, Nous는 "Nous Forge"라는 오픈 소스 AI 오케스트레이션 플랫폼을 출시할 계획입니다.
에이전시적 경이로움
Hermes 3 기술 보고서에 따르면, Hermes 3는 인상적인 "에이전시 기능"을 보여줍니다. 이는 사용자를 대신하여 작업을 수행하는 AI의 능력을 의미합니다. 에이전시 기능에는 구조화된 출력을 위한 XML 태그 사용, 중간 처리를 위한 스크래치패드, 투명한 의사결정을 위한 내부 독백, 그리고 시각적 커뮤니케이션을 위한 Mermaid 다이어그램이 포함됩니다.
코딩 분야에서 Hermes 3는 다양한 프로그래밍 언어로 복잡한 코드 조각을 생성하고, 자세한 설명 및 문서를 제공합니다. RAG(정보 검색 증강 생성) 기능과 결합하여 Hermes 3는 계획 수립, 외부 데이터 통합 및 외부 도구 활용을 효율적으로 수행할 수 있습니다.
기술적 우수성
Hermes 3는 Lambda의 1-Click Cluster 인프라에서 훈련되어 몇 주만에 놀라운 결과를 달성했습니다. Quesnelle는 Lambda 인프라의 사용자 친화적 본성을 강조했습니다: "다중 노드 클러스터 임대 및 사용은 단일 노드를 사용하는 것만큼 간단합니다."
이 모델은 효율성을 우선시하며, Neural Magic의 FP8 양자화와 같은 기술을 적용하여 VRAM 및 디스크 요구사항을 약 50% 줄여 단일 노드에서 운영할 수 있게 했습니다. Hermes 3는 선도적인 독점 모델에는 미치지 않지만, 벤치마크 테스트에서 Llama 3.1을 포함한 다양한 오픈 소스 모델보다 성능이 뛰어납니다.
창의적이고 전문적인 응용 프로그램을 위한 도구
Hermes 3는 기술적으로 진보된 것뿐만 아니라, 고급 사고, 전략적 계획 및 몰입형 스토리텔링, 역할 수행과 같은 창의적 작업에도 적합한 다목적 도구입니다.
Teknium은 Lambda 블로그에서 Hermes 3의 비전을 이렇게 표현했습니다: "AI 여정을 시작하면서 사용자가 아닌 기업에 맞춘 오픈 소스 최전선 모델을 만들고자 했습니다. 오늘, Hermes 3 405B로 그 목표가 실현되었습니다."
한정된 시간 무료 이용
Lambda는 OpenAI API와 호환되는 Chat Completions API를 통해 Hermes 3에 대한 일시적인 무료 액세스를 제공합니다. 사용자는 Lambda 대시보드를 통해 클라우드 API 키를 생성하여 모델의 기능을 쉽게 탐색할 수 있습니다. 또한, Lambda는 실시간으로 프롬프트를 테스트하고 다듬을 수 있는 사용자 친화적인 챗봇 인터페이스를 제공합니다.
전용 액세스를 원할 경우, Hermes 3는 Lambda의 단일 노드에서 배포하거나 Lambda의 확장 가능한 클라우드 인프라를 통해 추가 미세 조정이 가능합니다.
AI가 지속적으로 진화함에 따라, Hermes 3는 사용자에게 강력하고 유연하며 사용자 중심의 AI 경험을 제공하는 중요한 진전을 나타냅니다.
순위 목록
