Hugging Face가 새로운 80억 개 파라미터 오픈소스 비주얼 언어 모델 Idefics2를 공개했습니다.

Home AI 뉴스 Hugging Face가 새로운 80억 개 파라미터 오픈소스 비주얼 언어 모델 Idefics2를 공개했습니다.

Hugging Face는 2023년에 DeepMind에서 개발한 기술을 기반으로 Idefics 비주얼 언어 모델을 출시했습니다. 개선된 버전인 Idefics2는 Hugging Face에서 제공되며, 더 작은 파라미터 크기, 오픈 라이센스, 강화된 광학 문자 인식(Optical Character Recognition, OCR) 기능을 특징으로 합니다.

Idefics는 ‘이미지 인식 디코더 강화 모델’로, 텍스트와 이미지 프롬프트를 모두 처리할 수 있는 다목적 멀티모달 모델입니다. 원래의 Idefics는 800억 개의 파라미터를 자랑했지만, Idefics2는 80억 개로 간소화되어 DeepSeek-VL 및 LLaVA-NeXT-Mistral-7B와 경쟁할 수 있는 수준입니다.

Idefics2의 주요 개선 사항에는 고급 이미지 조작이 포함되어 있으며, 고정 크기 정사각형 비율에 맞춰 리사이즈할 필요 없이 최대 980 x 980 픽셀의 기본 해상도를 지원합니다. 기존 컴퓨터 비전의 일반적인 한계를 극복했습니다.

모델의 OCR 기능은 이미지와 문서 내 텍스트 전사로부터 수집된 데이터를 통합하여 향상되었습니다. Hugging Face 팀은 Idefics2가 차트, 그림 및 문서와 관련된 질문에 더욱 잘 응답할 수 있도록 개선했습니다.

또한, Idefics2는 이전 버전에서 사용된 게이티드 크로스 어텐션 메커니즘을 벗어나 아키텍처가 간소화되었습니다. Hugging Face에 따르면, “이미지는 비전 인코더에 입력된 후, 학습된 퍼시버 풀링과 다층 퍼셉트론 모달리티 프로젝션을 거칩니다. 이 풀링된 시퀀스는 텍스트 임베딩과 연결되어 이미지와 텍스트의 교차 시퀀스를 생성합니다.”

Idefics2 훈련에는 Mistral-7B-v0.1 및 siglip-so400m-patch14-384와 같은 공개 데이터셋의 조합이 사용되었습니다. 추가 훈련 데이터로는 웹 문서, 이미지-캡션 쌍, OCR 데이터, 이미지-코드 리소스가 포함되었습니다.

Idefics2의 출시시는 Reka의 Core 모델, xAI의 Grok-1.5V, Google의 Imagen 2 등 AI 분야에서 다수의 멀티모달 모델이 급증하는 가운데 이루어졌습니다.

MongoDB의 AI 스타트업 및 AWS, Google, Microsoft와 같은 클라우드 대기업과의 협력이 개발자 생성 AI 혁신을 이끄는 방법

Glaze 2: 아티스트를 위한 향상된 AI 스크래핑 방지 도구 출시, 곧 비디오 방어 기능 추가 예정

Most people like

🔥 FunFun Art

AI 이미지 및 비디오 생성의 흥미로운 세계를 발견하세요!

딥누드 Text to Image

Bith.ai

109.5K

텍스트-비디오 AI 생성기 소개: 얼굴 없는 창작자를 위한 궁극적인 도구 혁신적인 텍스트-비디오 AI 생성기로 창의력을 뽐내세요. 얼굴 없는 콘텐츠 창작자를 위해 특별히 설계된 이 도구는 당신의 글아이디어를 매력적인 비디오로 손쉽게 변환하여 스토리텔링과 홍보를 한층 강화합니다. 개인 정보를 선호하지만 강력한 영향을 미치고자 하는 분들을 위해 맞춤형으로 제작된 사용자 친화적인 플랫폼은 진보된 기술과 창의력을 결합하여 스크린에 등장하지 않고도 관객을 매료시킬 수 있게 합니다. 당신의 말이 시각적으로 살아나는 콘텐츠 제작의 미래를 발견하세요!

비디오 편집기 AI Video Editor

SlidesPilot

241.7K

AI 프레젠테이션 스위트 소개: 간편한 슬라이드 제작을 위한 궁극의 도구 AI 프레젠테이션 스위트로 매끄러운 슬라이드 디자인의 힘을 경험하세요. 이 혁신적인 도구는 슬라이드 제작 과정을 간소화하여, 효과적인 프레젠테이션에 집중할 수 있도록 도와줍니다. 지루한 형식 작업은 이제 그만, 몇 분 만에 아름답게 제작된 슬라이드를 만나보세요. AI 기반 기능으로 스토리텔링을 강화하고 청중의 관심을 사로잡는 프레젠테이션을 한 차원 높여보세요!

AI 프레젠테이션 스위트 AI Presentation Generator

SoBrief.com

153.4K

AI로 생성된 무료 도서 요약을 제공하는 플랫폼을 만나보세요. 40개 언어로 제공되는 오디오 버전도 함께 이용할 수 있습니다. 인기 도서에 대한 간결한 통찰력을 즐기며 언제 어디서나 이해를 높이세요!

책 요약 Summarizer

Find AI tools in YBX