Hugging Face가 새로운 80억 개 파라미터 오픈소스 비주얼 언어 모델 Idefics2를 공개했습니다.

Home AI 뉴스 Hugging Face가 새로운 80억 개 파라미터 오픈소스 비주얼 언어 모델 Idefics2를 공개했습니다.

Hugging Face는 2023년에 DeepMind에서 개발한 기술을 기반으로 Idefics 비주얼 언어 모델을 출시했습니다. 개선된 버전인 Idefics2는 Hugging Face에서 제공되며, 더 작은 파라미터 크기, 오픈 라이센스, 강화된 광학 문자 인식(Optical Character Recognition, OCR) 기능을 특징으로 합니다.

Idefics는 ‘이미지 인식 디코더 강화 모델’로, 텍스트와 이미지 프롬프트를 모두 처리할 수 있는 다목적 멀티모달 모델입니다. 원래의 Idefics는 800억 개의 파라미터를 자랑했지만, Idefics2는 80억 개로 간소화되어 DeepSeek-VL 및 LLaVA-NeXT-Mistral-7B와 경쟁할 수 있는 수준입니다.

Idefics2의 주요 개선 사항에는 고급 이미지 조작이 포함되어 있으며, 고정 크기 정사각형 비율에 맞춰 리사이즈할 필요 없이 최대 980 x 980 픽셀의 기본 해상도를 지원합니다. 기존 컴퓨터 비전의 일반적인 한계를 극복했습니다.

모델의 OCR 기능은 이미지와 문서 내 텍스트 전사로부터 수집된 데이터를 통합하여 향상되었습니다. Hugging Face 팀은 Idefics2가 차트, 그림 및 문서와 관련된 질문에 더욱 잘 응답할 수 있도록 개선했습니다.

또한, Idefics2는 이전 버전에서 사용된 게이티드 크로스 어텐션 메커니즘을 벗어나 아키텍처가 간소화되었습니다. Hugging Face에 따르면, “이미지는 비전 인코더에 입력된 후, 학습된 퍼시버 풀링과 다층 퍼셉트론 모달리티 프로젝션을 거칩니다. 이 풀링된 시퀀스는 텍스트 임베딩과 연결되어 이미지와 텍스트의 교차 시퀀스를 생성합니다.”

Idefics2 훈련에는 Mistral-7B-v0.1 및 siglip-so400m-patch14-384와 같은 공개 데이터셋의 조합이 사용되었습니다. 추가 훈련 데이터로는 웹 문서, 이미지-캡션 쌍, OCR 데이터, 이미지-코드 리소스가 포함되었습니다.

Idefics2의 출시시는 Reka의 Core 모델, xAI의 Grok-1.5V, Google의 Imagen 2 등 AI 분야에서 다수의 멀티모달 모델이 급증하는 가운데 이루어졌습니다.

MongoDB의 AI 스타트업 및 AWS, Google, Microsoft와 같은 클라우드 대기업과의 협력이 개발자 생성 AI 혁신을 이끄는 방법

Glaze 2: 아티스트를 위한 향상된 AI 스크래핑 방지 도구 출시, 곧 비디오 방어 기능 추가 예정

Most people like

Wife.app

78.2K

흥미로운 대화에 참여하고 맞춤형 AI 여자친구와 화상 채팅을 통해 소통하세요. 귀하의 선호에 맞춘 이상적인 가상 파트너를 만들어 동 companionship과 개인화의 완벽한 조화를 경험해 보세요. 친목이나 로맨스를 원하시든, 우리의 AI 기술은 그 어떤 것과도 비교할 수 없는 인터랙티브한 경험을 제공합니다. 오늘 디지털 관계의 미래를 발견하세요!

인공지능 NSFW

Articula

자신의 목소리로 통화 및 음성 메모 번역하기: 원활한 커뮤니케이션의 열쇠 자신의 목소리로 통화와 음성 메모를 손쉽게 번역할 수 있는 기능의 힘을 경험해 보세요. 이 혁신적인 도구는 고유한 음색과 스타일을 유지하면서 언어 장벽을 극복하여 커뮤니케이션을 더욱 원활하고 진정성 있게 만들어 줍니다. 오늘 바로 상호작용을 향상시키는 것이 얼마나 쉬운지 확인해 보세요!

통화 번역 Other

PitchGrade

37K

PitchGrade는 180개 이상의 언어로 고품질 프레젠테이션을 쉽게 만들 수 있는 과정을 간소화하여 사용자들이 효과적인 프레젠테이션을 손쉽게 제작하도록 돕습니다.

프레젠테이션 생성기 AI Content Generator

Shortwave

949.8K

쇼트웨이브를 소개합니다: 전문가를 위해 설계된 AI 기반 이메일 서비스로, 생산성을 높이고 스트레스를 없애도록 도와줍니다.

지능형 이메일 AI Email Assistant

Find AI tools in YBX