Zyphra, Zyda 출시: Pile, C4, arXiv를 초월할 것으로 보이는 1.3T 언어 모델링 데이터셋

Home AI 뉴스 Zyphra, Zyda 출시: Pile, C4, arXiv를 초월할 것으로 보이는 1.3T 언어 모델링 데이터셋

Zyphra Technologies, Zyda를 공개하다: 혁신적인 언어 모델 데이터셋

Zyphra Technologies가 언어 모델 훈련을 향상시키기 위한 방대한 데이터셋, Zyda의 출시를 발표했습니다. 1.3조 개의 토큰으로 구성된 Zyda는 RefinedWeb, Starcoder, C4, Pile, Slimpajama, pe2so, arxiv와 같은 프리미엄 오픈 데이터셋에서 유래된 정교하게 필터링되고 중복 제거된 컬렉션입니다. 초기 실험 결과, Zyda는 구성된 데이터셋보다 우수한 성능을 보이고 있습니다. 이 데이터셋의 초기 버전은 이미 Zyphra의 Zamba 모델에 적용되었으며, Hugging Face에서 다운로드할 계획입니다.

“우리는 Zamba 모델 시리즈를 위한 사전 훈련 데이터셋을 개발하는 과정에서 Zyda를 만들었습니다,”라고 Zyphra의 기계 학습 연구 엔지니어이자 제품 책임자인 Yury Tokpanov가 전했습니다. 이 데이터셋은 언어 모델 훈련을 위한 매우 높은 품질의 자원을 제공하여 Zyda와 같은 것을 새로 만들 필요성을 없앱니다.

Zyphra는 다양한 오픈 소스 컬렉션을 결합하여 기존 데이터셋을 개선하는 데 목표를 두었습니다. 고유성을 보장하기 위해 토큰을 철저히 정리하고, 저품질 문서를 제거하기 위한 구문 필터링을 사용하며, 데이터셋 내외부에서 엄격한 중복 제거 과정을 실시했습니다. Zyphra는 블로그 게시물에서 “교차 중복 제거는 중요합니다. 많은 데이터셋이 Common Crawl과 같은 공통 출처에서 중복된 문서를 포함하고 있기 때문입니다.”라고 언급합니다.

사용된 일곱 개의 오픈 언어 모델링 데이터셋 중 RefinedWeb이 가장 큰 기여를 하여 Zyda의 43.6%를 차지합니다. Slimpajama(18.7%)와 StarCoder(17.8%)가 그 다음으로 큰 기여를 하고 있으며, 나머지 데이터셋은 더 작은 비율을 차지합니다.

“우리는 초기 데이터셋의 약 40%를 폐기하여 토큰 수를 약 2조에서 1.3조로 줄였습니다,”라고 Tokpanov가 설명합니다.

오픈소스로 제공되는 Zyda는 개발자들이 다양한 응용 프로그램에서 이 첨단 언어 모델 데이터셋을 활용할 수 있도록 합니다. 향상된 단어 예측, 텍스트 생성, 언어 번역 개선 등의 분야에서 생산 시간과 비용을 줄일 수 있습니다.

Zyda라는 이름이 궁금하신가요? Tokpanov는 “Zyphra Dataset”의 조합이라고 밝혔습니다.

Zyda는 Zyphra의 Hugging Face 페이지에서 다운로드할 수 있습니다.

토마토.ai, 제로샷 억양 완화 모델 발표로 컨택 센터 산업 혁신 예고

갈릴레오의 루나, GenAI 평가 혁신: 97% 비용 절감 및 11배 속도 향상

Most people like

Seaart.ai

11.5M

AI 생성 일러스트의 힘을 발휘하세요 혁신적인 플랫폼을 통해 AI 일러스트 생성의 흥미로운 세계를 발견해보세요. 여기에서 창의력과 최첨단 기술이 만나는 지점으로, 사용자들이 손쉽게 멋진 일러스트를 만들어낼 수 있습니다. 전문 아티스트, 디자이너, 혹은 예술적 감성을 탐구하고 싶은 분이든, 우리의 AI 기반 도구는 아이디어를 실현할 수 있는 끝없는 가능성을 제공합니다. 오늘 저희와 함께 시각 콘텐츠 창작 방식을 혁신해보세요!

인공지능 AI Anime Art

Dify

825.5K

Dify는 사용자가 손쉽게 지속 가능한 애플리케이션을 구축할 수 있도록 하여, 모든 이에게 친환경 개발을 가능하게 합니다.

LLMOps AI Product Description Generator

1PX.AI

5.5K

최첨단 AI 사진 및 아바타 생성기 플랫폼을 소개합니다. 혁신과 창의성이 만나는 곳! 첨단 기술을 활용하여, 사용자는 손쉽게 멋지고 개인화된 이미지와 아바타를 생성할 수 있습니다. 온라인 존재감을 높이고 싶거나, 독특한 소셜 미디어 그래픽을 디자인하거나, 단순히 창의력을 탐구하고 싶든, 우리의 플랫폼은 몇 분 만에 아이디어를 고품질 비주얼로 변환합니다. 가능성의 세계에 뛰어들어 자신의 스타일에 맞춰 매력적인 사진과 아바타를 생성하는 것이 얼마나 쉬운지 경험해 보세요!

AI 사진 생성기 AI Photo & Image Generator

Browse AI

304.5K

Browse AI는 데이터 스크래핑과 실시간 모니터링을 위한 직관적인 웹 자동화 플랫폼입니다. 웹사이트에서 데이터를 수집하거나 변화를 추적해야 할 때, Browse AI는 이 과정을 간소화하여 모든 사람이 쉽게 접근할 수 있도록 합니다.

데이터 추출 Web Scraping

Find AI tools in YBX