AI 미세 조정, 훈련 및 엣지 추론에 대한 여러 접근 방식이 있습니다. 전통적인 GPU의 대안 중 하나는 Kneron이 개발한 신경 처리 유닛(NPU)입니다.
Kneron은 대만 컴퓨텍스 컨퍼런스에서 엣지 AI 추론 및 미세 조정을 향상시키기 위한 차세대 실리콘 및 서버 기술을 공개했습니다. 2015년에 설립된 Kneron은 Qualcomm과 Sequoia Capital을 포함한 주요 투자자들로부터 지원을 받고 있습니다. 2023년, 이 회사는 글로벌 GPU 부족 문제를 해결하기 위해 KL730 NPU를 출시했습니다. 최근 KL830의 출시와 함께 2025년 출시 예정인 KL1140을 미리 보여주며, Kneron은 오프라인 추론 기능을 지원하는 KNEO 330 Edge GPT 서버를 통해 AI 서버 제품군도 확장하고 있습니다.
Kneron의 혁신은 Groq, SambaNova와 같은 AI 작업의 전력 효율성을 높이기 위해 GPU 대안을 모색하는 틈새 시장의 확장하는 기업 그룹의 일환입니다.
NPUs로 구동되는 엣지 AI 및 개인 LLM
Kneron의 최신 업데이트의 중요 목표는 온프레미스 배포가 가능한 개인 GPT 서버를 지원하는 것입니다. 이를 통해 조직은 클라우드 연결성을 필요로 하는 대규모 시스템에 의존하지 않을 수 있으며, Kneron KNEO 시스템은 네트워크의 엣지에서 로컬 추론을 가능하게 합니다.
CEO Albert Liu는 KNEO 330 시스템이 여러 KL830 엣지 AI 칩을 통합하여 컴팩트한 서버로 구성되어, 기업을 위한 저렴한 온프레미스 GPT 배포를 약속한다고 전했습니다. KL730이 탑재된 이전 KNEO 300 시스템은 이미 스탠포드 대학교와 같은 주요 기관에서 사용되고 있습니다.
KL830 칩은 이전의 KL730과 미래의 KL1140 사이에 위치하며, 언어 모델을 위해 특별히 설계되었습니다. 보다 큰 모델을 지원하기 위해 체인 연결할 수 있으며, 저전력 소비를 보장합니다.
엣지 AI 훈련 및 미세 조정을 위한 새로운 도구
Kneron은 하드웨어와 함께 소프트웨어 기능에도 중점을 두고 있습니다. 이 회사는 자사의 하드웨어를 위한 모델 훈련 및 미세 조정을 위한 여러 도구를 개발했습니다. Liu는 Kneron이 여러 오픈 모델을 결합하여 NPU에서 최적의 성능을 발휘하도록 미세 조정한다고 언급했습니다.
또한 Kneron은 TensorFlow, Caffe 또는 MXNet과 같은 프레임워크로 훈련된 모델을 Kneron 칩으로 직접 전송할 수 있는 신경 컴파일러도 제공합니다. 그들의 하드웨어는 RAG(정보 검색 증강 생성) 작업 흐름을 지원합니다. Liu는 Kneron의 칩이 RAG에 필요한 대용량 벡터 데이터베이스의 메모리 요구 사항을 줄이는 독특한 아키텍처를 사용하여 낮은 전력 소비로 효율적으로 작동할 수 있다고 강조했습니다.
Kneron의 경쟁력: 낮은 전력 소비
Kneron 기술의 주목할 만한 특징은 현저히 낮은 전력 소비입니다. “우리의 전력 소비가 매우 낮다는 것이 큰 차이점이라고 생각합니다,”라고 Liu는 말했습니다. 새로운 KL830은 최대 2와트의 피크 전력 소비로, 8비트 처리에서 최대 10 eTOPS의 통합 계산 능력(CCP)을 자랑합니다. 이 낮은 전력 소비 덕분에 Kneron의 칩은 PC와 같은 다양한 장치에 통합될 수 있으며, 추가 냉각 솔루션이 필요 없습니다.
순위 목록
