웹 앱의 잠금 해제: 전 구글 엔지니어가 전하는 온디바이스 AI의 가능성

대규모 언어 모델(LLM)을 활용하기 위해 웹 애플리케이션은 일반적으로 클라우드 서버와의 연결에 의존합니다. 그러나 전 구글 엔지니어인 제이콥 리는 AI를 로컬에서 실행할 수 있는 혁신적인 방법을 소개하여 클라우드 기반 솔루션의 비용과 개인정보 보호 문제를 크게 줄일 수 있습니다. 구글 포토 개발에 참여했던 리는 현재 인기 있는 LangChain 프레임워크에 기여하고 있으며, 자신이 고안한 접근법에 대한 통찰을 올라마 블로그에 공유했습니다.

리의 포스트에서 그는 개발자들이 사용자 장치에서 직접 문서와 대화할 수 있는 웹 애플리케이션을 만들 수 있는 방법을 설명하며, 비싼 클라우드 연결의 필요성을 없앱니다. 오픈 소스 도구의 조합을 활용하여 리는 사용자가 자연어로 보고서나 논문과 상호작용할 수 있는 웹 앱을 설계했습니다. 관심 있는 사용자는 올라마 데스크톱 애플리케이션을 설치하고 로컬 설정을 위한 몇 가지 명령을 실행한 뒤 업로드한 문서에 대해 챗봇과 대화하며 데모를 쉽게 이용할 수 있습니다.

데모를 위해 사용자는 올라마를 통해 로컬에서 실행되는 미스트랄 인스턴스가 필요하며, 포스트에는 상세한 설정 지침이 나와 있습니다.

작동 과정

리의 구현 방식은 간소화된 다섯 단계 과정으로 이루어져 있습니다:

1. 데이터 수집: 사용자는 시스템에 PDF 문서를 로드합니다. 리는 LangChain을 사용하여 이러한 문서를 관리할 수 있는 청크로 분리하고, Transformers.js를 이용하여 각 청크의 벡터 임베딩을 생성합니다. 이러한 청크는 Voy 벡터 저장소 데이터베이스에 정리됩니다.

2. 검색: 사용자가 질문을 입력하면, 시스템은 벡터 저장소에서 쿼리와 가장 관련성이 높은 청크를 찾습니다.

3. 생성: 질문과 식별된 청크는 로컬에서 실행되는 올라마 AI에 전송되어 미스트랄 모델을 사용해 검색된 정보를 기반으로 응답을 생성합니다.

4. 재구성: 후속 쿼리의 경우 시스템은 질문을 재구성한 뒤 검색 및 생성 단계를 반복합니다.

5. 로컬 AI 노출: 올라마 도구는 웹 앱에서 로컬에서 실행되는 미스트랄 모델에 접근할 수 있도록 하여 생성 기능이 원활하게 통합됩니다.

본질적으로 리는 사용자의 개인 컴퓨터에서 실행되는 지능형 소프트웨어에 의해 지원되는 오프라인 문서 토론이 가능한 웹 애플리케이션을 개발했습니다.

기업 및 개발자에 대한 장점

이 로컬 우선 접근법은 기업과 엔터프라이즈 개발자에게 중요한 의미를 가집니다. 클라우드 의존도를 줄이고 로컬 배포로 전환함으로써, 조직은 운영 비용을 낮출 수 있으며, 특히 운영 규모를 확장할 때 유리합니다. 또한 이 방법은 사용자가 독점 내부 데이터를 사용해 세밀한 모델을 만들 수 있는 높은 맞춤화를 가능하게 합니다.

데이터를 로컬에서 처리함으로써 개인정보 보호 문제도 해결되어 민감한 정보가 외부로 유출될 위험이 줄어듭니다. 리는 이러한 시스템이 점점 더 보편화될 것으로 예상하며, 신생 모델들이 작고 효율적으로 설계되어 로컬 장치와의 호환성이 향상될 것이라 말합니다.

더 넓은 접근성을 제공하기 위해 리는 웹 애플리케이션이 로컬에서 운영되는 LLM에 접근 요청을 할 수 있는 브라우저 API를 구상하고 있습니다. “저는 LLM 기반 웹 앱의 미래와 올라마 및 LangChain과 같은 기술이 사용자 상호작용을 어떻게 혁신할 수 있는지에 대해 매우 기대가 됩니다,”라고 그는 언급했습니다.

리의 개념은 AI 기반 웹 개발에서 증가하는 추세와 일치합니다. 메타GPT와 같은 플랫폼은 사용자가 자연어 명령으로 애플리케이션을 구축할 수 있게 하며, CodeWP.ai와 같은 도구는 웹사이트용 HTML을 생성합니다. 또한, GitHub Copilot 및 Replit AI와 같은 개발자 환경은 코딩 프로세스를 간소화하고, 구글의 Project IDX와 같은 이니셔티브는 개발자를 위한 AI 자원을 제공합니다.

결론적으로, 제이콥 리의 로컬 LLM 통합에 대한 혁신적인 접근법은 비용 효율적이고 개인정보 보호에 신경쓰는 애플리케이션을 가능하게 할 뿐만 아니라, 점점 더 고도화되는 AI 기능이 주도하는 디지털 환경 속에서 사용자가 기술과 상호작용하는 방식을 변화시킵니다.