Разблокировка веб-приложений с помощью ИИ на устройстве: мнения бывшего инженера Google о том, как это осуществить

Чтобы использовать большие языковые модели (LLM), веб-приложения обычно полагаются на соединения с облачными серверами. Однако бывший инженер Google, Джейкоб Ли, предложил инновационный метод локального запуска ИИ, что может значительно снизить затраты и решить проблемы конфиденциальности, связанные с облачными решениями. Ранее участвовавший в разработке Google Photos, Ли теперь вносит вклад в популярный фреймворк LangChain и делится своими идеями через блог на Ollama.

В своем посте Ли объясняет, как разработчики могут создавать веб-приложения, способные взаимодействовать с документами непосредственно с устройства пользователя, исключая необходимость в дорогих облачных соединениях. Используя сочетание инструментов с открытым исходным кодом, он разработал веб-приложение, позволяющее пользователям взаимодействовать с отчетами и статьями на естественном языке. Заинтересованные пользователи могут легко попробовать демонстрацию, установив настольное приложение Ollama, выполнив несколько команд для локальной настройки и начав беседу с чат-ботом о любом загруженном документе.

Для демонстрации пользователям потребуется экземпляр Mistral, работающий локально через Ollama, и полные инструкции по настройке изложены в блоге Ли.

Как работает процесс

Основные механизмы реализации Ли состоят из упрощенного пятиэтапного процесса:

1. Загрузка данных: Пользователи загружают документы, такие как PDF-файлы, в систему. Ли использует LangChain, чтобы разбить эти документы на управляемые фрагменты и создает векторные эмбеддинги для каждого из них с помощью Transformers.js. Эти фрагменты затем организуются в базе данных Voy vector store.

2. Извлечение: Когда пользователь задает вопрос, система ищет в векторном хранилище наиболее релевантные фрагменты.

3. Генерация: Вопрос и найденные фрагменты отправляются работающему локально ИИ Ollama, который использует модель Mistral для создания ответа на основе извлеченной информации.

4. Дереференцирование: Для последующих вопросов система переформулирует запросы перед повторением шагов извлечения и генерации.

5. Доступ к локальному ИИ: Инструмент Ollama обеспечивает доступ к локально работающей модели Mistral из веб-приложения, позволяя бесшовную интеграцию функций генерации.

По сути, Ли разработал веб-приложение, способное обсуждать документы в оффлайн-режиме, полностью основанное на интеллектуальном программном обеспечении, работающем на личном компьютере пользователя.

Преимущества для бизнеса и разработчиков

Этот подход "локально в первую очередь" имеет значительные последствия для бизнеса и корпоративных разработчиков. Перенос операций с облачных решений на локальные внедрения позволяет организациям сократить операционные расходы, особенно при масштабировании. Более того, это метод обеспечивает высокую настройку, поскольку пользователи могут создавать тонко настроенные модели, используя собственные данные.

Обработка данных локально также решает проблемы конфиденциальности, обеспечивая сохранность чувствительной информации и минимизируя риск утечек. Ли предполагает, что такие системы станут более распространенными, поскольку новые модели разрабатываются с учетом меньших размеров и большей эффективности, улучшая их совместимость с локальными устройствами.

Чтобы обеспечить еще более широкий доступ, Ли предлагает API для браузеров, позволяющий веб-приложениям запрашивать доступ к локально работающим LLM, аналогично расширениям для Chrome. "Я очень рад будущему веб-приложений на базе LLM и тому, как технологии, такие как Ollama и LangChain, могут способствовать невероятным новым пользовательским взаимодействиям," заметил он.

Концепция Ли соответствует растущему тренду в разработке веб-приложений, управляемых ИИ. Платформы, такие как MetaGPT, позволяют пользователям создавать приложения с использованием команд на естественном языке, в то время как инструменты, такие как CodeWP.ai, генерируют HTML для веб-сайтов. Более того, среды разработки, такие как GitHub Copilot и Replit AI, упрощают процесс кодирования, а инициативы, такие как проект Google IDX, предоставляют ресурсы ИИ для разработчиков.

В итоге, инновационный подход Джейкоба Ли к интеграции локальных LLM не только открывает путь к экономически эффективным и конфиденциальным приложениям, но и трансформирует способы взаимодействия пользователей с технологиями в цифровом пространстве, движимом современными возможностями ИИ.