С увеличением стремления предприятий разрабатывать приложения и агенты искусственного интеллекта (ИИ) становится очевидной важность использования различных языковых моделей и баз данных для достижения оптимальных результатов.
Переход приложения с Llama 3 на Mistral может потребовать высокой технологической гибкости. Ключом к этому является уровень оркестрации, являющийся важным посредником, который связывает базовые модели с приложениями, управляя вызовами API для эффективного выполнения задач.
Этот уровень оркестрации в основном состоит из программных решений, таких как LangChain и LlamaIndex, которые облегчают интеграцию баз данных. Однако возникает важный вопрос: является ли этот уровень строго программным или оборудование играет значительную роль помимо простой поддержки ИИ моделей?
Ответ ясен: оборудование имеет решающее значение для поддержки таких платформ, как LangChain, а также для баз данных, на которых строятся приложения ИИ. Предприятиям необходимы мощные аппаратные стеки, способные управлять потоками больших объемов данных, при этом учитывая устройства, которые могут выполнять значительные задачи в дата-центрах на месте.
«Хотя промежуточный уровень ИИ в первую очередь программный, поставщики оборудования могут значительно влиять на его производительность и эффективность», – говорит Скотт Гнау, руководитель платформ данных в InterSystems.
Эксперты в области ИИ-инфраструктуры подчеркивают, что, хотя программное обеспечение является основой для оркестрации ИИ, его эффективность зависит от способности серверов и графических процессоров (GPU) обрабатывать большие объемы данных. Следовательно, для оптимального функционирования уровня оркестрации основное оборудование должно быть умным и эффективным, сосредоточенным на соединениях с высокой пропускной способностью и низкой задержкой для управления тяжелыми нагрузками.
«Этот уровень оркестрации требует быстрых процессоров», – поясняет Мэтт Кэнди, управляющий партнер по генеративному ИИ в IBM Consulting. «Я вижу будущее, где кремний, микросхемы и серверы могут оптимизироваться в зависимости от типа и размера модели, так как уровень оркестрации динамически переключается между задачами».
Существующие GPU уже могут эффективно поддерживать эти потребности.
Джон Роуз, глобальный технический директор и главный по ИИ в Dell, отмечает: «Это вопрос как аппаратного, так и программного обеспечения. Люди часто забывают, что ИИ проявляется как программное обеспечение, которое работает на аппаратном обеспечении. Программное обеспечение ИИ – это самое требовательное, что мы когда-либо создавали, и требует понимания метрик производительности и вычислительных требований».
Хотя уровень ИИ требует быстрого и мощного оборудования, новое специализированное оборудование не является необходимым помимо существующих GPU и микросхем.
«Конечно, оборудование является необходимым элементом, но я сомневаюсь, что существует специализированное оборудование, которое приведет к значительным прорывам, кроме GPU для повышения производительности модели», – заметил Гнау. «Оптимизация будет исходить от программного обеспечения и архитектуры с минимизацией перемещения данных».
Появление агентов ИИ усилило необходимость укрепления этого промежуточного уровня. Поскольку агенты ИИ общаются друг с другом и инициируют множество вызовов API, эффективный уровень оркестрации жизненно важен для управления этим трафиком с помощью быстрых серверов.
«Этот уровень обеспечивает бесперебойный доступ к API для всех типов моделей и технологий ИИ, улучшая общий пользовательский опыт», – говорит Кэнди. «Я называю его контроллером ИИ в стеке промежуточного программного обеспечения».
Агенты ИИ являются актуальной темой в индустрии и, вероятно, будут определять развитие инфраструктуры ИИ в ближайшие годы.
Роуз добавляет еще одно соображение для предприятий: локальный ИИ в устройствах. Компаниям необходимо планировать сценарии, где агентам ИИ нужно будет работать локально, особенно при потере соединения.
«Критический вопрос заключается в том, где происходят операции», – предлагает Роуз. «Именно здесь вступают в игру концепции, такие как AI PC. Когда группа агентов сотрудничает от вашего имени, нужно ли им всем быть централизованными?»
Он обсуждает исследование Dell в области «консьерж» агентов, которые поддерживают работу даже во время отсутствия интернета.
Генеративный ИИ способствовал взрыву в стеке технологий, так как новые поставщики услуг начинают предлагать пространство на GPU, базы данных и услуги AIOps. Однако это расширение может быть не постоянным, предостерегает генеральный директор Uniphore Уmesh Sachdev.
«Хотя стек технологий взорвался, я считаю, мы увидим фазу нормализации», – предсказывает Sachdev. «В конечном итоге организации будут консолидировать ресурсы внутри, и спрос на GPU стабилизируется. Увеличение слоев и поставщиков характерно для новых технологий, и мы увидим аналогичные тенденции с ИИ».
Для предприятий лучшей практикой является рассмотрение всей экосистемы ИИ – от аппаратного до программного обеспечения – для обеспечения эффективных рабочих процессов ИИ.
Рейтинг
