Сдвиг в индустрии к меньшим, специализированным и более эффективным моделям ИИ отражает трансформацию, аналогично наблюдаемую в аппаратном обеспечении, особенно с внедрением графических процессоров (GPU), тензорных процессоров (TPU) и других аппаратных ускорителей, которые повышают вычислительную эффективность.
Основой этого перехода является простая концепция, основанная на физике.
Компромисс ЦПУ
ЦПУ предназначены как универсальные вычислительные машины, способные выполнять разнообразные задачи — от сортировки данных до проведения расчетов и управления внешними устройствами. Эта универсальность позволяет им обрабатывать различные схемы доступа к памяти, вычислительные операции и управление потоками.
Однако эта общность имеет недостатки. Сложность аппаратного обеспечения ЦПУ, поддерживающего широкий спектр задач, требует больше кремния для схем, больше энергии для работы и больше времени для выполнения задач. В результате, хотя ЦПУ и предлагают универсальность, они по сути жертвуют эффективностью.
Этот компромисс стал причиной увеличения популярности специализированных вычислений за последние 10-15 лет.
Подъем специализированных движков
В обсуждениях о ИИ часто упоминаются такие термины, как GPU, TPU и NPU. Эти специализированные движки, в отличие от ЦПУ, сосредоточены на определенных задачах, что делает их более эффективными. Выделяя больше транзисторов и энергии для вычислений и доступа к данным, связанных с их назначением, и минимизируя поддержку общих функций, эти модели могут работать экономичнее.
Благодаря своей простоте системы могут включать множество вычислительных движков, работающих параллельно, что значительно увеличивает количество операций, выполняемых за единицу времени и энергии.
Параллельный сдвиг в больших языковых моделях
Параллельная эволюция происходит и в области больших языковых моделей (LLM). Общие модели, такие как GPT-4, демонстрируют впечатляющие возможности благодаря своей широкой функциональности; однако эта общность связано с огромными затратами по параметрам — которые, как поговаривают, исчисляются триллионами — и вычислительными ресурсами, необходимыми для вывода.
Это привело к разработке специализированных моделей, таких как CodeLlama, которые отлично справляются с задачами кодирования с высокой точностью и по более низким затратам. Аналогичным образом модели, такие как Llama-2-7B, эффективны в языковых манипуляциях, таких как извлечение сущностей, без таких же затрат на вычисления. Меньшие модели, такие как Mistral и Zephyr, еще больше подчеркивают эту тенденцию.
Эта эволюция отражает переход от исключительно полагания на ЦПУ к гибридной модели, которая включает специализированные вычислительные движки, такие как GPU, особенно хорошо подходящие для параллельной обработки; эти движки доминируют в задачах, связанных с ИИ, симуляциями и рендерингом графики.
Принятие простоты для повышения эффективности
В будущем LLM основное внимание будет уделено развертыванию множества более простых моделей для большинства задач ИИ, оставляя более крупные, требовательные модели только для тех задач, которые действительно этого требуют. Многие корпоративные приложения — включая манипуляцию неструктурированными данными, классификацию текста и резюмирование — могут эффективно обрабатываться меньшими, специализированными моделями.
Принцип ясен: простые операции требуют меньше электронов, что приводит к повышению энергетической эффективности. Этот подход не просто технологическая предпочтение; это необходимое решение, основанное на основных законах физики. Таким образом, будущее ИИ будет связано не с погоней за более крупными универсальными моделями, а со стратегическим принятием специализации, создающей устойчивые, масштабируемые и эффективные решения в ИИ.
Рейтинг
