Внутри стратегии ИИ Meta: Цукерберг подчеркивает важность вычислительных мощностей, инициатив с открытым исходным кодом и данных для обучения.

В этом месяце на телефонных конференциях крупнейших технологических компаний акцент был сделан на их достижениях в области искусственного интеллекта. Google сосредоточила свои обсуждения вокруг генеративного ИИ для поиска и облачных сервисов, в то время как Microsoft подробно рассказала о своей интеграции ИИ в своих технологиях. Amazon представила ИИ-микросхемы и Bedrock, наряду с новым помощником по шоппингу на основе ИИ по имени Руфус. Однако Meta заявила о себе как о лидере, представив комплексную стратегию в области ИИ.

Подход Meta к ИИ выделяется благодаря приверженности к открытым исходным кодам и обширным данным для обучения ИИ, собранным из публичных постов на Facebook и Instagram. На телефонной конференции по итогам четвертого квартала 2023 года генеральный директор Марк Цукерберг подчеркнул выгодные позиции компании в разработке ИИ, особенно в области вычислительных ресурсов.

Инфраструктура вычислений класса «мировое качество» для ИИ от Meta

Цукерберг очертил долгосрочную стратегию по созданию популярных и современных продуктов на основе ИИ, отметив, что для достижения «полного общего интеллекта» требуется значительная вычислительная мощность. Он сообщил, что к концу года Meta развернет около 350,000 графических процессоров H100 с общей вычислительной мощностью, приближающейся к 600,000 H100 эквивалентам. Спрос на эту инфраструктуру в значительной степени обусловлен Instagram Reels.

Цукерберг объяснил: «Мы извлекли ценные уроки из Reels. Изначально мы недооценили наши потребности в GPU, что побудило нас создать достаточную мощность для поддержки как Reels, так и аналогичных по размерам сервисов на основе ИИ». Он добавил: «Meta готова побеждать», ожидая, что для обучения будущих моделей потребуется еще больше вычислительных ресурсов. «Современные большие языковые модели обучаются с использованием примерно в 10 раз большего объема вычислительных мощностей каждый год», – отметил он. Meta планирует намеренно инвестировать в специализированные дата-центры и кремниевые решения, адаптированные под свои рабочие нагрузки.

Стратегия открытого исходного кода в ИИ Meta

Цукерберг вновь подтвердил приверженность Meta стратегии открытого исходного кода, несмотря на регуляторный контроль. Он пояснил: «Наша стратегия заключается в создании и открытии общей инфраструктуры, при этом конкретные реализации продукта остаются закрытыми». Это касается моделей Llama, особенно многообещающей Llama 3, и таких инструментов, как PyTorch.

Он выделил стратегические преимущества открытого исходного кода, заявив, что это усиливает безопасность и привлекательность, способствует формированию отраслевых стандартов и привлекает разработчиков. «Открытый исходный код помогает нам привлекать лучших специалистов, что критически важно для лидерства в новых технологиях», – отметил он. Предоставление таких инструментов, как Llama, в открытом доступе не умаляет конкурентных преимуществ Meta.

Обширные данные для обучения, превосходящие Common Crawl

Цукерберг акцентировал внимание на мощных механизмах данных и обратной связи Meta, утверждая, что объем данных из Facebook и Instagram, который включает «сотни миллиардов публично доступных изображений и десятки миллиардов публичных видео», вероятно, превышает набор данных Common Crawl. Common Crawl содержит обширные объемы данных из Интернета, собранных с 2008 года.

Цукерберг уточнил: «То, что действительно отличает нас, – это наша способность создавать эффективные петли обратной связи с сотнями миллионов пользователей, взаимодействующими с нашими ИИ-сервисами. Это взаимодействие значительно усиливает улучшение наших ИИ-систем, особенно в Reels и рекламе».

Приверженность Meta лидерству в ИИ

Недавняя статья Bloomberg отмечала, что успех модели Llama от Meta превратил настоящих лам в неофициальных маскотов событий открытого исходного кода в области ИИ. Однако согласно недавнему отчету о прибылях, компания, похоже, готова значительно инвестировать — потенциально миллиарды долларов — в стремлении занять лидирующие позиции в области ИИ на фоне быстро меняющегося конкурентного ландшафта.