Традиційна мудрість ШІ стверджує, що будівництво великі мовні моделі (LLM) вимагає глибоких кишень – як правило, мільярдних інвестицій. Але DeepSeekкитайський стартап штучного інтелекту, щойно зруйнував цю парадигму своїм останнім досягненням: розробкою моделі штучного інтелекту світового класу всього за 5,6 мільйона доларів.
DeepSeek Модель V3 можуть протистояти таким гігантам галузі, як Google Gemini і Останні пропозиції OpenAIвикористовуючи незначну частину типових обчислювальних ресурсів. Це досягнення привернуло увагу багатьох лідерів галузі, і що робить його особливо примітним, так це те, що компанія досягла цього, незважаючи на експортні обмеження США, які обмежували їхній доступ до останніх Чіпи Nvidia.
Економіка ефективного ШІ
Цифри розповідають переконливу історію ефективності. У той час як більшість просунутих моделей штучного інтелекту вимагають від 16 000 до 100 000 GPU для навчання, DeepSeek впорався лише з 2048 GPU, які працювали протягом 57 днів. Навчання моделі витратило 2,78 мільйона GPU-годин на чіпах Nvidia H800 – надзвичайно скромно для моделі з 671 мільярдом параметрів.
Щоб поглянути на це в перспективі, Meta знадобилося приблизно 30,8 мільйона GPU-годин – приблизно в 11 разів більше обчислювальної потужності – для навчання свого Виклик 3 моделіякий насправді має менше параметрів на 405 мільярдів. Підхід DeepSeek нагадує майстер-клас з оптимізації за обмежень. Працюючи з графічними процесорами H800 – чіпами штучного інтелекту, розробленими Nvidia спеціально для китайського ринку зі зниженими можливостями – компанія перетворила потенційні обмеження на інновацію. Замість того, щоб використовувати готові рішення для зв’язку з процесором, вони розробили індивідуальні рішення, які максимізували ефективність.
У той час як конкуренти продовжують працювати, припускаючи, що необхідні значні інвестиції, DeepSeek демонструє, що винахідливість і ефективне використання ресурсів можуть вирівняти умови гри.
зображення: Штучний аналіз
Інженерія неможливого
Досягнення DeepSeek полягає в його інноваційному технічному підході, який демонструє, що інколи найбільш вражаючий прорив відбувається завдяки роботі в рамках обмежень, а не викиданню необмежених ресурсів на вирішення проблеми.
В основі цієї інновації лежить стратегія під назвою «допоміжне балансування навантаження без втрат». Подумайте про це як про оркестрування великої системи паралельної обробки, де традиційно вам потрібні складні правила та штрафи, щоб усе працювало гладко. DeepSeek перевернув цю загальноприйняту думку з ніг на голову, розробивши систему, яка природно підтримує баланс без накладних витрат традиційних підходів.
Команда також запровадила те, що вони називають «Мульти-токенним прогнозуванням» (MTP) – техніку, яка дозволяє моделі думати наперед, прогнозуючи кілька токенів одночасно. На практиці це означає вражаючий рівень прийняття прогнозів у 85-90% для різних тем, забезпечуючи в 1,8 рази більшу швидкість обробки, ніж попередні підходи.
Сама технічна архітектура є шедевром ефективності. DeepSeek V3 використовує підхід експертів із загальним 671 мільярдом параметрів, але тут є розумна частина – він активує лише 37 мільярдів для кожного токена. Ця вибіркова активація означає, що вони отримують переваги масивної моделі, зберігаючи практичну ефективність.
Їхній вибір FP8 змішаної точної навчальної системи є ще одним кроком вперед. Замість того, щоб прийняти звичайні обмеження зниження точності, вони розробили індивідуальні рішення, які зберігають точність, значно зменшуючи вимоги до пам’яті та обчислень.
Ефекти пульсації в екосистемі ШІ
Вплив досягнень DeepSeek виходить далеко за межі однієї успішної моделі.
Для європейського розвитку ШІ цей прорив особливо важливий. Багато передових моделей не потрапляють до ЄС, оскільки такі компанії, як Meta та OpenAI, не можуть або не хочуть адаптуватися до Я МАЮ Акт. Підхід DeepSeek показує, що для створення передового ШІ не завжди потрібні масивні кластери GPU – це більше стосується ефективного використання доступних ресурсів.
Ця подія також показує, як експортні обмеження можуть насправді стимулювати інновації. Обмежений доступ DeepSeek до апаратного забезпечення високого класу змусив їх думати по-іншому, що призвело до оптимізації програмного забезпечення, яка, можливо, ніколи не з’явилася в багатому на ресурси середовищі. Цей принцип може змінити наш підхід до розробки штучного інтелекту в усьому світі.
Наслідки демократизації глибокі. У той час як гіганти галузі продовжують витрачати мільярди, DeepSeek створив план ефективної та економічно вигідної розробки ШІ. Це може відкрити двері для невеликих компаній і дослідницьких установ, які раніше не могли конкурувати через обмеження ресурсів.
Однак це не означає, що масштабна обчислювальна інфраструктура застаріває. Індустрія зміщує фокус у бік масштабування часу висновку – скільки часу потрібно моделі, щоб отримати відповіді. Оскільки ця тенденція продовжується, значні обчислювальні ресурси все ще будуть потрібні, ймовірно, навіть більше з часом.
Але DeepSeek докорінно змінив розмову. Довгострокові наслідки очевидні: ми вступаємо в еру, коли інноваційне мислення та ефективне використання ресурсів можуть мати більше значення, ніж суцільна обчислювальна потужність. Для спільноти штучного інтелекту це означає зосередитися не лише на тому, які ресурси ми маємо, а й на тому, наскільки творчо та ефективно ми їх використовуємо.
