Google DeepMind, дослідницька лабораторія Google, опублікувала нові дослідження з навчання моделей ШІ, які стверджують, що вони значно прискорюють швидкість навчання, забезпечуючи в 13 разів більшу продуктивність і в 10 разів вищу енергоефективність у порівнянні з іншими методами.
Новий метод навчання з’явився дуже вчасно, оскільки розмови про вплив центрів обробки даних зі штучним інтелектом на навколишнє середовище стають дедалі активнішими.
Метод DeepMind, який отримав назву JEST JEST (joint example selection або спільний вибір прикладів), відрізняється від традиційних методів навчання ШІ-моделей простим способом. Типові методи навчання зосереджуються на окремих точках даних для тренування та навчання, тоді як JEST навчає на основі цілих пакетів даних, пише Tom’s Hardware.
За методом JEST спочатку створюється менша модель ШІ, яка оцінює якість даних із надзвичайно якісних джерел, ранжуючи партії за якістю. Потім вона порівнює цю оцінку з більшим набором даних нижчої якості. Маленька модель JEST визначає партії, які найбільше підходять для навчання, а велика модель навчається на основі висновків меншої моделі.
Дослідники DeepMind чітко зазначають у своїй статті, що ця «здатність спрямовувати процес відбору даних у бік розподілу менших, добре оброблених наборів даних» є ключовою для успіху методу JEST. DeepMind стверджує, що їхній підхід перевершує найсучасніші моделі шляхом до 13 разів меншої кількості ітерацій і в 10 разів меншого обсягу обчислень.
Звичайно, ця система повністю покладається на якість даних навчання, оскільки техніка початкового завантаження розвалюється без набору даних найвищої якості, який контролюється людиною. Ніде мантра «сміття на вході, сміття на виході» не є більш правдивою, ніж у цьому методі, який намагається «забігти наперед» у процесі навчання. Це робить метод JEST набагато складнішим для аматорів або розробників ШІ, ніж більшість інших, оскільки для курації початкових навчальних даних найвищої якості, ймовірно, потрібні дослідницькі навички експертного рівня.
Дослідження JEST з’явилося вчасно, оскільки технологічна індустрія та уряди країн світу починають обговорювати екстремальні потреби штучного інтелекту в енергії. У 2023 році робочі навантаження штучного інтелекту становили близько 4,3 ГВт, що майже відповідає річному енергоспоживанню Кіпру. І цей процес не сповільнюється: один запит у ChatGPT коштує в 10 разів більше, ніж пошук у Google, а генеральний директор Arm вважає, що до 2030 року ШІ займатиме чверть енергосистеми Сполучених Штатів.
Сподіваються, що методи JEST будуть використовуватися для підтримки поточної продуктивності тренувань при набагато меншому споживанні енергії, що зменшить витрати на ШІ та допоможе планеті.
