Навесні 2017 року вийшла наукова стаття з назвою «Увага — це все, що вам потрібно», яку написали вісім (нині колишніх) дослідників з компанії Google. Серед авторів праці, яка через 7 років уже набула статус культової в ШІ-індустрії, був і виходець з України.
«Увага — це все, що вам потрібно»
Ноам Шазір, який має найбільший стаж роботи в компанії, був дуже здивований, коли побачив ранню версію статті, де його ім’я стояло першим у списку авторів, що вказувало на те, що його внесок був найбільшим. Про це йдеться у великому матеріалі Wired, який розповідає про всіх дослідників цієї відомої праці.
Оскільки автори тоді поспішали закінчити свою роботу, вони врешті-решт вирішили «саботувати» умовні правила ранжування авторів. Вони додали зірочку до кожного імені й виноску «Рівноправний учасник. Порядок у списку випадковий».
Автори надіслали статтю на престижну конференцію зі штучного інтелекту незадовго до дедлайну — і розпочали революцію. Наближаючись до своєї сьомої річниці, стаття «Увага…» набула легендарного статусу. Її автори почали з опису технології, що нині процвітає і вдосконалюється, — різновиду штучного інтелекту, що називається нейронними мережами, але і перетворили її на дещо інше: цифрову систему, настільки потужну, що її вихідні дані можуть здаватися продуктом інопланетного інтелекту.
Ця архітектура, що отримала назву «трансформери», є не таким вже й секретним соусом, який лежить в основі всіх цих приголомшливих продуктів штучного інтелекту, включно з ChatGPT і генераторами зображень, такими як Dall-E і Midjourney.
Зараз Шазір жартує, що якби він знав, наскільки відомою стане ця стаття, то «можливо, більше турбувався б про порядок авторів». Усі восьмеро авторів тепер є мікрознаменитостями. «Люди просять мене зробити селфі, бо я на папері!» — каже Лев Джонс, який (випадково, звісно) був п’ятим у списку.
«Без трансформерів я не думаю, що ми були б зараз тут», — каже Джеффрі Хінтон, який не є одним з авторів, але є, мабуть, найвидатнішим у світі вченим у галузі штучного інтелекту.
З того часу всі вісім авторів покинули Google. Як і багато інших, вони зараз так чи інакше працюють з системами, що працюють на основі того, що вони створили у 2017 році.
Як українець Ілля Полосухін долучився до створення відомої наукової праці про ШІ
Одного дня у 2016 році дослідник Джейкоб Ушкорайт обідав у кафе Google з науковцем Іллєю Полосухіним, який народився в Україні й працював в Google вже три роки. Він був призначений до команди, яка надавала відповіді на прямі запитання, поставлені в полі пошуку.
Справи йшли не дуже добре. «Щоб відповісти на щось на Google.com, вам потрібно щось дуже дешеве і високопродуктивне. Тому що у вас є мілісекунди», щоб відповісти», — сказав Полосухін. Коли він озвучив свої зауваження, Ушкорайт без проблем знайшов рішення.
«Він запропонував, чому б не використати самосвідомість (self-awareness)?», — розповів Полосухін. Іноді Полосухін співпрацював з колегою, на ім’я Ашіш Васвані. Він народився в Індії й виріс переважно на Близькому Сході, навчався в Університеті Південної Каліфорнії, щоб здобути докторський ступінь в елітній групі машинного перекладу цього навчального закладу.
Згодом він переїхав до Маунтін-В’ю, щоб приєднатися до Google, а саме до нової організації під назвою Google Brain. Він описує Brain як «радикальну групу», яка вірила, що «нейронні мережі сприятимуть розвитку людського розуміння». Але він все ще шукав великий проєкт, над яким міг би працювати. Його команда працювала в будівлі 1965 по сусідству з лінгвістичною командою Полосухіна в будівлі 1945, і він чув про ідею самосвідомість. Він вирішив, що це і є той самий великий проєкт і приєднався до команди.
Разом троє дослідників розробили проєктний документ під назвою «Трансформери: Ітеративна самосвідомість та обробка для різних завдань». Вони вибрали назву «трансформери» з практично одразу, розповів Ушкорайт. Ідея полягала в тому, що цей механізм буде трансформувати інформацію, яку він отримує, дозволяючи системі витягувати стільки розуміння, скільки людина може — або принаймні створювати ілюзію цього.
На початку 2017 року Полосухін залишив Google, щоб заснувати власну компанію Near, яка створила блокчейн з токенами, чия ринкова капіталізація наразі становить близько $4 млрд.
