Схоже, Devin AI не такий потужний, як здалося його творцям — американському стартапу Cognition.
У березні Cognition представив Devin — «першого ШІ-розробника програмного забезпечення», який нібито може не тільки розв’язувати інженерні проблеми, але й успішно виконувати завдання на вебсайтах для фрілансерів. Творці продемонстрували можливості штучного інтелекту на справжньому кейсі Upwork, вразивши аудиторію та змусивши справжніх розробників почати боятися за свою роботу.
Однак, схоже, розробники можуть дихати вільно трохи довше, оскільки Cognition нещодавно звинуватили у брехні щодо можливостей Devin.
YouTube канал під назвою Internet of Bugs нещодавно опублікував відео «Розвінчання Девіна: „Перший інженер-програміст зі штучного інтелекту“ Upwork викрив брехню». У ньому ведучий каналу розбирає приклад виконання Девіном проєкту на Upwork.
«Я розділив відео Devin Upwork кадр за кадром, і тут я показую, що Devin мав зробити, що йому насправді вдалося зробити натомість і наскільки погано він це зробив», — написав Карл в описі до свого відео.
Потім інший блогер Феліпе теж розібрав відеопрезентацію стартапу.
Перш за все, Devin не впорався з найважливішою частиною завдання — розумінням проблеми. Cognition надав Devin лише перше речення і попросив його «розібратися». Враховуючи, що запит був у другій частині, це суттєва помилка з боку компанії, тож ШІ, звісно, не зміг надати очікуваного результату.
Ще одна фантастична здатність першого ШІ-розробника ПЗ — знаходити помилки, які люди пропускають. І він виявив помилку в одному з файлів. Проблема полягає в тому, що файлу не було в сховищі, і його створив сам Devin. Тож виходить, він виправив власну помилку.
Також все рішення зайняло у ШІ багато годин. Це помітив Деванш, автор статті «Творці Devin AI збрехали про свої можливості?». Для порівняння, автор каналу Internet of Bugs зумів відповісти на справжнє запитання приблизно за 30 хвилин.
