Використовуючи тест SWE-Bench Verified, який складається з 500 поширених завдань для розробників, Junie вирішив 53,6% з них за один запуск. Не так давно це був би найвищий показник, але варто зазначити, що на цей час найефективніші моделі показують понад 60%, а Weights & Biases «Programmer O1 crosscheck5» наразі лідирує з результатом 64,6%. Сама компанія JetBrains називає результат Junie «багатообіцяючим», пише TechCrunch.
Але навіть з нижчим балом сервіс JetBrains може мати перевагу через його тісну інтеграцію з рештою IDE JetBrains. Компанія зазначає, що хоча Junie і допомагає розробникам виконувати свою роботу, людина завжди контролює процес, навіть коли делегує завдання агенту.
«Код, створений штучним інтелектом, може бути таким же недосконалим, як і код, написаний розробником», — пише компанія в анонсі. «Зрештою, Junie не просто прискорить розробку — він також готовий підняти планку якості коду. Поєднуючи можливості JetBrains IDE та LLM, Junie може генерувати код, проводити перевірки, писати тести та перевіряти їхнє проходження».
Наразі послуга доступна лише за програмою раннього доступу за списком очікування. Наразі він також працює лише на Linux та Mac, а також у середовищах розробки IntelliJ IDEA Ultimate та PyCharm Professional, а незабаром буде доступний і для WebStorm.