Сьогодні Anthropic випустив оновлену версію своєї моделі Claude 3.5 Sonnet, яка може розуміти та взаємодіяти з будь-яким десктопним додатком. Завдяки новому інструменту Computer Use, який зараз перебуває у відкритій бета-версії, модель може імітувати натискання клавіш, кнопок і миші, по суті, імітуючи людину, що сидить за комп’ютером.
«Ми навчили Claude бачити, що відбувається на екрані, а потім використовувати доступні програмні інструменти для виконання завдань, — написав Anthropic у своєму блозі на TechCrunch. «Коли розробник доручає Claude використання програмного забезпечення і надає йому необхідний доступ, модель дивиться на скриншоти того, що видно користувачеві, а потім підраховує, на скільки пікселів по вертикалі або горизонталі потрібно перемістити курсор, щоб клацнути в потрібному місці».
Розробники можуть випробувати Computer Use через API Anthropic, Amazon Bedrock і платформу Vertex AI від Google Cloud. Новий 3.5 Sonnet без Computer Use розгортається в програмах Claude і приносить різні покращення продуктивності порівняно з вихідною моделлю 3.5 Sonnet.
3.5 Sonnet може виконувати команди на рівні робочого столу. Наприклад, переглядати вебсторінки, використовуючи будь-який сайт і будь-яку програму.
Конкретні підказки спрямовують дії Cloud. Наприклад, можна задати: «використовуй дані з мого комп’ютера та інтернету, щоб заповнити цю форму». Модель розбиває підказки користувача на комп’ютерні команди (наприклад, переміщення курсора, клацання, введення) для виконання конкретного завдання.
Anthropic стверджує, що новий 3.5 Sonnet — це просто сильніша, надійніша модель, яка краще справляється з завданнями кодування, ніж навіть флагман OpenAI o1, згідно з тестом SWE-bench Verified. Попри те, що оновлений 3.5 Sonnet не був спеціально навчений цього, він самокоригується і повторно виконує завдання, коли стикається з перешкодами, і може працювати над завданнями, які вимагають десятків і сотень кроків.
Стартап також заявляє, що вжив заходів для запобігання зловживанню, наприклад, не навчає новий 3.5 Sonnet на скриншотах і підказках користувачів, а також не дозволяє моделі виходити в інтернет під час тренувань. Компанія заявляє, що розробила класифікатори, щоб «відштовхнути» 3.5 Sonnet від дій, які сприймаються як ризиковані, таких як пости в соціальних мережах, створення облікових записів і взаємодія з урядовими сайтами.
