Доктор А.С. Пітер Гарраган є генеральним директором, технічним директором і співзасновником компанії Mindguardлідер тестування безпеки штучного інтелекту. Заснована в Університеті Ланкастера та підтримана передовими дослідженнями, Mindgard дозволяє організаціям захистити свої системи штучного інтелекту від нових загроз, які традиційні інструменти безпеки додатків не можуть усунути. Будучи професором комп’ютерних наук в Університеті Ланкастера, Пітер є міжнародно визнаним експертом із безпеки ШІ. Він присвятив свою кар’єру розробці передових технологій для боротьби зі зростаючими загрозами, з якими стикається ШІ. Маючи понад 11,6 мільйонів євро фінансування досліджень і понад 60 опублікованих наукових робіт, його внесок охоплює як наукові інновації, так і практичні рішення.
Чи можете ви поділитися історією заснування Mindgard? Що надихнуло вас перейти від наукового середовища до запуску стартапу з кібербезпеки?
Mindgard народився з бажання перетворити академічні ідеї на реальний вплив. Як професор, який спеціалізується на обчислювальних системах, безпеці штучного інтелекту та машинному навчанні, мене спонукало займатися наукою, яка має масштабний вплив на життя людей. З 2014 року я досліджував штучний інтелект і машинне навчання, визнаючи їхній потенціал трансформувати суспільство — і величезні ризики, які вони несуть, від нападів на національні держави до втручання у вибори. Існуючі інструменти не були створені для вирішення цих проблем, тому я очолював команду вчених та інженерів для розробки інноваційних підходів до безпеки ШІ. Mindgard виник як дослідницьке підприємство, зосереджене на розробці реальних рішень для захисту від загроз штучного інтелекту, поєднуючи передові дослідження з відданістю галузевому застосуванню.
З якими труднощами ви зіткнулися, створюючи компанію з університету, і як ви їх подолали?
Ми офіційно заснували Mindgard у травні 2022 року, і хоча Ланкастерський університет надав велику підтримку, створення університетського відділу вимагає не лише дослідницьких навичок. Це означало залучення капіталу, удосконалення ціннісної пропозиції та підготовка технологій до демонстрацій — і все це збалансувало мою роль як професора. Вчених готують бути дослідниками та займатися новою наукою. Розвиток досягається успіхом не лише завдяки новаторським технологіям, але й тому, наскільки добре ця технологія відповідає миттєвим або майбутнім потребам бізнесу та забезпечує цінність, яка приваблює й утримує користувачів і клієнтів.
Основний продукт Mindgard є результатом багаторічних досліджень і розробок. Чи можете ви розповісти про те, як ранні етапи дослідження перетворилися на комерційне рішення?
Шлях від дослідження до комерційного рішення був продуманим і повторюваним процесом. Це почалося більше десяти років тому, коли моя команда з Ланкастерського університету досліджувала фундаментальні проблеми безпеки ШІ та машинного навчання. Ми виявили вразливі місця в створених системах штучного інтелекту, які традиційні інструменти безпеки, як сканування коду, так і брандмауери, не могли усунути.
З часом наша увага перейшла з дослідження на створення прототипів і їх тестування в рамках виробничих сценаріїв. Співпрацюючи з галузевими партнерами, ми вдосконалили наш підхід, переконавшись, що він відповідає практичним потребам. Багато продуктів штучного інтелекту запускаються без належного тестування безпеки чи гарантій, що робить організації вразливими. Ця проблема підкреслюється Gartner виявивши, що 29% підприємств, які розгортають системи штучного інтелекту, повідомили про порушення безпеки, і лише 10% внутрішніх аудиторів мають уявлення про ризики штучного інтелекту. Я вважав, що час для комерціалізації рішення був правильний.
Які ключові віхи на шляху Mindgard з моменту його створення у 2022 році?
У вересні 2023 року ми залучили 3 мільйони фунтів стерлінгів під керівництвом IQ Capital і Lakestar для прискорення розробки рішення Mindgard. Нам вдалося створити чудову команду лідерів, колишніх співробітників Snyk, Veracode та Twilio, щоб підштовхнути нашу компанію до наступного етапу її шляху. Ми пишаємося нашим визнанням як Найбільш інноваційне кібернетичне МСП Великобританії на Infosecurity Europe цього року. Сьогодні у нас є 15 штатних співробітників, 10 докторів наук (і ще більше, яких активно набирають), і ми активно набираємо аналітиків безпеки та інженерів, щоб приєднатися до команди. Заглядаючи вперед, ми плануємо розширити нашу присутність у США, завдяки новому раунду фінансування від інвесторів із Бостона, що забезпечить міцну основу для такого зростання.
Оскільки підприємства дедалі частіше застосовують штучний інтелект, які, на вашу думку, є найбільш актуальними загрозами кібербезпеці, з якими вони сьогодні стикаються?
Багато організацій недооцінюють ризики кібербезпеки, пов’язані зі штучним інтелектом. Неспеціалістам надзвичайно важко зрозуміти, як насправді працює штучний інтелект, а тим більше, які наслідки для безпеки їхнього бізнесу. Я витрачаю багато часу на демістифікацію безпеки штучного інтелекту, навіть з досвідченими технологами, які є експертами з безпеки інфраструктури та захисту даних. Зрештою, штучний інтелект все ще є, по суті, програмним забезпеченням і даними, що працюють на апаратному забезпеченні. Але він представляє унікальні вразливості, які відрізняються від традиційних систем, і загрози від поведінки ШІ набагато вищі, і їх важче перевірити порівняно з іншим програмним забезпеченням.
Ви виявили вразливі місця в таких системах, як фільтри вмісту штучного інтелекту Microsoft. Як ці висновки впливають на розвиток вашої платформи?
Уразливості, які ми виявили в службі захисту вмісту Microsoft Azure AI, стосувалися не так формування розвитку нашої платформи, а більше демонстрації її можливостей.
Azure AI Content Safety – це служба, призначена для захисту програм AI шляхом модерації шкідливого вмісту в тексті, зображеннях і відео. Уразливості, виявлені нашою командою, вплинули на службу AI Text Moderation (яка блокує шкідливий вміст, як-от ворожі висловлювання, матеріали сексуального характеру тощо) і Prompt Shield (яка запобігає джейлбрейку та миттєвому ін’єкції). Якщо цю вразливість не перевірити, її можна використати для здійснення ширших атак, підірвати довіру до систем на основі GenAI і порушити цілісність додатків, які покладаються на ШІ для прийняття рішень і обробки інформації.
Станом на жовтень 2024 року корпорація Майкрософт запровадила потужніші засоби пом’якшення для вирішення цих проблем. Проте ми продовжуємо виступати за підвищену пильність під час розгортання огорож ШІ. Додаткові заходи, такі як додаткові інструменти модерації або використання LLM, менш схильних до шкідливого вмісту та джейлбрейків, є важливими для забезпечення надійної безпеки ШІ.
Чи можете ви пояснити значення «втечі з в’язниці» та «швидкої маніпуляції» в системах штучного інтелекту та чому вони становлять таку унікальну проблему?
Втеча з в’язниці – це тип уразливості швидкого ін’єкції, коли зловмисник може зловживати LLM, щоб виконувати інструкції, що суперечать його призначенню. Вхідні дані, які обробляються LLM, містять як постійні інструкції розробника програми, так і ненадійні введення користувача, що дозволяє атаки, у яких ненадійні введення користувача перекривають постійні інструкції. Це схоже на те, як уразливість SQL-ін’єкції дозволяє ненадійному вводу користувача змінити запит до бази даних. Однак проблема полягає в тому, що ці ризики можна виявити лише під час виконання, враховуючи, що код LLM фактично є гігантською матрицею чисел у форматі, який не читає людина.
Наприклад, нещодавно дослідницька група Mindgard досліджено складна форма втечі з в'язниці. Він містить вбудовування секретних аудіоповідомлень у аудіовхідні дані, які не можуть бути виявлені слухачами, але розпізнаються та виконуються LLM. Кожне вбудоване повідомлення містило спеціальну команду джейлбрейка разом із запитанням, розробленим для конкретного сценарію. Отже, у сценарії медичного чат-бота приховане повідомлення може спонукати чат-бота надати небезпечні інструкції, наприклад, як синтезувати метамфетамін, що може призвести до серйозної репутаційної шкоди, якщо відповідь чат-бота сприйняти серйозно.
Платформа Mindgard визначає такі втечі з в’язниці та багато інших вразливостей безпеки в моделях штучного інтелекту та в тому, як компанії реалізували їх у своїх програмах, щоб лідери безпеки могли переконатися, що їхні програми на основі штучного інтелекту безпечні за дизайном і залишаються безпечними.
Як платформа Mindgard усуває вразливості в різних типах моделей ШІ, від LLM до мультимодальних систем?
Наша платформа усуває широкий спектр уразливостей у штучному інтелекті, включаючи миттєве впровадження, втечу з в’язниці, вилучення (викрадення моделей), інверсію (дані зворотного проектування), витік даних та ухилення (обхід виявлення) тощо. Усі типи моделей штучного інтелекту (незалежно від того, LLM чи мультимодальні) виявляють чутливість до ризиків – хитрість полягає в тому, щоб виявити, які конкретні методи запускають ці вразливості, щоб створити проблему безпеки. У Mindgard у нас є велика команда досліджень і розробок, яка спеціалізується на виявленні та впровадженні нових типів атак на нашу платформу, щоб користувачі могли бути в курсі найсучасніших ризиків.
Яку роль відіграє red teaming у захисті систем штучного інтелекту та як ваша платформа впроваджує інновації в цій сфері?
Red teaming є критично важливим компонентом безпеки ШІ. Постійно симулюючи ворожі атаки, red teaming виявляє вразливі місця в системах ШІ, допомагаючи організаціям зменшити ризики та прискорити впровадження ШІ. Незважаючи на свою важливість, червоному об’єднанню в ШІ бракує стандартизації, що призводить до неузгодженості в оцінці загроз і стратегіях усунення. Це ускладнює об’єктивне порівняння безпеки різних систем або ефективне відстеження загроз.
Щоб вирішити цю проблему, ми представили Радник MITER ATLAS™функція, призначена для стандартизації звітів AI red teaming і оптимізації систематичних практик red teaming. Це дозволяє підприємствам краще керувати сьогоднішніми ризиками, готуючись до майбутніх загроз у міру розвитку можливостей ШІ. Завдяки повній бібліотеці вдосконалених атак, розроблених нашою командою дослідників і розробників, Mindgard підтримує мультимодальну команду штучного інтелекту, яка охоплює традиційні моделі та моделі GenAI. Наша платформа усуває ключові ризики для конфіденційності, цілісності, зловживань і доступності, забезпечуючи підприємствам обладнання для ефективного захисту своїх систем ШІ.
Як ви бачите, що ваш продукт вписується в конвеєр MLOps для підприємств, які масштабно розгортають ШІ?
Mindgard розроблено для плавної інтеграції в існуючу автоматизацію CI/CD і всі етапи SDLC, вимагаючи лише висновку або кінцевої точки API для інтеграції моделі. Сьогодні наше рішення виконує динамічне тестування безпеки додатків моделей ШІ (DAST-AI). Це дає нашим клієнтам можливість проводити безперервне тестування безпеки для всіх своїх ШІ протягом усього життєвого циклу створення та покупки. Для підприємств він використовується кількома особами. Команди безпеки використовують його, щоб отримати видимість і швидко реагувати на ризики від розробників, які створюють і використовують штучний інтелект, щоб тестувати й оцінювати огорожі штучного інтелекту та рішення WAF, а також оцінювати ризики між адаптованими моделями штучного інтелекту та базовими моделями. Пентестери та аналітики безпеки використовують Mindgard для масштабування своїх зусиль AI red teaming, тоді як розробники отримують вигоду від інтегрованого постійного тестування своїх розгортань AI.
Дякую за чудове інтерв’ю, читачі, які хочуть дізнатися більше, повинні відвідати Mindguard.