Дослідники використовували комбінацію опитувань і фокус-груп, щоби визначити, наскільки корисним є ШІ для різних завдань. Про це пише MIT Technology Review.
Вони виявили, що хоча популярні моделі штучного інтелекту від OpenAI й Google ефективно справляються з простими завданнями, такими як структурування монологу або створення чорнового начерку, їм важко створити матеріал, який був би оригінальним і смішним.
Дослідники попросили 20 професійних коміків, які вже використовували ШІ у своєму творчому процесі, використовувати великі мовні моделі (LLM), такі як ChatGPT або Google Gemini (тоді ще Bard), для створення матеріалу, який їм було б зручно представити в комедійному контексті. Вони могли використовувати їх для створення нових жартів або для перероблення вже наявного комедійного матеріалу.
Результати виявилися неоднозначними. Хоча коміки повідомили, що їм дуже сподобалося використовувати ШІ-моделі для написання жартів, вони сказали, що не відчувають особливої гордості за отриманий матеріал.
Чому ШІ поки нездатний писати смішні жарти
Дехто з учасників сказав, що ШІ може бути корисним для роботи, швидко створюючи записи. Один учасник порівняв це з «блювотною чернеткою, яку доведеться переробляти й вдосконалювати». Багато хто з коміків також відзначив здатність LLM створювати структуру комедійного скетчу, залишаючи їм можливість наповнити його деталями.
Однак якість гумористичного матеріалу LLM залишала бажати кращого. Коміки описували жарти моделей як м’які, шаблонні та нудні. Один учасник порівняв їх із «комедійним матеріалом із круїзних лайнерів 1950-х років, але трохи менш расистським». Інші вважали, що кількість зусиль просто не варта отриманого результату. «Скільки б я не підказував… це дуже обмежений, лінійний підхід до комедії», — сказав один комік.
Нездатність штучного інтелекту генерувати якісний гумористичний матеріал в принципі не дивує. Ті самі фільтри безпеки, які OpenAI й Google використовують, щоб запобігти жорстоким або расистським реакціям чатботів, також заважають їм створювати матеріал, який зазвичай використовується в комедіях, наприклад, образливі або сексуальні жарти й темний гумор. Натомість LLM змушені покладатися на те, що вважається безпечнішим джерелом: величезну кількість документів, книг, дописів у блогах та інших типів інтернет-даних, на яких вони навчалися працювати.
«У комедії чи будь-якому іншому хорошому творі використовуються довгі арки, щоб повернутися до теми або здивувати аудиторію. Великі мовні моделі мають проблеми з цим, тому що вони побудовані так, щоби передбачати одне слово за раз. У своїх дослідженнях я часто намагався спонукати ШІ бути смішним, несподіваним, цікавим чи креативним, але це просто не працює», — сказав Тухін Чакрабарті, дослідник комп’ютерних наук з Колумбійського університету, який спеціалізується на штучному інтелекті й творчості.
Нагадаємо, що раніше розробник із Канади створив генератор жартів на основі ШІ. Інструмент під назвою Jokelub працює на основі алгоритму ШІ, який використовує обробку природної мови та машинне навчання для створення гумористичного контенту. Він навчений розпізнавати моделі жартів, лінгвістичні шаблони та контекст.