Перевірка AI вже деякий час була серйозною проблемою. В той час Великі мові моделі (LLMS) Просунувшись неймовірними темпами, проблема довести їх точність залишається невирішеною.
Антропічний намагається вирішити цю проблему, і з усіх великих компаній AI, я думаю, у них найкращий постріл.
Компанія випустила Цитатинова функція API для його Клод моделі Це змінює те, як системи AI перевіряють їх відповіді. Ця техніка автоматично розбиває джерельні документи на засвоювані шматки та пов'язує кожну заяву, поколіновану AI, до його первісного джерела-подібно до того, як академічні документи цитують свої посилання.
Цитати намагаються вирішити одну з найбільш наполегливих проблем AI: довести, що створений вміст є точним та надійним. Замість того, щоб вимагати складної оперативної інженерії або ручної перевірки, система автоматично обробляє документи та надає перевірку джерела на рівні речення для кожної претензії.
Дані показують перспективні результати: на 15% покращення точності цитування порівняно з традиційними методами.
Чому це має значення зараз
AI Trust став критичним бар'єром для прийняття підприємств (а також індивідуального прийняття). Оскільки організації виходять за рамки експериментального використання AI в основні операції, неможливість ефективної перевірки виходів AI створила значне вузьке місце.
Поточні системи перевірки виявляють чітку проблему: організації змушені вибирати між швидкістю та точністю. Процеси перевірки вручну не масштабуються, тоді як неперевірені результати AI несуть занадто великий ризик. Цей виклик особливо гострий у регульованих галузях, де точність не є лише бажаною – це потрібно.
Час цитат надходить у вирішальний момент розвитку ШІ. У міру того, як мовні моделі стають більш складними, потреба в вбудованій перевірці зростала пропорційно. Нам потрібно будувати системи, які можна впевнено розгорнути у професійних умовах, де точність не підлягає обороту.
Розбиття технічної архітектури
Магія цитат полягає в його підході до обробки документів. Цитати не схожі на інші традиційні системи AI. Вони часто розглядають документи як прості текстові блоки. За допомогою цитат інструмент розбиває джерело матеріалів на те, що антроп називає “шматками”. Це можуть бути окремі речення або визначені користувачем розділи, які створили детальну основу для перевірки.
Ось технічний зрив:
Обробка та обробка документів
Цитати обробляють документи по -різному на основі їх формату. Для текстових файлів, по суті, немає обмежень, що перевищує стандартну обмеження 200 000 токенів для загальних запитів. Сюди входить ваш контекст, підказки та самі документи.
Поводження з PDF є складнішим. Система обробляє PDF -файли візуально, а не лише як текст, що призводить до деяких ключових обмежень:
- Обмеження розміру файлу 32 Мб
- Максимум 100 сторінок на документ
- Кожна сторінка споживає 1500-3 000 жетонів
Управління маркерами
Тепер звертаючись до практичної сторони цих меж. Коли ви працюєте з цитатами, вам потрібно ретельно розглянути свій бюджет. Ось як він розбивається:
Для стандартного тексту:
- Повний обмеження запиту: 200 000 жетонів
- Включає: Контекст + підказки + документи
- Немає окремого заряду за виходи цитування
Для PDFS:
- Більш високе споживання маркера на сторінці
- Візуальна обробка накладна
- Необхідний складний розрахунок токенів
Цитати проти ганчірки: Ключові відмінності
Цитати – це не Пошук розширеного покоління (ганчірки) Система – і ця відмінність має значення. Хоча системи RAG зосереджуються на пошуку відповідної інформації з бази знань, цитати працюють на інформацію, яку ви вже вибрали.
Подумайте про це так: RAG вирішує, яку інформацію використовувати, тоді як цитати гарантують, що інформація використовується точно. Це означає:
- Ганчірка: Обробляє пошук інформації
- Цитати: Керує перевіркою інформації
- Комбінований потенціал: Обидві системи можуть працювати разом
Цей вибір архітектури означає, що цитати перевищують точність у наданих контекстах, залишаючи стратегії пошуку додатковими системами.
Інтеграційні шляхи та продуктивність
Налаштування прямолінійне: Цитати пробігають Стандартний API антропікаце означає, що якщо ви вже використовуєте Клод, ви там на півдорозі. Система інтегрується безпосередньо з API Messages, усуваючи необхідність окремого зберігання файлів або складних змін інфраструктури.
Структура ціноутворення слідує за моделлю на основі токенів з ключовою перевагою: Поки ви платите за вхідні жетони з вихідних документів, не існує додаткової плати за власні цитування самі. Це створює передбачувану структуру витрат, яка масштабується з використанням.
Показники виступу розповідають переконливу історію:
- 15% поліпшення загальної точності цитування
- Повне усунення джерел галюцинацій (від 10% виникнення до нуля)
- Перевірка рівня речення для кожної вимоги
Організації (та осіб), що використовують неперевірені системи AI, опиняються у невигідному стані, особливо в регульованих галузях або у середовищі з високими ставками, де точність має вирішальне значення.
Забігаючи наперед, ми, швидше за все, побачимо:
- Інтеграція цитатних функцій стає стандартною
- Еволюція систем перевірки поза текстом до інших медіа
- Розробка стандартів перевірки, що стосуються галузі
Вся галузь дійсно повинна переосмислити надійність та перевірку AI. Користувачі повинні дістатися до того моменту, коли вони можуть легко перевірити кожну претензію.
