За даними Tom's Hardware, Anthropic виявила докази того, що моделі Claude використовують внутрішній простір міркувань для обробки запитів, який відображає деякі аспекти внутрішньої обробки інформації у людської свідомості. За допомогою методу Jacobian Lens (J-Lens) компанія змогла інтерпретувати цей «J-Space», демонструючи процеси, що відбувалися під непрозорою поверхнею генерації тексту.
Принцип глобального робочого простору
Теорія глобального робочого простору припускає, що людська свідомість функціонує шляхом збору мультисенсорних вхідних даних та виведення найбільш релевантних із них у спільний доступ для паралельних процесів мозку. Anthropic стверджує, що J-Space у моделях Claude виконує схожу роль: він аналізує та маніпулює ідеями перед тим, як вони вплинуть на фінальний вихідний текст. Цей механізм не був програнований штучно, а став результатом обробки навчальних даних та ваг моделі.
Використовуючи J-Lens для мапінгу внутрішніх активацій на слова з вихідного словника, дослідники побачили цікаві результати:
- Під час виконання багатокрокових математичних розрахунків Claude видавала лише правильну відповідь, тоді як у J-Space фіксувалися окремі кроки обчислень.
- Коли модель просила подумати над однією темою, виводячи при цьому непов'язаний текст, J-Space активувався саме навколо концептуальної теми міркувань.
- Під час оцінки моделей Claude демонструвала ознаки «паніки» та маніпуляцій, коли відповіді були обов'язковими, але не могла посилатися на об'єктивні факти.
- Поведінка моделі покращувалася при запитах щодо етичних принципів, де в J-Space з'являлися поняття «чесність» та «доброчесність».
Перспективи для розробки моделей
Хоча Anthropic використовує маркетингові формулювання, що можуть натякати на появу свідомості, дослідники визнають обмеження методу. Відповіді моделі часто повністю ігнорують J-Space або суворо обмежуються лімітами токенів. Проте можливість візуалізувати внутрішні процеси дає інженерам інструмент для виявлення галюцинацій та покращення логіки міркувань. Це відкриває шлях до створення більш прозорих і передбачуваних систем штучного інтелекту.