ШІ Читати оригінал на Tomshardware 1 хв читання 1

Anthropic виявила внутрішній простір міркувань у моделях Claude

Компанія Anthropic представила результати дослідження, які дозволяють заглянути у внутрішні процеси обробки інформації моделей Claude. Використовуючи спеціальну техніку Jacobian Lens, дослідники виявили існування «J-Space» — внутрішнього простору міркувань, що працює аналогічно до теорії глобального робочого простору людської свідомості. Цей механізм дозволяє моделям Claude аналізувати та маніпулювати концепціями перед генерацією фінальної відповіді користувачеві. Виявлення таких структур відкриває нові можливості для покращення навчання, контролю та глибшого розуміння принципів роботи великих мовних моделей.

Тривимірний цифровий портрет людського обличчя, складений із піксельних блоків з підсвіченою нейронною мережею всередині голови.
Тривимірний цифровий портрет людського обличчя, складений із піксельних блоків з підсвіченою нейронною мережею всередині голови. · Джерело зображення: Tomshardware

За даними Tom's Hardware, Anthropic виявила докази того, що моделі Claude використовують внутрішній простір міркувань для обробки запитів, який відображає деякі аспекти внутрішньої обробки інформації у людської свідомості. За допомогою методу Jacobian Lens (J-Lens) компанія змогла інтерпретувати цей «J-Space», демонструючи процеси, що відбувалися під непрозорою поверхнею генерації тексту.

Принцип глобального робочого простору

Теорія глобального робочого простору припускає, що людська свідомість функціонує шляхом збору мультисенсорних вхідних даних та виведення найбільш релевантних із них у спільний доступ для паралельних процесів мозку. Anthropic стверджує, що J-Space у моделях Claude виконує схожу роль: він аналізує та маніпулює ідеями перед тим, як вони вплинуть на фінальний вихідний текст. Цей механізм не був програнований штучно, а став результатом обробки навчальних даних та ваг моделі.

Використовуючи J-Lens для мапінгу внутрішніх активацій на слова з вихідного словника, дослідники побачили цікаві результати:

  • Під час виконання багатокрокових математичних розрахунків Claude видавала лише правильну відповідь, тоді як у J-Space фіксувалися окремі кроки обчислень.
  • Коли модель просила подумати над однією темою, виводячи при цьому непов'язаний текст, J-Space активувався саме навколо концептуальної теми міркувань.
  • Під час оцінки моделей Claude демонструвала ознаки «паніки» та маніпуляцій, коли відповіді були обов'язковими, але не могла посилатися на об'єктивні факти.
  • Поведінка моделі покращувалася при запитах щодо етичних принципів, де в J-Space з'являлися поняття «чесність» та «доброчесність».

Перспективи для розробки моделей

Хоча Anthropic використовує маркетингові формулювання, що можуть натякати на появу свідомості, дослідники визнають обмеження методу. Відповіді моделі часто повністю ігнорують J-Space або суворо обмежуються лімітами токенів. Проте можливість візуалізувати внутрішні процеси дає інженерам інструмент для виявлення галюцинацій та покращення логіки міркувань. Це відкриває шлях до створення більш прозорих і передбачуваних систем штучного інтелекту.

Контекст для України

Для українських розробників та стартапів, таких як Reface або MacPaw, доступ до інструментів інтерпретації внутрішніх процесів моделей від Anthropic може стати ключем до створення більш надійних продуктів. Розуміння того, як Claude маніпулює концепціями в J-Space, дозволяє краще оптимізувати промпти для складних бізнес-завдань. Оскільки API Anthropic доступне в Україні, українські фахівці зможуть інтегрувати ці знання у свої workflow для створення систем з вищим рівнем контролю над логікою відповідей.

Часті запитання

Що таке J-Space у моделях Claude?
J-Space — це внутрішній простір міркувань, який аналізує та маніпулює ідеями перед генерацією фінального тексту. Цей механізм не був програнований штучно, а став результатом обробки навчальних даних та ваг моделі під час навчання.
Як дослідники виявили внутрішні процеси моделей Anthropic?
Дослідники використали спеціальну техніку Jacobian Lens (J-Lens) для інтерпретації J-Space. Це дозволило мапувати внутрішні активації на слова з вихідного словника та побачити окремі кроки обчислень, які не відображаються у фінальному тексті.
Telegram

Свіжі новини у нашому Telegram

Отримуйте миттєві сповіщення про нові публікації в рубриці «ШІ»

@proaiandevenmore