EVERYTHING
За даними WIRED, Anthropic відступає від політики, яка передбачала приховане обмеження можливостей конкурентів у використанні її нової моделі Claude Fable 5. Цей поворот стався після того, як рішення викликало гострий резонанс у світовій спільноті дослідників штучного інтелекту. Компанія заявила: «Ми змінюємо запобіжні заходи для розробки передових LLM, щоб зробити їх видимими», — додавши вибачення за те, що не знайшла правильного балансу.
Політика прихованого саботажу та її мотивація
Claude Fable 5 була представлена з додатковими запобіжними механізмами для запобігання зловживанням. З одного боку, Anthropic запровадила стандартні заходи: користувачів, які ставили запитання про кібербезпеку, біологію чи хімію, перенаправляли на менш потужну ШІ-модель, щоб мінімізувати ризик створення біологічної зброї або здійснення кібератак. Однак для дослідників, що використовували Claude Fable 5 у процесі розробки нових моделей, Anthropic запровадила інший підхід.
Цей підхід полягав у навмисному зниженні продуктивності моделі способами, які були невидимі для кінцевого користувача. Це фактично саботувало науковців, що намагалися використовувати Claude для навчання конкуруючих ШІ-систем. Критики назвали цю дію надмірною та ворожою до спільноти.
Реакція дослідницької спільноти
Політика викликала гнівну реакцію у науковому середовищі. Dean Ball, старший науковий співробітник Foundation for American Innovation і колишній радник Білого дому з питань ШІ, заявив: «Зниження продуктивності в ML-дослідженнях без повідомлення користувача є шокуючої ворожим та поганим виглядом». Він підкреслив, що така «таємна саботажна» політика підриває загальну позицію Anthropic щодо безпеки ШІ.
Will Brown, керівник досліджень у стартапі Prime Intellect з відкритим кодом, висловився аналогічно: «Це відчувається так, ніби вони починають забирати драбину позаду себе». Він також зазначив, що обмеження могли мати широкі наслідки, зокрема, уповільнивши зростання екосистеми сторонніх компаній, які тестують передові моделі на безпеку та надійність.
Наслідки для відкритих досліджень
Початкова мета Anthropic полягала у прискоренні ШІ-досліджень через високу ефективність Claude. Однак приховане обмеження створювало серйозні проблеми, які стосувалися як безпеки, так і прозорості процесу розробки:
- Обмеження могли завадити співпраці між дослідниками у сфері безпеки ШІ.
- Розробники не мали чіткого розуміння, чи порушують вони правила Anthropic, оскільки компанія не сповіщала їх про спрацювання запобіжних механізмів.
- Це створювало ризик того, що лише невелика кількість провідних ШІ-лабораторій зможе проводити передові дослідження.
Зміна курсу Anthropic свідчить про необхідність більшої прозорості у регулюванні та розробці найпотужніших моделей.