Новий тест для штучного інтелекту не проходить жодна модель ШІ

Фонд Arc Prize Foundation анонсував новий тест ARC-AGI-2 для оцінки штучного інтелекту порівняно з людиною. Вони обіцяють винагородити $700 тисяч творців перших п’ятьох моделей, які здобудуть рейтинг 85% або вище. Відмінність цього тесту полягає в тому, що завдання в ньому є прості для людини, але складні для штучного інтелекту. Дослідники виявили, що ШІ має проблеми з інтерпретацією значень символів, особливо якщо вони виходять за межі візуальних образів. Також виявлено, що ШІ має труднощі з виконанням завдань, що вимагають одночасного застосування або взаємодію декількох правил. У тестах кожне завдання розв’язувалося щонайменше 2 людьми за 2 спроби, а середній результат для однієї людини становив 60%.