Нові моделі штучного інтелекту від Meta опинились в центрі скандалу

На минулих вихідних компанія Meta представила дві нові моделі штучного інтелекту Llama 4 – Scout і Maverick. Вони, за словами компанії, перевершують інші відомі моделі, такі як GPT-4o та Gemini 2.0 Flash, у різних тестах. Проте The Verge повідомив, що статистика, надана Meta, може бути марніттям.
У пресрелізі Meta зазначила, що модель Maverick зайняла друге місце у рейтингу LMArena з високим рейтингом ELO 1417. Але згодом виявилося, що тести проводилися на експериментальній версії моделі, оптимізованій для розмов. Компанія не зразу повідомила про це, але пізніше підтвердила, що використовувалася спеціально адаптована версія Llama-4-Maverick-03-26-Experimental.
Керівництво LMArena розкритикувало Meta за те, що вона не відповідає їхнім очікуванням від постачальників штучного інтелекту, і вже почали переглядати правила, щоб уникнути подібних ситуацій у майбутньому. Вони вважають, що коли постачальники надають спеціально адаптовані версії моделей для тестування, а потім випускають зовсім інші для широкої аудиторії, рейтинги, як LMArena, стають менш надійними.