Remote Labor Index: прогресс ИИ-агентов до 41%
Тест оценивает, насколько хорошо ИИ-агенты справляются с фрилансерскими заданиями. Год назад результат был 2,5%, сейчас - 41%.
Что такое Remote Labor Index и что значат 41% у Fable 5.2
Remote Labor Index — тест, в котором ИИ-агенту дают настоящие заказы с фриланса. Их уже сделали за деньги люди на бирже Upwork: дашборд, 3D-анимация наушников, проект дома из контейнеров, игра.
Агент получает то же задание и те же файлы, что и фрилансер. Потом эксперты сравнивают его работу с работой человека и решают, принял бы её заказчик. Доля принятых работ и есть результат модели.
Год назад, когда тест вышел, лучший агент справлялся с 2,5% заказов. У Claude Fable 5.2 сейчас принимают 41%.
В тест не брали заказы, где нужно общаться с клиентом или что-то делать руками. Так что 41% — это про работу за компьютером по готовому заданию.
scale.com/leaderboard/rli
remotelabor.ai
#агенты #ИИ
Еженедельный дайджест
Лучшее из блогов менторов — раз в неделю
- разборы реальных бизнес-ситуаций
- управление, найм, продукт и продажи
- опыт основателей и практиков клуба
- новые материалы менторов за неделю