OpenAI никогда не утверждал, что ChatGPT идеален, но с момента своего создания он быстро стал одним из лучших чат-ботов. Однако недавнее исследование, проведенное исследователями из Стэнфордского университета и Калифорнийского университета в Беркли, показало, что языковая модель GPT-4 снижает производительность.
Эти результаты подтверждают показания пользователей, которые в последнее время жаловались на снижение эффективности этого средства. В последние недели увеличилось количество жалоб на эту тему. Кроме того, по словам одного из источников, количество посещений сайта ChatGPT в июне значительно сократилось, что произошло впервые за время его существования. Сообщается, что количество уникальных посетителей уменьшилось на 5,7%, а время, проведенное на сайте, сократилось на 8,5%.
Снижение производительности
Серия тщательных экспериментов, проведенных исследователями, выявила значительное падение производительности ChatGPT в период с марта по июнь. Так, если в марте GPT-4 распознавала простое число с точностью 97,6%, то в июне этот показатель упал до 2,4%. Удивительно, но его предшественник, ГПТ-3,5, показал улучшение: точность возросла с 7,4% до 86,8%.
Исследователи также попросили ИИ решить простую математическую задачу, и здесь GPT-4 снова показал заметное падение, упав с 52% точности в марте до 10% в июне. Не обошлось и без GPT-3.5: точность упала с 22% до 2%. Тем не менее, обе модели показали некоторое улучшение визуального мышления, хотя общий уровень успеха в этой области остается умеренным.
В свою очередь, пользователи также испытали это падение производительности. Форум разработчиков OpenAI был полон мнений, выражающих их недовольство.
Обратите внимание: Новые модели китайских секс-роботов впечатляют своим реализмом.
Неожиданные орфографические и грамматические ошибки, периодическая потеря контекста... Количество жалоб очень велико, и они вызывают законные вопросы о будущей надежности ChatGPT.После наблюдений исследователи умолчали о возможных причинах такого ухудшения качества работы. Однако они поставили под сомнение «улучшения», заявленные для этих моделей.
На фоне растущей озабоченности Питер Велиндер, вице-президент по продуктам OpenAI, заявил не в официальном заявлении, а в твите: «Нет, мы не сделали GPT-4 тупее». Этот категорический отказ идет вразрез с утверждениями недовольных пользователей. Велиндер утверждает, что каждая новая версия ChatGPT должна быть лучше предыдущей. Он также предполагает, что недостатки стали более очевидными из-за того, что чат-бот стал более широко использоваться. Следует также отметить, что GPT-4 все еще находится в стадии разработки, что может объяснить некоторые наблюдаемые несоответствия.
Ситуация напряженная. С одной стороны, пользователи выражают свое недовольство, с другой стороны, OpenAI продолжает отстаивать целостность своих продуктов. Прямо сейчас все внимание приковано к компании, ожидающей более официального ответа или, в идеале, значительного улучшения флагманского продукта. С появлением Google Bard и, возможно, чат-бота Apple, угроза со стороны конкурентов может стать более серьезной в ближайшие месяцы.
Больше интересных статей здесь: Новости науки и техники.