\nОдним из ключевых аргументов в пользу флагманских моделей генеративного ИИ Google, Gemini 1.5 Pro и 1.5 Flash, является количество данных, которые они, как утверждается, могут обрабатывать и анализировать. На пресс-конференциях и демонстрациях Google неоднократно заявляла, что модели способны выполнять ранее невозможные задачи благодаря своему \"долгому контексту\", такие как краткое изложение многих сотенстраничных документов или поиск через сцены в фильмовых кадрах.
\n\nНо новые исследования свидетельствуют о том, что модели на самом деле не очень хороши в этом.
\n\nДва отдельных исследования изучили, насколько хорошо Gemini модели Google и другие понимают огромное количество данных - например, работы длиной с в \"Войне и мире\". В обоих случаях выяснилось, что Gemini 1.5 Pro и 1.5 Flash трудно правильно отвечают на вопросы о крупных наборах данных; в одной серии тестов на основе документов модели дали правильный ответ только в 40%-50% случаев.
\n\n\"Хотя модели, подобные Gemini 1.5 Pro, технически могут обрабатывать длинные контексты, мы видели много случаев, указывающих на то, что модели на самом деле не 'понимают' содержания\", - рассказала TechCrunch Маржена Карпинска, постдок в Университете Массачусетса в Амхерсте и соавтор одного из исследований.
\n\nОкно контекста Gemini недостаточно
\n\nКонтекст модели, или окно контекста, относится к исходным данным (например, тексту), которые модель учитывает перед генерацией вывода (например, дополнительного текста). Простой вопрос - \"Кто выиграл президентские выборы США 2020 года?\" - может служить контекстом, как и сценарий фильма, шоу или аудиозапись. И по мере роста окон контекста возрастает размер документов, которые в них помещаются.
\n\nНовейшие версии Gemini могу принимать более 2 миллионов токенов в качестве контекста. (\"Токены\" - это подразделенные фрагменты исходных данных, например, слоги \"вентилятор\", \"сумасшедший\" и \"тич\" в слове \"фантастический\".) Это эквивалентно примерно 1,4 миллиона словам, двум часам видео или 22 часам аудио - самый большой контекст среди всех коммерчески доступных моделей.
\n\nНа одной из брифингов в этом году Google показала несколько предзаписанных демонстраций, призванных продемонстрировать потенциал долгих возможностей контекста Gemini. Один из них предполагал, что Gemini 1.5 Pro искал в транскрипте телепередачи о посадке на Луну Apollo 11 - около 402 страниц - цитаты, содержащие шутки, а затем находил сцену в передаче, похожую на карандашный набросок.
\n\nВице-президент по исследованиям Google DeepMind Ориоль Виньяльс, который возглавил брифинг, описал модель как \"волшебную\".
\n\n\"[1.5 Про] выполняет такие типы рассуждений на каждой странице, каждом слове\", - сказал он.
\n\nЭто могла быть преувеличение.
\n\nВ одном из упомянутых исследований, бенчмаркинг этих возможностей, Карпинска вместе с исследователями Института Аллена для ИИ и Принстонского университета попросили модели оценить утверждения правда/ложь о литературных произведениях на английском языке. Исследователи выбрали недавние произведения, чтобы модели не могли \"подтасовывать\" результаты, и рассеяли утверждения ссылками на конкретные детали и сюжетные точки, которые было бы невозможно понять без прочтения всей книги в целом.
\n\nПолучив утверждение типа \"Используя свои навыки Апота, Нусис способна проанализировать тип портала, открытого реагентами ключа, найденного в деревянном сундуке Роны\", Gemini 1.5 Pro и 1.5 Flash - оба имеют описанные книги в основе - должны были сказать, верно это утверждение или ложно, а также объяснить свое рассуждение.
\n\n![](\"https://techcrunch.com/wp-content/uploads/2024/06/test-book.png?w=680\")
Протестированный на одной книге примерно 260 000 слов (~520 страниц), ученые выяснили, что 1.5 Pro правильно отвечал на утверждения правда/ложь в 46,7% случаев, тогда как Flash правильно отвечал только в 20% случаев. Это означает, что монета заметно лучше справляется с вопросами о книге, чем последняя модель машинного обучения Google. Усреднив все результаты бенчмарка, ни одна из моделей не смогла достичь более высокого, чем случайный шанс, уровня точности ответов на вопросы.
\n\n\"Мы заметили, что модели с трудом подтверждают утверждения, требующие рассмотрения больших частей книги, а иногда и всей книги, по сравнению с утверждениями, которые можно решить путем извлечения доказательств на уровне предложения\", - сказала Карпинска. \"Качественно мы также заметили, что модели имеют трудности с проверкой утверждений о неявной информации, ясной для человеческого читателя, но не явно выраженной в тексте\".
\n\nВторое из двух исследований, проведенное совместно исследователями из Университета Калифорнии в Санта-Барбаре, тестировало способность Gemini 1.5 Flash (но не 1.5 Pro) к \"рассуждению через\" видео - то есть к поиску и ответу на вопросы о содержании в них.
\n\nСоавторы создали набор данных изображений (например, фотографии торта на день рождения), сопоставленных с вопросами, на которые модель должна ответить оображенных на изображениях объектов (например, \"Какой мультяшный персонаж изображен на этом торте?\"). Для оценки моделей они выбрали одно изображение произвольно и вставили \"отвлекающие\" изображения до и после него, чтобы создать фрагментированные кадры.
\n\nFlash проявил себя не очень хорошо. В тесте, который требовал от модели транскрибировать шесть рукописных цифр из \"слайд-шоу\" из 25 изображений, Flash правильно транскрибировал около 50% цифр. Точность упала до около 30% с восемью цифрами.
\n\n\"На реальных задачах вопросов и ответов по изображениям, кажется, что для всех моделей, которые мы тестировали, это особенно сложно\", - сказал ТехКранч Майкл Саксон, аспирант Университета Калифорнии в Санта-Барбаре и один из соавторов исследования. \"Это небольшое количество рассуждений - распознавание того, что число находится в рамке и его чтение - может быть тем, что ломает модель\".
\nGoogle переоценивает потенциал Gemini
\n\nНи одно из исследований не прошло через пэер-ревью, и они не касаются версий Gemini 1.5 Pro и 1.5 Flash с контекстами из 2 миллионов токенов. (Оба были протестированы на релизах с контекстами из 1 миллиона токенов.) И Flash предназначен не быть таким же способным, как Pro, в терминах производительности; Google рекламирует его как недорогую альтернативу.
\n\nТем не менее, оба добавляют топлива в огонь, что Google переоценивает - и недооценивает - с Gemini с самого начало. Ни одна из моделей, протестированных исследователями, включая GPT-4o от OpenAI и Claude 3.5 Sonnet от Anthropic, не показала хорошие результаты. Но Google - единственный поставщик моделей, который выделяет окно контекста в рекламных материалах.
\n\nЛучшая демонстрация Gemini от Google была подделана\n
\"Нет ничего плохого в простом утверждении, 'Наша модель может принимать X количество токенов' на основе объективных технических деталей\", - сказал Саксон. \"Но вопрос в том, на что это позволяет.\"
\n\nГенеративный ИИ в широком смысле стал подвергаться все более строгой критике, поскольку бизнесы (и инвесторы) ощущают разочарование из-за ограничений технологии.
\n\nВ паре недавних опросов от Бостонской консалтинговой группы около половины респондентов - все представители топ-менеджмента - заявили, что они не ожидают, что генеративный ИИ принесет существенный рост производительности и что они обеспокоены возможностью ошибок и компрометации данных, вызванными инструментами на основе генеративного ИИ. PitchBook недавно сообщила, что в течение двух последних кварталов сделки с генеративным AI на ранних стадиях обрушились, упав на 76% с пика в третьем квартале 2023 года.
\n\nСталкиваясь с чатботами, краткими конспектами встреч, которые придумывают выдуманные детали о людях и искусственными интеллектом, которые в основном являются генераторами плагиата, клиенты ищут обещающие дистинкции. Google - который гонялся, иногда неуклюже, чтобы догнать своих конкурентов по генеративному ИИ - был отчаян оставить контекст Gemini одним из этих дистинктивов.
\n\n'Неловко и неправильно': Google признал, что потерял контроль над генератором изображений на основе ИИ\n
Но ставка, видимо, была преждевременной.
\n\n\"Мы до сих пор не определились с тем, как показать, что 'рассуждение' или 'понимание' в длинных документах происходит, и практически все группы, выпускающие эти модели, выкладывают свои собственные ад-хок оценки, чтобы подтвердить эти утверждения\", - сказала Карпинска. \"Без знаний о том, как реализована обработка длинных контекстов - компании не делятся этими подробностями - трудно сказать, насколько реальными являются эти утвержд
