На этой неделе компания Google представила Gemini, своего конкурента чат-бота GPT-4 от OpenAI, который превосходит его в математике, программировании и предметных знаниях на самом продвинутом уровне. По утверждению Google, это первая модель, которая успешно конкурирует с экспертами в тесте по 57 предметным областям, пишет Business Insider.
Gemini имеет 3 разных модели, которые различаются по размеру и возможностям, и ее самая продвинутая модель Gemini Ultra пока недоступна для широкой публики, но призвана выполнять очень сложные задачи. Она превосходит GPT-4 в широком спектре операций: от истории и права до генерации кода на Python.
Gemini превзошла GPT-4 в тесте на массовое многозадачное понимание языка (MMLU), который является одним из самых популярных методов оценки знаний и навыков для ИИ.
Эксперты утверждают, что MMLU немного сложнее обычного экзамена для подготовки к поступлению в колледж: он охватывает 57 предметов, включая математику, физику, историю, право, медицину и этику. Gemini Ultra набрал 90% по MMLU, а GPT-4 — 86,4%. Люди-эксперты набрали около 89,8%.
Но одно из преимуществ Gemini перед другими моделями заключается в том, что он изначально мультимодален, то есть разработан с нуля для обработки нескольких типов данных: от текста до аудио, от кода до изображений и видео, тогда как другие мультимодальные модели были созданы путем «сшивания» моделей, состоящих только из текста, из изображения и из звука.
