Нейросеть Сбера ГигаЧат (12+) сдала экзамен по направлению "Математика и компьютерные науки". В ходе аттестационного испытания, проведенного на базе Сколтеха, работа модели была оценена аттестационной комиссией на оценку "4" ("хорошо").
Аттестация проходила в два этапа. Сначала модель прошла тестирование на 500 вопросах закрытого типа в формате MMLU, которые были разработаны преподавателями Сколтеха. Они охватывали девять тем в области компьютерных наук: алгоритмы и структуры данных, базы данных, кибербезопасность, программное обеспечение, программирование, сети и оборудование, специализированное ПО, управление и искусственный интеллект. Средний показатель правильных ответов модели на вопросы составил 76,9%.
Второй этап — очный экзамен с участием аттестационной комиссии, состоящей из восьми докторов технических и физико-математических наук. Эксперты комиссии выбрали три билета из 45, по которым проводили оценку знаний нейросети. Каждый билет содержал два задания — теоретическое и практическое. Все задачи были разработаны специально для этого испытания и отсутствовали в открытых базах, что исключало возможность поиска готовых ответов и требовало от нейросети применения реальных знаний. Для объективной оценки глубины компетенций эксперты не только проверяли ответы, но и задавали уточняющие вопросы, просили объяснить ход рассуждений и анализировали работу модели с нестандартными формулировками.
Оценка проводилась по профильному принципу: например, при оценке ответов модели на задания по программированию решающий голос принадлежал соответствующему эксперту. Применение весовых коэффициентов позволило обеспечить максимальную объективность аттестации. По итогам очного экзамена модель набрала 7 из 10 баллов по шкале Сколтеха.
