Дипломы под запрет: ИИ против высшего образования

Констатация кризиса

Действительно ли все так плохо и теперь проверить знания у студентов, кроме как прямого диалога, уже невозможно?

Дмитрий Чикрин директор института искусственного интеллекта, робототехники и системной инженерии: «Я могу сказать, что в Казанском Федеральном мы с такой проблемой де-факто не сталкиваемся, потому что такого вообще вот самого понятия, как чисто письменная работа, у нас фактически нет. В любом случае неважно, что пишет студент, там, реферат, курсовую, диплом. Всегда проверяется соответствие его знаний и написанному. До искусственного интеллекта дипломные, курсовые, рефераты писали вполне себе естественные интеллекты, которых заказывали в различных центрах.  Этой проблемы не существует. Если студент может доказать, что его уровень знаний соответствует уровню дипломной работы, и в дипломной работе написано не чушь, то заслуживает свою отличную оценку. Но если нет, о чем тут говорить?»

Новость, которая ударила по всем студентам и выпускникам. Минобрнауки допустило отмену дипломных работ. Почему? Потому что нейросети пишут дипломы лучше студентов. За три года доля сгенерированного ИИ текста выросла с 9 до 42 процентов. А на экономических направлениях — до 60.

А как выяснить и как вы это делаете?  Есть у студента знания или нет?

Тимур Аюпов кандидат технических наук, доцент кафедры «Нанотехнологии в электронике» (НТвЭ) Института радиоэлектроники, фотоники и цифровых технологий КНИТУ-КАИ: В любом случае, идет защита диплома, студент выступает устно. То есть она называется защитой, собственно говоря. Мы сначала действительно смотрим пояснительную записку, есть сначала процедура предзащиты, когда мы, допускаем к защите, выясняем, что студент делает, и как правило, проводим достаточно жестко, тоже собираются комиссии. Там задаются любые вопросы, потому что в принципе студенту есть еще время что-то исправить, какие-то вещи.  И задача общем-то преподавателей выяснить слабые места в работе. И обычно уже на этом этапе всегда выясняется, сам человек это делал, либо это кто-то делал за него, либо сделал искусственный интеллект.  И да, конечно, проблемы есть, потому что в принципе сейчас иногда смотришь по-честному, стараешься... Всегда преподаватели стоят на стороне студента. Как бы они строго не спрашивали. Всегда решается коллегиально. Комиссия состоит из 5ти человек. В том числе приглашаются сторонние специалисты. И всегда кто-то из комиссии замечает какие-то огрехи, недочеты, задает вопросы. И действительно обычно очень четко попадают в слабые места, и это сразу проявляется либо на предзащите, либо на защите.

Всего за три года доля текста, сгенерированного нейросетями в студенческих дипломах, выросла с 9% до 42%. На экономических и IT-направлениях этот показатель превышает 60% . Студенты активнее всего используют ИИ для написания введения и заключения

Вот в институтах и вузах давно существует система антиплагиат, которые проверяют работы студентов на их оригинальность. Так ведь?

Это хороший инструмент. Я помню, когда еще учился мой ребенок, то мне рассказывали, как обойти эту систему, но это было достаточно давно,  и никаких тогда искусственных интеллектов еще не было, просто, видимо, брали из интернета эти работы. Так вот, буковку «С» русскую надо было поменять на английскую, и тогда спокойно все проходило.

Так вот, как вы выясняете, чья это работа?

Тимур Аюпов кандидат технических наук, доцент кафедры «Нанотехнологии в электронике» (НТвЭ) Института радиоэлектроники, фотоники и цифровых технологий КНИТУ-КАИ: Очень просто на самом деле. Дело в том, чтобы нейросети поставить задачу, чтобы она сделала хорошую работу, это нужно обладать достаточно хорошей квалификацией. То есть, как правило, человек, не обладающий квалификацией, он ставит простую задачу, она выдает результат, и он не может понять, что нужно или нет. И, как правило, на этой части обычно высвечивается, что человек не знает, что нейросеть нужно проверять. Сравнивать полученные результаты, давать ей дополнительные запросы. И, как правило, квалификации не хватает

А вы, как преподаватели, неужто вы до сих пор читаете все эти дипломные работы бесконечной вот такой толщины? Это же обалдеть можно? Или же вы тоже их прогоняете через искусственный интеллект?

Тимур Аюпов кандидат технических наук, доцент кафедры «Нанотехнологии в электронике» (НТвЭ) Института радиоэлектроники, фотоники и цифровых технологий КНИТУ-КАИ: Дело в том, что, как правило, работа имеет определенную структуру. И если вы работаете с большим объемом таких вещей, как правило, вы идете по пунктам и просто сравниваете.  Первые там есть формальные признаки на уровне задания, на уровне ведения, цель задачи, выводов. Вы просматриваете, что есть внутри.  Читающий специалист может просто пролистать работу и уже понять, в чем суть. Основные вехи он увидит, есть они там или нет. И дальше можно пройти более углублённо, задавать вопросы и так далее. Поэтому в этом плане есть. Да, можно прогнать, например, соответственно, формальным признакам. С этим нейросети справляются великолепно.

А вот подскажите, пожалуйста, есть же разные всякие нейросети. Вот даже у меня в телефоне закачаны три. Ну, у меня только отечественные. Не самые умные, я подозреваю.  Не потому что отечественные, а просто вот самые простые.  Если им задать одну и ту же задачу, они подготовят разные варианты работ или же они будут одинаковыми? 

Дмитрий Чикрин директор института искусственного интеллекта, робототехники и системной инженерии: Да, если уж на то пошло, у любой нейросети есть один из фундаментальных показателей, который можете варьировать, называется температура. Если вы температуру выкручиваете на максимум, то при подаче одного и того же запроса у вас принципиально не может быть даже похожий ответ на предыдущий.

Так слушайте, а зачем тогда вообще скоро будет готовить студентов, принимать их в ВУЗы, обучать, готовить специалистов? Я понимаю, вы это будете проверять. Но в них просто не будет в этих специалистах необходимости.

Дмитрий Чикрин директор института искусственного интеллекта, робототехники и системной инженерии: Ну скажите, мы можем взять вот из зоопарков шимпанзе или гиббонов или орангутангов.  Взять их и посадить, например, за компьютер, и что это даст?  Вы не понимаете. Дело в том, что как раз сейчас есть максимальная потребность в наиболее интеллектуальные прослойки как раз из IT-специалистов, тех, кто занимается интеллектуальным трудом, то есть как раз тем, кто сейчас поступает на специальности, связанной любыми творческими профессиями требуется как можно быстрее и как можно эффективнее повышать свою квалификацию. Хотя бы даже для того, чтобы задавать правильные вопросы нейросетям.  А вот те, кто что называется учится чему-нибудь как-нибудь по этим профессиям, это действительно не имеет смысла это сделать. Это лучше сразу идти и начинать там вязать крючком или там вырезать деревянные фигурки. Это гораздо перспективнее.

Человеческий фактор

Важнее становится способность студента формулировать вопросы, критически оценивать информацию, генерировать идеи, которые ИИ пока не умеет. На защите нужно проверять, как студент мыслит и аргументирует, а не читает ли он с листа

Дмитрий, вот вы знаете, последнюю нашу встречу вы мне рассказали, что вы сейчас в поликлинику не ходите, все необходимые анализы свои забиваете в нейросети, получаете результат, потому что, как вы сказали, он достаточно компетентен для того, чтобы в общем не тратить время на поход к рядовому педиатру. Дело в том, что я сам хороший диагност. 

Дмитрий Чикрин директор института искусственного интеллекта, робототехники и системной инженерии: Я могу пример привести. Я, допустим, специалист узкий по направлению цифровой обработки сигналов и по машинному зрению. Например, мне недавно была поставлена интересная задача. Она является некорректной с точки зрения машинного зрения, необходимо определить, условно говоря, контур объектов, которые просвечивают через много исцарапанных пластин, положенного друг на друга стекла. Эта задача не решается классическим алгоритмам машинного зрения.  И классическим алгоритмам машинного зрения я бы ее даже бы и не решил. Но при помощи постоянного диалога с ИИ, проверяя различные концепции, оценивая вместе с ним результат и эту принципиально некорректную задачу, смог решить на протяжении буквально 12-18 часов. Если бы даже она была решаема, меньше месяца у меня этот срок не занял бы. То есть это действительно превосходный инструмент, который позволяет квалифицированным специалистам значительно ускорять решения, в том числе ранее нерешаемых задач. Ну это превосходно.

Но если даже сейчас профессионалы высококомпетентные в различных областях говорят, что искусственный интеллект справляется не хуже среднего работника, тогда зачем эти работники будут нужны вообще? 

Тимур Аюпов кандидат технических наук, доцент кафедры «Нанотехнологии в электронике» (НТвЭ) Института радиоэлектроники, фотоники и цифровых технологий КНИТУ-КАИ: Вот я бы здесь немножко по-другому, другую плоскость вопрос вывел.  Вот Дмитрий сказал, ну как бы навык, да, определенный, вот у него есть навык, что он сидел 18 часов, задавал вопрос и искал ответ. К сожалению, есть проблема, что у современных студентов этого навыка нет, они проскакивают по поверхности. Все поколение, вообще в принципе инфантильное. Да, есть такой момент, вот мы говорили про студентов, да, есть проблема сейчас, например, студент первого курса, их родителей вызывают в институт, чтобы они начали учиться. Раньше такого не было.  И вот этот момент проскакивать по верхушкам. Как выработать навык, чтобы человек сел и разобрался до конца, это вот очень важно. 

Дмитрий Чикрин директор института искусственного интеллекта, робототехники и системной инженерии: Я могу еще дополнить. Это очень важно на самом деле, чтобы было понимание, чем выше становится ваша квалификация, тем проще вы смотрите на вещи.  Условно говоря, для инженера, который там 30-40 лет потратил разработки каких-то систем, тяжелых, условно говоря, атомных реактор, это просто большая паровая машина. Вот студентов нам необходимо доводить сейчас именно до максимально глубокого понимания фундаментальных концепций, а потом они уже разберутся, как там вопросы нейросетям задавать и как эти ответы интерпретироваться.

А почему бы вообще просто не легализовать использование ИИ при издаче экзамена?  Калькулятор же допустим, например, при сдаче ЕГЭ?

Тимур Аюпов кандидат технических наук, доцент кафедры «Нанотехнологии в электронике» (НТвЭ) Института радиоэлектроники, фотоники и цифровых технологий КНИТУ-КАИ: Я за. Нужно регламентировать, как инструмент помощи. Вполне это возможно. Задания могут быть разные. Зависит от того, что на экзамене мы хотим проверить у студента.  Если это какая-то творческая работа, например, нужно сделать какое-то устройство. Объективная проверка будет, работает это устройство или нет. А каким образом он сделал? Какие инструменты он использует? В том числе ИИ это может быть вполне. Главное, что работает, вот есть задача, критерии. А если мы хотим проверить какие-то навыки, которые ему нужны, соответственно, здесь, ну как бы тогда это нужно будет ограничить. Здесь вот задача, что мы хотим получить на выходе.

А вообще, вот при трансформации всего нашего общества и технологических процессов, Дмитрий, вот просто интересно. Вы когда берете на проект какого-то специалиста, вы спрашиваете, какой институт он закончил и какой него диплом?

Дмитрий Чикрин директор института искусственного интеллекта, робототехники и системной инженерии: Однозначно. Я считаю, что человек всегда должен работать по той специальности, по которой он заканчивает. Иначе это плохой специалист. Безусловно.

Если ему, допустим, 30 лет и его компетенции давно и всем известны, то неужто вы будете проверять наличие у него диплома?

Дмитрий Чикрин директор института искусственного интеллекта, робототехники и системной инженерии: Я могу сказать, что у меня сейчас команда участвует в достаточно крупном проекте для автомоторного института, который делает автомобили «Аурус». И вот в этой команде никого, меньше чем с квалификацией кандидата наук-доцент, нет.  Вы знаете, людей гоняли на собеседование, в том числе по поводу того, какой размер батча, нейронности. Я понимаю, что термин ничего не значит. Условно говоря, там какая архитектура слоев. Ну да, это важно.

 Что вместо диплома?

Диплом университетский, он до сих пор важен, да?

Дмитрий Чикрин директор института искусственного интеллекта, робототехники и системной инженерии: А как он может быть не важен? Это статус. Это принципиально.  Это обозначение направления, в котором вы имеете право работать. Если у вас нет диплома, ну вы не имеете права. Я вам сказал, я хороший диагност. Я правда хороший диагност. Не хуже, чем 90 % терапевт, но я же не пытаюсь никого другого лечить. И не надо мне доверять, когда я буду говорить кому-то другому, как ему лечиться. Вот если бы у меня был диплом терапевта, я бы практиковал как терапевт, но я имею право сам для себя это делать. Есть, знаете, астрономы-любители, есть астрономы-профессионалы точно так же.  И так в любой области.  Есть что называть строитель-любитель, ну строит он свой дом. А есть строители, которые возводят высотные здания. Но вы не будете человеку без корочки строителя давать проектировать высотные здания. Каким бы он классным не был.

Сейчас у нас необходимости в работниках нижней и средней компетенции практически нет, потому что все делает нейросети.  Но проблема будет в чем? То, что у нас их сейчас нет и мы от них избавляемся, потому что смысла платить зарплату нет. А с другой стороны, а где мы наберем потом высокопрофессиональных специалистов, если мы не будем готовить начальное и среднее звено. Вот, говорит, замкнутый круг получается.

Тимур Аюпов кандидат технических наук, доцент кафедры «Нанотехнологии в электронике» (НТвЭ) Института радиоэлектроники, фотоники и цифровых технологий КНИТУ-КАИ:  На самом деле много сфер новых появляется, где нужен новый специалист. Человек может реализоваться тот же студент.  Например, сейчас в области технического творчества возможности никогда не было. Грубо говоря, я, например, когда занимался, еще в радиокружок ходил и сейчас что угодно можно делать. Была бы идея.  Проблема есть, мир меняется. И на самом деле, как бы раньше уже не работает, как будет по-новому, еще неизвестно. Это первый момент.  А второй момент. Ну хорошо, мы здесь в Казани,  это третья столица, у нас там есть компьютеры и так далее. А если мы чуть-чуть сместимся от столицы, насколько много компьютеров, где это мы можем внедрить? Мы сейчас говорим про самый-самый топ. А у нас даже связь не везде есть, где она будет работать. У нас горизонт рабочих высококвалифицированных специалистов очень большой. Никуда он не делался, и он будет дальше. Другое дело, что я бы сказал, что к этим специалистам, чтобы они умели владеть искусственным интеллектом, внедрять, пользоваться, становиться более эффективными, более производительными, как Дмитрий сказал, он решил задачу, которой раньше бы потребовался месяц, за 18 часов, такое вот диалога творческой работы. Вот таких специалистов мы должны готовить.

 А это уже получается, с нейросетью идет творческая работа. Вы ней общаетесь уже как с коллегой, а не как с калькуляторами.

Дмитрий Чикрин директор института искусственного интеллекта, робототехники и системной инженерии: Ну я конкретно общаюсь знаете, как с талантливым аспирантом. Вот знаете, вот которому даешь задачу, он пытается делать, он допускает ошибки, он способен вместе с тобой это интерпретировать.  Я не знаю на что способны вот эти вот модели, которые вышли сейчас, вот которых есть косвенные сведения, но я подозреваю, что с ним уже можно общаться не как с аспирантом, а как уже с коллегой своего уровня.

Взгляд в будущее

Дмитрий Евгеньевич, вы можете сделать небольшой прогноз не на два-три года, потому что действительно все молниеносно, хотя бы на полгода-год, что там будет дальше, что впереди?

Дмитрий Чикрин директор института искусственного интеллекта, робототехники и системной инженерии: С текущими моделями, которые вышли две недели назад, нет, не могу. Они принципиально выходят из динамики развития существующих моделей и их возможностей. и сейчас слишком мало времени прошло, чтобы делать какие-либо прогнозы дальше. 

Диплом как письменная работа с высокой вероятностью уйдет в прошлое. Однако это не конец высшего образования, а его трансформация. Она должна сместить фокус с проверки умения компилировать тексты на оценку критического мышления, коммуникации и способности решать сложные, нешаблонные задачи, работая в сотрудничестве с искусственным интеллектом