Историк устроил экзамен для нейросетей: ученый протестировал ChatGPT и Sage на знание фактов и терминологии и пришел к выводу, что искусственный интеллект лишь имитирует самостоятельные рассуждения и с заданием справился на «троечку».
— Есть такой тип студента: он выучил кое-что, но делает вид, что знает все. И, опираясь на какие-то обрывочные сведения, начинает импровизировать. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, она реагирует адекватно, но в остальном может выдумывать факты, несуществующие работы или авторов, — пояснил экзаменатор — доцент кафедры истории России УрФУ Михаил Киселев.
Обе нейросети дали приемлемый ответ на вопрос: в чем разница между историческими и историографическим источниками? То есть в том, что касается устойчивой общей научной терминологии, и ChatGPT и Sage разбираются.
Следующая задача была посложнее, и тут уже результаты хуже. Итак: сначала вопрос был задан в такой формулировке — «что такое завещание Василия III?». Обе нейросети в целом с ответом справились за исключением некоторых неточностей. Затем ученый использовал устаревший синоним — «что такое духовная Василия III?». И тут нейросети показали незнание исторической терминологии.
— ChatGPT считает, что «это период правления Василия III, когда произошло развитие православной церкви», а Sage — что «это название церковной реформы», — говорит Киселев.На вопрос «какие историки писали о завещании Василия III?» обе нейросети называли наравне с реальными исследователями и их работами также и несуществующие книги несуществующих авторов.
— Если представить, что такая беседа велась на экзамене, то можно сказать, что студент «поплыл» из-за неглубокой проработки материала, хотя и старался держаться уверенно, — сравнивает историк.
Есть вероятность, что хоть нейросеть и не заменит в будущем полноценную подготовку к экзаменам и не напишет авторский диплом, зато может стать подспорьем, например, при оформлении списков литературы, составление аннотации — то есть возьмет на себя часть рутинной, механической (но не творческой) работы.
Иллюстрация к статье:
Обсуждение