18.05.2023 16:57
Новости.
Просмотров всего: 6317; сегодня: 7.

Нейросети сдали экзамен по истории России на «тройку»

Нейросети сдали экзамен по истории России на «тройку»

Доцент кафедры истории России УрФУ Михаил Киселев провел «экзамен» для Chat GPT и Sage. Он протестировал нейросети на знание истории России — исторических фактов и терминологии. По итогу преподаватель назвал нейросеть «студентом-импровизатором» и поставил ей «тройку». Результаты анализа историк озвучил на научном семинаре «Тексты, коды, смыслы: искусственный интеллект — помощник или соперник гуманитария», который состоялся в УрФУ.

«Есть три типа студентов на экзамене. Когда студент успешно осваивает дисциплину, он знает материал, понял, как работать с ним, основные подходы к анализу и может дать отличный самостоятельный ответ. Есть те, что ничего не учат и честно говорят: „Я ничего не знаю“, потом отправляются на пересдачу. Но есть третий тип, когда студент выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения. И здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов», — рассказывает Михаил Киселев.

Так, на вопросы, связанные с использованием устойчивой общей научной терминологии, давались вполне хорошие ответы, добавляет Киселев. Например, обе нейросети дали приемлемый ответ на вопрос «В чем разница между историческими и историографическим источниками? Однако со сложным гуманитарным (историческим) материалом нейросеть не справляется, утверждает доцент. Так, в работе историк имеет дело с языками нескольких эпох: терминология XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XIX века и современный. И все это русский язык, который понимает человек. Нейросеть же владеет только современным русским языком и не воспринимает нюансы языков разных эпох.

«К примеру, я задал вопрос, „Что такое завещание Василия III?“ Ответ Chat GPT — „Завещание Василия III — это документ, составленный российским царем Василием III перед его смертью в 1533 году. В нем он указывал своих наследников и распоряжался имуществом. Согласно завещанию, престол достался его сыну Ивану IV (Грозному), а также были назначены его опекуны и министры“. Ответ Sage — „Завещание Василия III — это правовой акт, оставленный российским царем Василием III перед своей смертью в 1533 году. В завещании был определен порядок правления и наследования престола России. В соответствии с завещанием, после смерти Василия III престол должен был перейти к его сыну Ивану IV, который в то время был еще ребенком“, — рассказывает Киселев. — Обе нейросети неправильно назвали Василия III царем. Этот титул официально примет только Иван IV. А Chat GPT использовал анахронизм „министры“, однако ответ в целом можно считать удовлетворительным».

Затем экзаменатор немного переформулировал тот же вопрос: вместо слова «завещание» использовал исторический термин XVI века — «духовная».

«На вопрос, „что такое духовная Василия III?“ нейросети показали незнание исторической терминологии. Chat GPT заявил, что „это период правления российского царя Василия III (1479-1533), когда произошло значительное развитие православной церкви в России“, а Sage, что „это название церковной реформы, проведенной российским царем Василием III в конце XV — начале XVI веков“», — добавляет Михаил Киселев.

На вопрос «Какие историки писали о завещании Василия III?» обе нейросети сперва начали «лить воду», заявляя, что об этом «писали многие историки», после чего назвали наиболее известных дореволюционных историков типа Сергея Соловьева и Василия Ключевского.

«С учетом того, что им принадлежали обобщающие работы по истории России, это удачный ход: наверняка они что-то должны были об этом писать. В то же время нейросети проигнорировали авторов специальных работ по этой теме, которые ищутся обычным поисковиком. Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу „Истории Российского государства“. Если представить, что такая беседа велась на экзамене, то можно сказать, что студент „поплыл“ из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное», — говорит Михаил Киселев.

Историк полагает, что «неподготовленность» нейросетей связана с тем, что они имитируют самостоятельное мышление посредством генерации правдоподобных текстов на основании загруженных данных. Однако если данные достаточно полные и однозначны, то нейросети показывают хорошие результаты. Так, физик, академик РАН Алексей Хохлов поставил бы нейросети как студенту отличную оценку.

«В тех дисциплинах, где повышается сложность из-за вариативности материала, существования разных подходов и концепций, а также использования разных языков, нейросеть превращается из „отличника“ в посредственного „троечника“, которого хочется отправить на пересдачу. Другое дело, что, возможно, в будущем все же на основе нейросети можно будет создать помощника, который будет на основе индексации загруженных материалов с соответствующими ссылками давать подсказки, где что упоминается. Или, например, возьмет часть технической работы — оформление списков литературы, составление аннотации и ключевых слов. То есть нейросеть не сможет думать за человека, она для этого не приспособлена, однако она сможет создать для этого более комфортные условия», — заключает Киселев.

Источник: https://urfu.ru/ru/news/46796/

Фото: УрФУ.


Участники событий и другие указанные лица:

  • Рюрикович Василий (Василий III) Иванович, великий князь владимирский и московский в 1505 -1533 годах, государь всея Руси, сын Ивана III Великого и Софьи Палеолог, отец Ивана IV Грозного;
  • Рюрикович (Грозный) Иван (Иван IV) Васильевич, государь, великий князь московский и всея Руси с 1533 года, первый венчанный царь всея Руси.
Тематические сайты: Искусственный интеллект, История, Молодежь, Наука, Образование, Русский язык
Сайты субъектов РФ: Свердловская область
Сайты столиц субъектов РФ: Свердловская область - Екатеринбург
Сайты федеральных округов РФ: Уральский федеральный округ
Сайты стран: Россия

Ньюсмейкер: Альянс Медиа Центр — 6892 публикации
Поделиться:

Интересно:

Что надо знать о камеральной проверке
21.06.2024 18:12 Консультации
Что надо знать о камеральной проверке
Камеральная налоговая проверка – это проверка соблюдения налогоплательщиком законодательства о налогах и сборах. Ее проходят все предприниматели после сдачи декларации, отчета или расчета. В большинстве случаев проверка проводится без участия предпринимателя. Для ее начала не требуется какого-либо...
Как следили за качеством продуктов в лавках Москвы в XVIII и XIX веках
21.06.2024 12:17 Новости
Как следили за качеством продуктов в лавках Москвы в XVIII и XIX веках
Торговля пищевыми продуктами всегда привлекала внимание городских властей в Москве. Особую важность они придавали хорошему качеству товара, так как от этого зависело здоровье горожан, предотвращение эпидемий дизентерии, тифа и многих других инфекционных болезней. Поэтому проверки условий хранения и...
Как СССР помогал Северному Вьетнаму в войне против США
20.06.2024 16:35 Новости
Как СССР помогал Северному Вьетнаму в войне против США
5 августа 1964 года американская авиация впервые нанесла воздушные удары по территории Демократической Республики Вьетнам (ДРВ или Северный Вьетнам). Спустя полгода США начали операцию «Раскаты грома», развязав тем самым уже полномасштабную воздушную войну против этой азиатской страны.   ...
«Краснодарский спрут» и прокурор Найдёнов
20.06.2024 15:37 Аналитика
«Краснодарский спрут» и прокурор Найдёнов
Автор: Александр Звягинцев С первых дней работы в прокуратуре меня поражало убеждение большинства сограждан нашей великой страны, что разобраться и наказать виновных прокурору ничего не стоит — было бы желание. Люди считали, что закон торжествует сам собой, надо только, чтобы прокурор отдал...
Большинство россиян этим летом выбрали отдых внутри страны
20.06.2024 14:57 Аналитика
Большинство россиян этим летом выбрали отдых внутри страны
73% туристов, отправляющихся на отдых в летние месяцы воздушным транспортом, выбрали поездки по стране. Среди самых популярных направлений — Сочи и Санкт-Петербург: 21 и 14% от внутренних бронирований россиян соответственно. Каждое четвертое бронирование...