Как распознать текст нейросети
Нейросеть VS студент
Мы попросили ChatGPT написать эссе по истории отечественной журналистики на тему «Перестройка и гласность». Чтобы текст соответствовал критериям, ограничили количество символов до пяти тысяч и задали структуру текста: вступление, основная часть, выводы и список литературы. В результате получили сырой текст со странными конструкциями и повторами:
— «В 1980-е годы журналистика в СССР переживала период изменений, связанных с появлением гласности в обществе и на средствах массовой информации».
— «Они обсуждали проблемы, связанные с экономикой <...>. Журналисты обсуждали проблемы, связанные с коррупцией…»
Также мы просили опираться на научную литературу российских авторов. Бот должен был вставить цитаты с указанием, откуда они взяты. С этим оказалось больше всего проблем. Нейросеть не видела связи между действительно использованными источниками и созданным списком, поэтому добавлять цитаты и названия текстов приходилось отдельными запросами. К тому же бот не прошёл «проверку на честность» — ни одну из упомянутых статей не нашли поисковики.
ИИ не прошёл проверку человеком
Эссе проверил преподаватель кафедры журналистики и литературоведения СФУ. Из 28 возможных баллов ChatGPT получил 15 и то за оформление, грамотность и структуру. Как отмечает преподаватель, содержание — слабое место бота. В эссе полно пустых фраз. Нейросеть грешит самоповторами и ошибается в фактах. Например, ИИ соврал, сказав, что газеты «Комсомольская правда» и «Известия» появились в период перестройки. Словом, ChatGPT без труда соблюдает формальные критерии, но не может рассуждать.
Это же эссе показали журналистам-магистрантам. Они определяли, что написала нейросеть, выбирая между неидеальным человеческим текстом и сгенерированным. Угадал только один студент из пятерых, остальных сбили с толку невнятные формулировки. Ничто так не выдаёт человека, как опечатки и стилистические неточности.
Детектор лжи для ИИ
Чтобы попытаться узнать, кем написан текст, можно использовать сервисы-детекторы, которые находят признаки искусственного интеллекта. На них мы проверили наше эссе.
«AI Content Detector» от Сopyleaks. Сервис посчитал, что эссе написано человеком с вероятностью 54,6%. После грубого перевода текста на английский язык через Google translate результаты упали до 36,8% — сайт нашёл признаки ИИ.
«AI Detector» от ContentAtScale.ai. Любой текст на русском сервис приписывает ботам. Эссе от ChatGPT он посчитал предсказуемым на 95%, а вероятность того, что его писал человек, оценил в 27%. Следом мы загрузили текст на русском, написанный человеком, — он получил 97% предсказуемости. Совсем другие результаты мы получили после перевода на английский. Эссе бота он определил как написанное человеком совместно с ИИ. Степень человеческого вмешательства он оценил в 74%.
Что дальше?
Уже сейчас создают специальные теги, вшитые в каждый сгенерированный ИИ текст. Это значительно упростит работу сервисам-детекторам. А преподавателям придётся пересмотреть свой подход к домашним заданиям, пока разработчики улучшают технологии.
Дарья Александровна УСТЮЖАНИНА, канд. филос. наук, доцент кафедры журналистики и литературоведения ИФиЯК СФУ:
— Я думаю, что преподавателям не нужно бояться искусственного интеллекта, тем более не нужно его игнорировать — это ведь инструмент. Как у каждого инструмента, у него есть своя сфера применения и свои ограничения, конечно, он может использоваться как во благо, так и во зло. С одной стороны, почему бы не использовать нейросети для рутинных задач, для поиска быстрых решений. Этому тоже нужно учиться, и я думаю, со временем опыт работы с ИИ станет частью большинства образовательных программ. С другой стороны, безусловно, здесь открывается большой простор для злоупотреблений. Если задача студента — самостоятельное написание текста, то использовать нейросеть — это обман, и его не нужно поощрять. Однако это и вопрос к преподавателям: действительно ли нам нужно давать такие задания, которые студент сделает с помощью искусственного интеллекта и мы не заметим разницы? К тому же, если студенты списывают, жульничают, то это не проблема технологии, а проблема мотивации, и её решение лежит совсем в другой плоскости.
Нейросети помогают не только в учёбе — бот может стать вашим личным сборником анекдотов. Покажите chatGPT несколько излюбленных примеров, объясните структуру шутки и пробуйте. Спустя десяток попыток у вас получится настоящий НейроЮмор — если не вершина комедии, то как минимум ценные своей абсурдностью анекдоты. Вот что получилось у нас.
● Человек пришёл в банк на сдачу крови и спросил, сколько он получит за это денег. Оказалось, что банк не тот.
● На экзамене по математике учительница попросила ученика решить задачу на доске. После того как ученик правильно решил задачу, учительница сказала: «Ты молодец! Может быть, ты станешь учителем математики, как я». На что ученик ответил: «Спасибо, но мне не нужно такое снижение зарплаты».
● Однажды попугай кричал так громко, что хозяева бросили все дела и побежали к клетке, а попугай сказал: «Извините, я просто проверял звук моей сигнализации».
АВТОР — Елизавета ШАРАВИНА, студентка 3 курса ИФиЯК
Автор иллюстрации: Midjourney