8 (800) 775 4121
Назад
1 303
20 марта 2024
Сочинения и рефераты нейросетей: как отличить от человеческих
Статья 
Оглавление
ChatGPT и аналоги помогают писать рефераты, доклады и даже сочинения. Но использовать их без редактуры наивно. Преподаватели и специальные сервисы легко определяют подмену. Однако это не значит, что нейросети бесполезны для написания серьёзных текстов. Полезны. Но только если не выдавать их работы за свои как есть, а «докрутить» текст нейросети по подсказкам из этой статьи.
Редакция Журнала «ИнтернетУрок» провела эксперимент. Преподаватели и эксперты в сфере IT подсказали нам маркеры, которые выдают тексты нейросетей. С помощью одной из них редакция сгенерировала сочинение. Мы проверили, определит ли сервис проверки, что новый текст писала нейросеть. А дальше исправили все недочёты по подсказкам наших экспертов и проверили снова — не только через сервис, но и показали текст преподавателю литературы.
Для эксперимента мы сгенерировали текст сочинения, посвящённый образу Мастера в романе Михаила Булгакова. Чтобы сузить поле для размышлений, задали класс ученика и попросили нейросеть сфокусироваться на конкретных аспектах.
Получившийся у нейросети текст мы проверили с помощью сервиса антиплагиата «Проверка уникальности» на Text.ru. Оказалось, что текст уникален на 100 %.
Однако такое сочинение, скорее всего, отправят переписывать. Нейропомощник «Детектор ИИ» на том же сайте подсказывает, что текст на 100 % сгенерирован нейросетью.
Теперь приступаем к доработке по подсказкам наших экспертов. И в конце статьи проверим результат.
Анализируем структуру
Текстам нейросетей присущи бессвязность и провалы в аргументации. Могут быть ошибки в логике, а аргументы могут противоречить друг другу.
Николай Пронев, учредитель IT-компании:
«В текстах нейросетей часто бросаются в глаза логические ошибки, отсутствие связи между частями текста (особенно когда текст объёмный). Если нейросети не были обучены на конкретной предметной области или наборе данных, то они могут генерировать контент с нелогичным или непоследовательным содержанием без логичных аргументов и связей между идеями».
Как исправить
В сочинении, написанном нейросетью, абзацы редко бывают связаны между собой. Это, скорее, подборка ответов на вопросы, сформулированные в запросе. Чтобы текст вызывал больше доверия, добавим вводные конструкции и слова:
-
Образ Мастера противоречив и проходит через конфликт на протяжении всего романа.
-
В начале романа, в середине, ближе к развязке…
-
Лично я считаю, что образ Мастера в некоторым смысле отражает образ самого Булгакова, потому что…
-
После прочтения романа образ Мастера оставляет у меня ощущение…
Текст уже кажется более структурированным, не так ли? Его готовую версию увидите в конце, потому что доделывать предстоит ещё много чего.
Вчитываемся в лексику
Дальше придирчиво перепроверяем подобранные слова. Признаки текстов нейросетей — слишком сложный язык и непонятные слова, например несвойственные возрасту школьника термины.
Ярослав Телишевский, архитектор высоконагруженных приложений:
«Авторство нейросети могут выдавать редко используемые термины, узкоспецифичная лексика или неизвестные слова, которые могут быть ошибками перевода».
Как исправить
Каждое непонятное слово в сдаваемой работе важно перепроверять. Как минимум гуглить, а ещё лучше — проверять по словарям.
Проверяем факты
Нейросети черпают информацию из различных открытых источников, в том числе переводят англоязычные тексты и делают это не всегда корректно. Поэтому полностью доверять фактуре не стоит.
Ирина Воронцова, старший методист Домашней школы «ИнтернетУрок», кандидат педагогических наук:
«Иногда нейросеть серьёзно ошибается, выдавая за чистую монету недостоверные факты, а то и вымышленные данные. Так, например, в литературе нейросеть может “выдумать” для своего текста несуществующую книгу вымышленного автора, героев и их описание, цитаты и т. п. В таком случае важно проверять факты из текста, вызывающего опасения, по источникам, к которым есть доверие».
Логику текста нейросети могут нарушить фактическая ошибка или противоречие даже внутри одного предложения.
Ярослав Телишевский, архитектор высоконагруженных приложений:
«Нейронная сеть может взять факты из любого источника и использовать их в реферате, даже если они не имеют непосредственного отношения к теме. Поэтому важно перепроверять за ней информацию».
Как исправить
Прежде всего хотя бы поверхностно познакомиться с предметом. В нашем случае — с романом «Мастер и Маргарита».
Вчитываемся в стилистику
Тексты нейросетей можно распознать по использованию сложносочинённых и сложноподчинённых предложений более чем с тремя основами, а также причастных и деепричастных оборотов. Если обычно вы сдаёте учителю тексты, состоящие в основном из простых предложений, то подмена будет очевидной.
Миртемир Анорбоев, эксперт в области информационных технологий, астрофизик:
«Тексты, сгенерированные нейросетями, отличает искусственный стиль написания. Их выдаёт чрезмерно сложный или формальный язык, который может выглядеть неестественно. А также предложения, которые звучат правильно с грамматической точки зрения, но лишены смысла в контексте абзаца или раздела».
Старший методист Домашней школы «ИнтернетУрок», кандидат педагогических наук Ирина Воронцова делится и другими маркерами, которые выдают тексты нейросетей:
-
стиль, несвойственный ученику;
-
отсутствие логического, последовательного развития мыслей, фактические ошибки и бессмыслица;
-
нестандартная грамматика, ошибки в структуре предложений, непонятные синтаксические конструкции, неправильное использование порядка слов или предложений, нестандартная или неразборчивая пунктуация, бессвязные фразы;
-
неправильное использование антонимов и синонимов, прилагательных, предлогов, форм слов, личных местоимений, союзов;
-
странные, несвязные ассоциации;
-
непредсказуемые выводы;
-
заимствование идей из других текстов;
-
неправильное цитирование;
-
неожиданные или необычные переходы между темами и идеями;
-
непоследовательное или неудачное составление абзацев.
Как исправить
Пройти проверку сервисов и преподавателя можно, если упростить сложные обороты и стилизовать работу под привычный стиль речь. Не обязательно именно под устную речь, но под стиль, которым обычно пишем аналогичные работы.
Вглядываемся в детали
В текстах нейросетей часто подводят детали и отсутствуют предложения от первого лица. Нейросеть выдаёт свои мысли за истину и не выражает личного отношения. Поэтому очеловечить текст получится, если добавить детали и высказать свою точку зрения. Например, в сочинении пересказ как таковой не уместен, нужно передать личное отношение к событиям, которые описываем.
Алексей Яковлев, руководитель маркетингового отдела аутсорсинговой компании:
«Нейросети могут генерировать текст, используя общие идеи и формулировки, но при этом допускать ошибки в специфических понятиях или деталях. А тексты, написанные человеком, наоборот, отличают уникальные идеи и мнения, основанные на специфических знаниях, понятиях, личном опыте и впечатлениях».
Как исправить
Сделать текст более живым можно, выразив личное мнение. Если вы пишете сочинение, подойдут вводные конструкции «на мой взгляд…», «меня впечатлило…». В рефератах будут уместны более сдержанные обороты: «в соответствии с изученными источниками мы можем сделать вывод, что..», «по мнению автора…». Напомним, в научных работах вместо местоимения «я» принято использовать слова «мы» или «автор».
Проверяем текст через несколько сервисов
Почти готово. Осталось собрать все доработки в единый файл, добавить слова-связки и одну-две незначительные ошибки, чтобы сочинение выглядело более естественным. И переходим к проверке на подлинность и человечность. Для этого можно воспользоваться специализированными онлайн-сервисами. Кроме сервиса «Детектор ИИ» на Text.ru, можно попробовать Turnitin или Quetext. Эти инструменты помогут выявить возможные признаки автоматического генерирования контента.
Алексей Яковлев, руководитель маркетингового отдела аутсорсинговой компании:
«Существуют специальные онлайн-сервисы и программы, разработанные для выявления текстов, созданных нейросетями, например GPT-3 Detector от OpenAI или Botometer. Они анализируют стилистику, синтаксис и другие лингвистические особенности англоязычного текста, чтобы определить, написан ли он человеком или сгенерирован нейросетью».
Начнём проверку с «Детектора ИИ», который в начале эксперимента понял, что текст на 100 % создан нейросетью. С нашими доработками сервис уже считает, что сочинение написано человеком.
Для надёжности перепроверяем сочинение ещё и через Quetext. Сервис меняет регистр букв, но в целом анализирует русский текст и тоже выдаёт вердикт, что текст писал человек.
На всякий случай проверяем оригинальность там же, на Text.ru. Всё в порядке. Уникальность 100 %. Сервис видит три ошибки. Два слова он не знает: «Ершалаим» и «булгаковеды», это нормально. Точку намеренно оставляем раздельно, как элемент свойственной людям небрежности и взволнованности. Такое сочинение можно сдавать преподавателю.
И вот он, момент истины. Показываем текст эксперту.
Ирина Воронцова, старший методист Домашней школы «ИнтернетУрок», кандидат педагогических наук:
«На мой взгляд, предложенный текст действительно похож на тот, который школьник написал сам. Даже если ученик взял за основу текст из нейросети, то он проделал огромную работу, чтобы сочинение было похоже на настоящее: он переосмыслил представленную информацию, “пропустил” её через себя и создал свою авторскую, творческую работу. Что можно уже считать самостоятельной деятельностью.
Также из работы видно, что школьник хорошо знает структуру сочинения: она должна быть трёхчастной. Что мы и наблюдаем в работе: введение (первый абзац), основная часть (2–4-й абзацы), заключение (5-й абзац). Стиль изложения вполне приемлем для старшеклассника. На протяжении всей работы ученик высказывает своё мнение («считаю», «на мой взгляд»), что тоже укрепляет мысль о том, что работа написана самостоятельно. В работе имеются ошибки и недочёты, которые тоже вполне могут убедить читателя, что ученик изложил свои мысли самостоятельно, без использования новых технологий».
И напоследок забавный факт. Основу для этой статьи мы создали тоже с помощью нейросети.
Фокус в том, что мы довели до ума текст нейросети по подсказкам экспертов в этой статье и рекомендациям автора нашего практического курса «Нейросети для жизни и учёбы» Александром Жданом — одним из самых опытных пользователей нейросетей. С помощью нейросетей Александр написал диплом для РГГУ и нашёл невесту. Вместе с ним школьники на нашем курса учатся генерировать текст, картинки, аудио, анимацию, программный код и создавать игры. Приглашаем и вас нанять себе в ассистенты для учёбы и творчества 10 нейросетей, о которых узнаете на курсе.
