Назад
views 663
calendar 20 марта 2024

Сочинения и рефераты нейросетей: как отличить от человеческих

Сочинения и рефераты нейросетей: как отличить от человеческих
Фото: Thongden Studio, Shutterstock
contents Оглавление
Свернутьarrow
Редакционный эксперимент с текстами нейросетей по подсказкам экспертов в информационных технологиях

ChatGPT и аналоги помогают писать рефераты, доклады и даже сочинения. Но использовать их без редактуры наивно. Преподаватели и специальные сервисы легко определяют подмену. Однако это не значит, что нейросети бесполезны для написания серьёзных текстов. Полезны. Но только если не выдавать их работы за свои как есть, а «докрутить» текст нейросети по подсказкам из этой статьи.

Редакция Журнала «ИнтернетУрок» провела эксперимент. Преподаватели и эксперты в сфере IT подсказали нам маркеры, которые выдают тексты нейросетей. С помощью одной из них редакция сгенерировала сочинение. Мы проверили, определит ли сервис проверки, что новый текст писала нейросеть. А дальше исправили все недочёты по подсказкам наших экспертов и проверили снова — не только через сервис, но и показали текст преподавателю литературы. 

Для эксперимента мы сгенерировали текст сочинения, посвящённый образу Мастера в романе Михаила Булгакова. Чтобы сузить поле для размышлений, задали класс ученика и попросили нейросеть сфокусироваться на конкретных аспектах.  

Пример запроса нейросети, чтобы написать сочинение на пятерку

Получившийся у нейросети текст мы проверили с помощью сервиса антиплагиата «Проверка уникальности» на Text.ru. Оказалось, что текст уникален на 100 %. 

Как проверять сочинения нейросетей — пример

Однако такое сочинение, скорее всего, отправят переписывать. Нейропомощник «Детектор ИИ» на том же сайте подсказывает, что текст на 100 % сгенерирован нейросетью. 

Реферат нейросетей — пример проверки

Теперь приступаем к доработке по подсказкам наших экспертов. И в конце статьи проверим результат. 

Анализируем структуру

Текстам нейросетей присущи бессвязность и провалы в аргументации. Могут быть ошибки в логике, а аргументы могут противоречить друг другу. 

Николай Пронев, учредитель IT-компании:

«В текстах нейросетей часто бросаются в глаза логические ошибки, отсутствие связи между частями текста (особенно когда текст объёмный). Если нейросети не были обучены на конкретной предметной области или наборе данных, то они могут генерировать контент с нелогичным или непоследовательным содержанием без логичных аргументов и связей между идеями».

Как переделать сочинение и реферат нейросети, подсказывает учредитель IT-компании

Как исправить

В сочинении, написанном нейросетью, абзацы редко бывают связаны между собой. Это, скорее, подборка ответов на вопросы, сформулированные в запросе. Чтобы текст вызывал больше доверия, добавим вводные конструкции и слова: 

  • Образ Мастера противоречив и проходит через конфликт на протяжении всего романа. 

  • В начале романа, в середине, ближе к развязке…

  • Лично я считаю, что образ Мастера в некоторым смысле отражает образ самого Булгакова, потому что…

  • После прочтения романа образ Мастера оставляет у меня ощущение…

Текст уже кажется более структурированным, не так ли? Его готовую версию увидите в конце, потому что доделывать предстоит ещё много чего.

Вчитываемся в лексику 

Дальше придирчиво перепроверяем подобранные слова. Признаки текстов нейросетей — слишком сложный язык и непонятные слова, например несвойственные возрасту школьника термины. 

Ярослав Телишевский, архитектор высоконагруженных приложений:

«Авторство нейросети могут выдавать редко используемые термины, узкоспецифичная лексика или неизвестные слова, которые могут быть ошибками перевода».

Как отличить  реферат и сочинения нейросетей от человеческих — показывает архитектор высоконагруженных приложений 

Как исправить

Каждое непонятное слово в сдаваемой работе важно перепроверять. Как минимум гуглить, а ещё лучше — проверять по словарям.

Пример как исправить сочинение нейросети, чтобы учитель не догадался

Проверяем факты

Нейросети черпают информацию из различных открытых источников, в том числе переводят англоязычные тексты и делают это не всегда корректно. Поэтому полностью доверять фактуре не стоит. 

Ирина Воронцова, старший методист Домашней школы «ИнтернетУрок», кандидат педагогических наук:

«Иногда нейросеть серьёзно ошибается, выдавая за чистую монету недостоверные факты, а то и вымышленные данные. Так, например, в литературе нейросеть может “выдумать” для своего текста несуществующую книгу вымышленного автора, героев и их описание, цитаты и т. п. В таком случае важно проверять факты из текста, вызывающего опасения, по источникам, к которым есть доверие».

Как переделать сочинение нейросети, чтобы учитель не догадался, подсказывает педагог

Логику текста нейросети могут нарушить фактическая ошибка или противоречие даже внутри одного предложения.

Ярослав Телишевский, архитектор высоконагруженных приложений:

«Нейронная сеть может взять факты из любого источника и использовать их в реферате, даже если они не имеют непосредственного отношения к теме. Поэтому важно перепроверять за ней информацию».

Как исправить

Прежде всего хотя бы поверхностно познакомиться с предметом. В нашем случае — с романом «Мастер и Маргарита». 

Реферат нейросети — как переделать, чтобы получить пятёрку

Вчитываемся в стилистику

Тексты нейросетей можно распознать по использованию сложносочинённых и сложноподчинённых предложений более чем с тремя основами, а также причастных и деепричастных оборотов. Если обычно вы сдаёте учителю тексты, состоящие в основном из простых предложений, то подмена будет очевидной. 

Миртемир Анорбоев, эксперт в области информационных технологий, астрофизик:

«Тексты, сгенерированные нейросетями, отличает искусственный стиль написания. Их выдаёт чрезмерно сложный или формальный язык, который может выглядеть неестественно. А также предложения, которые звучат правильно с грамматической точки зрения, но лишены смысла в контексте абзаца или раздела».

Сочинение нейросети — как преподаватель может понять подмену, объясняет IT-эксперт

Старший методист Домашней школы «ИнтернетУрок», кандидат педагогических наук Ирина Воронцова делится и другими маркерами, которые выдают тексты нейросетей: 

  • стиль, несвойственный ученику;

  • отсутствие логического, последовательного развития мыслей, фактические ошибки и бессмыслица;

  • нестандартная грамматика, ошибки в структуре предложений, непонятные синтаксические конструкции, неправильное использование порядка слов или предложений, нестандартная или неразборчивая пунктуация, бессвязные фразы;

  • неправильное использование антонимов и синонимов, прилагательных, предлогов, форм слов, личных местоимений, союзов;

  • странные, несвязные ассоциации;

  • непредсказуемые выводы;

  • заимствование идей из других текстов;

  • неправильное цитирование;

  • неожиданные или необычные переходы между темами и идеями;

  • непоследовательное или неудачное составление абзацев.

Как исправить

Пройти проверку сервисов и преподавателя можно, если упростить сложные обороты и стилизовать работу под привычный стиль речь. Не обязательно именно под устную речь, но под стиль, которым обычно пишем аналогичные работы. 

Как получить пятерку за сочинение или реферат нейросети — пример доработок

Вглядываемся в детали 

В текстах нейросетей часто подводят детали и отсутствуют предложения от первого лица. Нейросеть выдаёт свои мысли за истину и не выражает личного отношения. Поэтому очеловечить текст получится, если добавить детали и высказать свою точку зрения. Например, в сочинении пересказ как таковой не уместен, нужно передать личное отношение к событиям, которые описываем.  

Алексей Яковлев, руководитель маркетингового отдела аутсорсинговой компании: 

«Нейросети могут генерировать текст, используя общие идеи и формулировки, но при этом допускать ошибки в специфических понятиях или деталях. А тексты, написанные человеком, наоборот, отличают уникальные идеи и мнения, основанные на специфических знаниях, понятиях, личном опыте и впечатлениях».

Какие детали выдают сочинения и рефераты нейросетей — объясняет руководитель

Как исправить

Сделать текст более живым можно, выразив личное мнение. Если вы пишете сочинение, подойдут вводные конструкции «на мой взгляд…», «меня впечатлило…». В рефератах будут уместны более сдержанные обороты: «в соответствии с изученными источниками мы можем сделать вывод, что..», «по мнению автора…». Напомним, в научных работах вместо местоимения «я» принято использовать слова «мы» или «автор».

Лайфхак, как получить пятерку за сочинение и реферат нейросети — сработавший пример

Проверяем текст через несколько сервисов 

Почти готово. Осталось собрать все доработки в единый файл, добавить слова-связки и одну-две незначительные ошибки, чтобы сочинение выглядело более естественным. И переходим к проверке на подлинность и человечность. Для этого можно воспользоваться специализированными онлайн-сервисами. Кроме сервиса «Детектор ИИ» на Text.ru, можно попробовать Turnitin или Quetext. Эти инструменты помогут выявить возможные признаки автоматического генерирования контента. 

Алексей Яковлев, руководитель маркетингового отдела аутсорсинговой компании:

«Существуют специальные онлайн-сервисы и программы, разработанные для выявления текстов, созданных нейросетями, например GPT-3 Detector от OpenAI или Botometer. Они анализируют стилистику, синтаксис и другие лингвистические особенности англоязычного текста, чтобы определить, написан ли он человеком или сгенерирован нейросетью».

Начнём проверку с «Детектора ИИ», который в начале эксперимента понял, что текст на 100 % создан нейросетью. С нашими доработками сервис уже считает, что сочинение написано человеком. 

Пример работы сервиса, который проверяет, кто писал сочинение или реферат: нейросеть или человек

 

Для надёжности перепроверяем сочинение ещё и через Quetext. Сервис меняет регистр букв, но в целом анализирует русский текст и тоже выдаёт вердикт, что текст писал человек. 

Пример работы сервиса, который определяет, что реферат или сочинение писала нейросеть

На всякий случай проверяем оригинальность там же, на Text.ru. Всё в порядке. Уникальность 100 %. Сервис видит три ошибки. Два слова он не знает: «Ершалаим» и «булгаковеды», это нормально. Точку намеренно оставляем раздельно, как элемент свойственной людям небрежности и взволнованности. Такое сочинение можно сдавать преподавателю.

Пример проверки через сервисы реального сочинения нейросети

И вот он, момент истины. Показываем текст эксперту.

Ирина Воронцова, старший методист Домашней школы «ИнтернетУрок», кандидат педагогических наук:

«На мой взгляд, предложенный текст действительно похож на тот, который школьник написал сам. Даже если ученик взял за основу текст из нейросети, то он проделал огромную работу, чтобы сочинение было похоже на настоящее: он переосмыслил представленную информацию, “пропустил” её через себя и создал свою авторскую, творческую работу. Что можно уже считать самостоятельной деятельностью. 

Также из работы видно, что школьник хорошо знает структуру сочинения: она должна быть трёхчастной. Что мы и наблюдаем в работе: введение (первый абзац), основная часть (2–4-й абзацы), заключение (5-й абзац). Стиль изложения вполне приемлем для старшеклассника. На протяжении всей работы ученик высказывает своё мнение («считаю», «на мой взгляд»), что тоже укрепляет мысль о том, что работа написана самостоятельно. В работе имеются ошибки и недочёты, которые тоже вполне могут убедить читателя, что ученик изложил свои мысли самостоятельно, без использования новых технологий».

И напоследок забавный факт. Основу для этой статьи мы создали тоже с помощью нейросети. 

Текст нейросети — пример, как переделать в человеческий

Фокус в том, что мы довели до ума текст нейросети по подсказкам экспертов в этой статье и рекомендациям автора нашего практического курса «Нейросети для жизни и учёбы» Александром Жданом — одним из самых опытных пользователей нейросетей. С помощью нейросетей Александр написал диплом для РГГУ и нашёл невесту. Вместе с ним школьники на нашем курса учатся генерировать текст, картинки, аудио, анимацию, программный код и создавать игры. Приглашаем и вас нанять себе в ассистенты для учёбы и творчества 10 нейросетей, о которых узнаете на курсе. 

Домашняя школа «ИнтернетУрок» Б. Гнездниковский, 1 стр.2, Москва, 125375 8 (800) 775 4121
Лого sitehere.ru