Повідомляється про виникаючі побоювання, пов’язаних з використанням студентами чат-бота ChatGPT для швидкого створення есе. У відповідь на ці побоювання стартапи випускають інструменти, які обіцяють визначити, чи був текст написаний людиною або машиною.
Однак нове дослідження, проведене Деборою Вебер-Вульф і її колегами, показує, що обдурити ці інструменти досить легко. Вони оцінили здатність 14 інструментів, таких як Turnitin, GPT Zero і Compilatio, виявляти текст, написаний за допомогою ChatGPT OpenAI.
“ Якщо автоматичні системи виявлення будуть використовуватися в освітніх установах, вкрай важливо розуміти рівень ложноположітельних результатів, оскільки неправильне звинувачення учня в списуванні може мати жахливі наслідки для його академічної кар’єри. Відсоток помилково негативні результати також важливий, тому що, якщо занадто багато текстів, згенерованих ІІ, видаються за написані людиною, система виявлення марна ”, — повідомляє експерт.
Дослідники з’ясували, що більшість інструментів насилу розпізнають текст, який був грайливо змінений людьми за допомогою інструменту перефразування. Це означає, що студентам досить трохи адаптувати есе, згенеровані штучним інтелектом, щоб обійти виявлення.
Інструменти добре працюють в розпізнаванні тексту, написаного людьми ( з точністю близько 96% ), але показали низьку ефективність в розпізнаванні тексту, згенерованого штучним інтелектом, особливо якщо він був змінений. Їх точність розпізнавання тексту ChatGPT склала 74%, але знизилася до 42% при незначних змінах в згенерованому тексті.
Це дослідження також підкреслює застарілі методи оцінки навчальних робіт в університетах, зазначає Вітомір Кованович. Він також зазначає, що важливо враховувати хибнопозитивні і помилково негативні результати, так як неправильне звинувачення студента або недостатнє виявлення текстів, згенерованих штучним інтелектом, можна вважати серйозною проблемою.
