Исследование Центра цифровой журналистики Tow показало, что ChatGPT часто предоставляет неточные ответы и затрудняется в поиске достоверных источников новостей.
Специалисты Центра цифровой журналистики Tow при Колумбийском университете протестировали поисковую функцию популярного чат-бота ChatGPT от OpenAI. Результаты показали, что алгоритм сталкивается с трудностями при поиске достоверных источников новостей и часто предоставляет неточные ответы.
OpenAI представила функцию поиска в ChatGPT в октябре этого года, обещая быстрые и актуальные ответы с ссылками на соответствующие веб-источники. Однако тестирование показало, что бот слабо распознает цитаты из статей, даже если издатели разрешили использование своего контента для обучения больших языковых моделей (LLM).
Исследователи попросили ChatGPT указать источники для 200 цитат из 20 различных источников. Из них 40 цитат поступили из материалов издателей, запретивших доступ к своим сайтам для поискового робота OpenAI. Несмотря на это, чат-бот уверенно предоставлял ложную информацию и иногда признавался в неуверенности относительно достоверности ответов.
«В сумме ChatGPT дал частично или полностью неправильные ответы в 153 случаях. В только 7 случаях бот признался в невозможности предоставить точный ответ, используя такие выражения как “похоже”, “возможно” или “я не смог найти оригинальную статью”», — пишут исследователи.
Во время тестов также выявились случаи, когда поисковый инструмент ChatGPT ошибочно связывал цитаты из письма в редакцию Orlando Sentinel с материалами журнала Time. В другом примере бот ошибочно указал источник цитаты из статьи New York Times о вымирающих китах, предоставив ссылку на сайт, скопировавший и опубликовавший оригинальную статью без изменений.
