Издание PLoS ONE опубликовало результаты исследования, в рамках которого учёные пытались выяснить, сможет ли ChatGPT выполнять функции консультанта по диабету.
Нейросеть привлекла внимание учёных своим неизученным потенциалом клинического применения. Первичные исследования показали, что люди стали часто обращаться к ИИ за медицинской консультацией.
За основательное изучение вопроса решили взяться учёные из Дании. Возможности ChatGPT испытывали, используя тематику диабета. Для участия в исследовании были выбраны люди, хорошо знающие теоретическую сторону вопроса. Они попытались определить, кто отвечает на вопросы — ИИ или же реальный специалист.
На базе теста Тьюринга был разработан компьютерный опрос закрытого формата, включающий в себя 10 вопросов. Они были разделены на две категории ответов, одна из которых была создана ChatGPT, а другая – людьми. Вопросы касались питания, физической активности, терапии и патофизиологических процессов при диабете. На тестовую составляющую исследования было выделено четыре дня.
Некоторые статистические данные:
- для участия в исследовании было пригашено 311 человек;
- завершили опрос 183 человека (59% ответов);
- 70% участников – женщины;
- 64% ранее слышали о ChatGPT;
- 19% пользовались ИИ;
- 58% в качестве практикующих врачей общались с больными диабетом;
- 38-74% колебались при выборе правильных ответов (когда участникам удавалось определить, кем был дан ответ).
Средний показатель верной идентификации ответов, сгенерированных ИИ, составил 60%. Что касается гендерной дифференциации, то большинство правильных ответов были даны мужчинами - 64%. Показатель женщин, соответственно, равен 58%. Имеющие в прошлом практику общения с диабетиками определяли ответы ChatGPT в 61% случаев, в то время как этот показатель был немного ниже у тех, кто не имел подобного опыта – 57%.
Результаты тестов послужили значительным толчком в исследовании реальных возможностей ИИ по предоставлению рекомендаций разной степени сложности по лечению хронических заболеваний. Диабет был выбран лишь как один из примеров. Учёные пришли к выводу, что ChatGPT показал определённый потенциал, когда ИИ генерировал правильные ответы. Однако отсутствие персонализированных и детальных рекомендаций, а также высокий процент дезинформации в данный момент делает невозможным использование ChatGPT для лечения пациентов.
Несмотря на то, что такие крупные языковые модели всё чаще используются в сфере здравоохранения, ИИ требует проведения масштабных исследований для составления объективной оценки компетенции, этических нюансов лечения и ухода за пациентами, а также конечной эффективности рекомендаций. Работу нейросетей вряд ли когда-либо можно будет лишить постоянного контроля, поэтому для полноценного внедрения такой опции в будущем необходимо наличие нормативной базы, охватывающей множество аспектов.