این ماشینهای سنتز متن ممکن است برای نویسندگان مبتدی نسبتاً ایمن باشند، اما برای اطلاعات پزشکی مناسب نیستند.او گفت: «این ماشینی نیست که چیزها را بداند. تنها چیزی که می داند اطلاعات مربوط به توزیع کلمات است. با توجه به یک سری کلمات، مدلها را پیشبینی میکنند که احتمالاً کدام کلمات بعدی میآیند.
بنابراین، اگر کسی بپرسد “بهترین درمان دیابت چیست؟” این فناوری ممکن است با نام داروی دیابت “متفورمین” پاسخ دهد – نه به این دلیل که لزوما بهترین است، بلکه به این دلیل که کلمه ای است که اغلب در کنار “درمان دیابت” ظاهر می شود.
چنین محاسبهای با پاسخ منطقی یکسان نیست و نگرانی این است که مردم این خروجی را بهگونهای دریافت کنند که گویی اطلاعات قاطع است و بر اساس آن تصمیم بگیرند.
همچنین نگرانی برای نژادپرستی و دیگر سوگیریهایی که ممکن است در دادههایی که این برنامهها بر اساس آنهاست، تعبیه شده باشد. مدلهای زبان به این نوع الگوها بسیار حساس هستند و در بازتولید آنها بسیار خوب هستند. نحوه کار مدل ها همچنین به این معنی است که آنها نمی توانند منابع علمی خود را فاش کنند – زیرا آنها هیچ منبعی ندارند.
پزشکی مدرن مبتنی بر ادبیات آکادمیک است، مطالعاتی که توسط محققان در مجلات معتبر منتشر شده است. برخی از رباتهای گفتگو در حال آموزش بر روی آن مجموعه ادبیات هستند. اما سایرین، مانند ChatGPT و موتورهای جستجوی عمومی، به بخشهای وسیعی از اینترنت متکی هستند که به طور بالقوه شامل اطلاعات نادرست و کلاهبرداریهای پزشکی میشود.
با موتورهای جستجوی امروزی، کاربران می توانند تصمیم بگیرند که آیا اطلاعات را بر اساس منبع آن بخوانند یا در نظر بگیرند: به عنوان مثال، یک وبلاگ تصادفی یا مجله پزشکی معتبر در یک کشور. اما با موتورهای جستجوی چت بات، که هیچ منبع قابل شناسایی وجود ندارد، خوانندگان هیچ سرنخی در مورد مشروع بودن این توصیه نخواهند داشت. در حال حاضر، شرکتهایی که این مدلهای زبان بزرگ را میسازند، منابعی را که برای آموزش استفاده میکنند، به طور عمومی شناسایی نکردهاند.