بلایی که چت‌جی‌پی‌تی سر مطالعات علمی می‌آورد

طی حدود یک‌ونیم سالی که از چت‌جی‌پی‌تی و ابزارهای مشابهش استفاده می‌کنم، متوجه شده‌ام متن‌هایشان، به‌ویژه چت‌جی‌پی‌تی که موضوع این مقاله است، از بعضی کلمه‌ها بیشتر از حد معمول استفاده می‌کنند. کلمه‌هایی که حتی بعضی‌شان را در انگلیسی روزمره به‌ندرت می‌بینیم.

برای نمونه فعل‌های delve into و embark تقریبا در همهٔ متن‌های تولیدیِ چت‌جی‌پی‌تی وجود دارند. علاوه‌بر کلمه‌ها، ساختارها هم در این متن‌ها مدام تکرار می‌شوند. مثلا اگر چت‌جی‌پی‌تی مقاله‌ای با موضوع ۱۰ اَبَرقهرمان مارول در ده پاراگراف بنویسد، همهٔ پاراگراف‌هایش ساختاری مشابه دارند.

چند روز پیش به مقاله‌ای در ال پائیس انگلیسی برخوردم که به همین مسئله پرداخته بود. نویسنده با تکیه بر مطالعه‌ای از کتابداری بریتانیایی، درباره استفادهٔ بیش از حدِ چت‌جی‌پی‌تی از بعضی کلمه‌ها در مطالعات علمی نوشته بود. از آن‌جایی که مقاله‌ای قابل تأمل با آمارهای جالب‌توجه بود، آن را به فارسی ترجمه کردم و در ادامهٔ این پستِ ویرگول با شما به اشتراک می‌گذارم.

کتابداری به‌نام اندرو گری (Andrew Gray) تحقیقی بسیار جالب کرده است. او ۵میلیون مطالعهٔ علمی را که طی سال میلادی گذشته منتشر شده‌اند تحلیل، و متوجه افزایشی ناگهانی در استفاده از بعضی کلمه‌ها مانند meticulously (تا ۱۳۷درصد)، intricate (تا ۱۱۷درصد)، commendable (تا ۸۳درصد)، و meticulous (تا ۵۹درصد) شده است.

این کتابدارِ کالج دانشگاهی لندن فقط یک توضیح برای چنین افزایشی پیدا کرده است، و آن اینکه ده‌هاهزار محقق از چت‌جی‌پی‌تی یا سایر ابزارهای مدل زبانی بزرگ با هوش مصنوعی برای نوشتن پژوهش‌هایشان یا حداقل سروشکل‌دادن به آن‌ها استفاده می‌کنند.

برای نمونه، گروهی از دانشمندان چینی مطالعه‌ای درباره باتری‌های لیتیومی در مجله‌ای تخصصی از انتشارات الزویر منتشر کردند. این مطالعه با این جمله‌ها شروع می‌شود:

Certainly, here is a possible introduction for your topic:Lithium-metal batteries are promising candidates for…

گویا نویسنده‌های این مقاله از چت‌جی‌پی‌تی خواسته‌اند برایشان مقدمه‌ای بنویسد، و همان پاسخ را در متن نهایی کپی کرده‌اند!

مقاله‌ای دیگر در مجله‌ای دیگر از انتشارات الزویر که محققان اسرائیلی منتشر کرده‌اند، چنین نوشته‌ای دارد:

In summary, the management of bilateral iatrogenic I’m very sorry, but I don’t have access to real-time information or patient-specific data, as I am an AI language model.

چند ماه پیش هم سه دانشمند چینی نقاشی عجیبی از موشی با نوعی آلت تناسلی فوق‌بزرگ منتشر کرده‌اند. آن‌ها تصویر مذکور را با هوش مصنوعی برای مطالعه روی سلول‌های پیش‌ساز اسپرم ایجاد کرده بودند.

این کتابدار می‌گوید: «فکر می‌کنم مواردی که کسی کل مطالعه را با چت‌جی‌پی‌تی نوشته باشد، نادر هستند.» به‌عقیده او، در بیشتر موارد هوش مصنوعی برای «سروشکل‌دادن» به متن، مانند تشخیص اشتباهات تایپی یا ترجمه به انگلیسی، استفاده می‌شود.

اما منطقه‌ای خاکستری هم در این میان وجود دارد، جایی که بعضی دانشمندان کمک بیشتری از چت‌جی‌پی‌تی می‌گیرند، بدون آنکه نتایج را صحت‌سنجی کنند. او دراین‌باره اظهار تأسف می‌کند و می‌گوید: «در حال حاضر نمی‌توان درباره بزرگیِ این منطقه خاکستری اظهارنظر کرد، چون مجله‌های علمی از نویسندگان نمی‌خواهند استفاده‌شان از چت‌جی‌پی‌تی را اعلام کنند. در واقع شفافیت بسیار کمی در این زمینه وجود دارد.»

جیمز زو (James Zou) و گروهش در دانشگاه استنفورد هم نشان داده‌اند که مدل‌های زبانی هوش مصنوعی از بعضی کلمه‌ها به‌طور نامتناسب استفاده می‌کنند. این کلمه‌ها، مانند commendable، meticulous، intricate، innovative، و versatile به‌طور معمول مفاهیمی مثبت دارند.

زو و همکارانش هشدار داده‌اند که حتی خودِ داوران مطالعات علمی هم از این برنامه‌ها برای نوشتن ارزیابی‌هایشان استفاده می‌کنند. این گروه داوری‌های همتا روی مطالعات ارائه‌شده در دو کنفرانس بین‌المللی هوش مصنوعی را تحلیل کرده‌اند. آن‌ها متوجه شده‌اند احتمال وجود کلمه meticulous در متن مطالعات تا ۳۵برابر افزایش یافته است.

اما این گروه در مطالعات منتشرشده در مجله‌های معتبر گروه نیچر اثر قابل‌توجهی از چت‌جی‌پی‌تی پیدا نکرده‌اند. البته در داوری‌های همتایی که کیفیت پایین‌تری داشته‌اند، استفاده از چت‌جی‌پی‌تی مشخص بوده است. گری دراین‌باره توضیح می‌دهد: «به نظر من واقعا نگران‌کننده است. اگر می‌دانیم استفاده از این ابزارها برای نوشتنِ داوری‌ها کیفیت نتایج را پایین‌ می‌آورد، باید به استفاده از آن‌ها برای نوشتن مطالعات و عواقبش بیندیشیم.»

بر اساس نظرسنجی مجله نیچر، بعد از گذشت یک سال از راه‌اندازی چت‌جی‌پی‌تی، از هر سه دانشمند یک نفر اذعان کرد که از این ابزار برای نوشتن مطالعاتش استفاده کرده است.

تحلیل گری نشان می‌دهد که کلمه intricate طی سال ۲۰۲۳ در ۱۰۹هزار مطالعه استفاده شده است، یعنی بیشتر از دوبرابر میانگین ۵۰هزار کلمه که سال‌های قبل از آن ثبت شده بود. اصطلاح meticulously از ۱۲۳۰۰ بار استفاده در سال ۲۰۲۲ به بیش از ۲۸هزار بار استفاده در سال ۲۰۲۳ افزایش داشته است. در همین دوره استفاده از کلمه commendable از ۶۵۰۰ بار به ۱۲هزار بار رسیده است. این محقق به‌شوخی می‌گوید همکارانش به‌خاطر meticulousness گزارشش به او تبریک گفته‌اند!

مطالعات بسیار کمی به استفاده از هوش مصنوعی اذعان می‌کنند. اینجاست که گری درباره خطر ایجاد «دور باطلی» هشدار می‌دهد که در آن نسخه‌های بعدی چت‌جی‌پی‌تی با مقاله‌هایی آموزش داده شوند که نسخه‌های قدیمی‌تر چت‌جی‌پی‌تی نوشته‌اند. این روند به استفاده بیشتر از commendable، intricate، meticulous و فراتر از همه این‌ها، مطالعات بی‌اساس منجر خواهد شد.

آنخل ماریا دلگادو واسکز (Angel Maria Delgado-Vazquez)، استاد رشته سندپردازی، تأکید می‌کند که تحلیل جدید دراین‌باره بیشتر روی مطالعات زبان انگلیسی متمرکز است. او می‌گوید: «محققانی که زبان اولشان انگلیسی نیست، از چت‌جی‌پی‌تی برای نوشتن و بهترشدنِ زبان انگلیسی خود استفاده می‌کنند. اسپانیایی‌ها عمدتا برای ترجمه اولیه از این ابزارها استفاده می‌کنند و حتی متن ترجمه‌شده را همان‌طور که هست به کار می‌برند.» این استاد دانشگاه تمایل دارد تحلیلی درباره خاستگاه نویسندگانی بخواند که از اصطلاحات غیرمعمول استفاده می‌کنند.

یکی دیگر از کلمه‌های موردعلاقه هوش مصنوعی delve است. محققی به‌نام جرمی نگوین (Jeremy Nguyen)، از دانشگاه فناوری سوینبرن در استرالیا برآورد کرده است که کلمه مذکور در بیش از ۰٫۵درصد از مطالعات پزشکی وجود دارد. در حالی که قبل از راه‌اندازی چت‌جی‌پی‌تی، فقط تا ۰٫۰۴درصد از این کلمه در حوزه موردنظر استفاده می‌شد. گویا هزاران محقق به‌طور ناگهانی مشغول delve شده‌اند!

اندرو گری هشدار می‌دهد که خطر آلودگی جامعه به این زبان جدید مصنوعی وجود دارد. خودِ نگوین در شبکه اجتماعی اکس اعتراف کرد که این اتفاق برای او هم افتاده است: «راستش اخیرا متوجه شدم خودم هم بیشتر از کلمه delve استفاده می‌کنم. شاید به این خاطر که زمان زیادی را با جی‌پی‌تی صرف می‌کنم.»

این مقاله را مانوئل آنسده (Manuel Ansede) نوشته، و با تیتر Excessive use of words like ‘commendable’ and ‘meticulous’ suggests ChatGPT has been used in thousands of scientific studies در وب‌سایت ال پائیس (El País) انگلیسی منتشر شده است. من آن را به فارسی ترجمه، و با عنوان «چت‌جی‌پی‌تی چه بلایی سر مطالعات علمی می‌آورد» در ویرگول منتشر کردم.

اگر می‌خواهید دربارهٔ استفاده از ابزارهای هوش مصنوعی برای نوشتن و ترجمه گفت‌وگو کنیم، صفحه‌ام در اینستاگرام را دنبال کنید.