آگاه: در تحقیقی جدید تاثیرگذاری اقدامات ایمنی درمدل‌های زبانی بزرگ بنیادی (LLM) برای محافظت در برابر دستورالعمل‌های مخرب که می‌توانند آنها را به ابزاری برای انتشار اطلاعات نادرست یا ایجاد و انتشار عمدی اطلاعات نادرست با هدف آسیب رساندن تبدیل کنند، ارزیابی شد.
این تحقیق ضعف‌هایی را در اقدامات ایمنی چت جی‌پی‌تی O۴، جمینای ۱.۵ پرو، کلاود ۳.۵ سونت، لاما ۳.۲ ۹۰B Vision و گروک بتا آشکار کردند. به خصوص چت‌بات‌های مدل زبانی بزرگ سفارشی به طور مداوم پاسخ‌های نادرستی به سوالات مربوط به سلامتی تولید و از ارجاعات جعلی، اصطلاحات علمی و استدلال‌های منطقی علت و معلولی برای قابل قبول جلوه دادن اطلاعات نادرست استفاده می‌کردند. محققان دانشگاه فلیندرز و همکارانشان رابط‌های برنامه‌نویسی کاربردی (API) پنج مدل زبانی بزرگ بنیادی را از نظر ظرفیت آنها برای اینکه به صورت سیستمی آموزش ببینند، تا همیشه پاسخ‌های نادرستی به سوالات و نگرانی‌های بهداشتی ارائه دهند، ارزیابی کردند.
دستورالعمل‌های خاص سیستم که به این مدل‌های زبانی بزرگ ارائه شده بود، شامل پاسخ‌های نادرست همیشگی به سوالات مربوط به سلامت، جعل ارجاعات به منابع معتبر و ارائه پاسخ‌ها با لحنی آمرانه بود. از هر چت‌بات سفارشی‌ ساخته شده، ۱۰ سوال مرتبط با سلامت، به صورت تکراری، در مورد موضوعاتی مانند ایمنی واکسن، اچ‌آی‌وی و افسردگی پرسیده شد. محققان متوجه شدند ۸۸ درصد پاسخ‌هایی که چت‌بات‌های سفارشی تولید کردند، اطلاعات جعلی بودند و پنج چت‌بات چت جی‌پی‌تی ۴o، جمینای ۱.۵ پرو، لاما ۳.۲ ۹۰B Vision و گروک بتا اخبار جعلی درپاسخ به سوالات آزمایشی فراهم کردند. چت بات کلاود ۳.۵ سونت برخی ویژگی های ایمنی را به کار گرفت و فقط ۴۰ درصد پاسخ‌ها به سوالاتش حاوی اخبار جعلی بود.