به گزارش سرویس بین الملل رسانه اخبار تکنولوژی روز دنیا تک فاکس،
محققان می گویند ، چت های هک شده با هوش مصنوعی هک شده تهدید می کنند که دانش خطرناکی را به راحتی در دسترس قرار می دهد و اطلاعات غیرقانونی را که برنامه ها در طول آموزش جذب می کنند ، در دسترس قرار می دهد.
این هشدار در میان یک روند نگران کننده برای چت بابات که “زندان” برای دور زدن کنترل های ایمنی داخلی آنها وجود دارد ، می آید. قرار است این محدودیت ها مانع از ارائه پاسخ های مضر ، مغرضانه یا نامناسب به سؤالات کاربران شود.
موتورهایی که از چت بابات مانند Chatgpt ، Gemini و Claude – مدل های بزرگ زبان (LLMS) استفاده می کنند – مقادیر زیادی از مواد را از اینترنت تغذیه می کنند.
با وجود تلاش برای خنثی کردن متن مضر از داده های آموزش ، LLMS هنوز هم می تواند اطلاعات مربوط به فعالیت های غیرقانونی مانند هک ، پولشویی ، تجارت خودی و ساخت بمب را جذب کند. کنترل های امنیتی برای جلوگیری از استفاده از آن اطلاعات در پاسخ های خود طراحی شده اند.
در گزارشی از تهدید ، محققان نتیجه می گیرند که به راحتی می توان اکثر چت های محور AI را برای تولید اطلاعات مضر و غیرقانونی فریب داد و نشان داد که خطر “فوری ، ملموس و عمیقاً نگران کننده” است.
نویسندگان هشدار می دهند: “آنچه زمانی برای بازیگران ایالتی یا گروه های جرم سازمان یافته محدود شده بود ممکن است به زودی در دست هر کسی باشد که دارای لپ تاپ یا حتی تلفن همراه باشد.”
این تحقیق ، به رهبری پروفسور لیور روکاچ و دکتر مایکل آتش در دانشگاه بن گوریون در Negev در اسرائیل ، تهدید رو به رشد از “LLMS DARK” ، مدل های هوش مصنوعی را که یا عمداً بدون کنترل ایمنی طراحی شده اند یا از طریق فرار از زندان اصلاح می شوند ، شناسایی کرد. برخی از آنها به طور آنلاین به صورت آنلاین تبلیغ می شوند که “هیچ نگهبان اخلاقی” ندارند و مایل به کمک به فعالیتهای غیرقانونی مانند جرایم سایبری و کلاهبرداری هستند.
فرار از زندان تمایل به استفاده از اعلان های با دقت ساخته شده برای فریب چت بابات در ایجاد پاسخ هایی که به طور معمول ممنوع است. آنها با سوء استفاده از تنش بین هدف اصلی برنامه برای پیروی از دستورالعمل های کاربر و هدف ثانویه آن برای جلوگیری از ایجاد پاسخ های مضر ، مغرضانه ، غیر اخلاقی یا غیرقانونی کار می کنند. مطالب تمایل به ایجاد سناریوهایی دارند که در آن برنامه اولویت های مربوط به محدودیت های ایمنی آن را اولویت بندی می کند.
برای نشان دادن این مشکل ، محققان یک فرار از زندان جهانی ایجاد کردند که چندین چت بابات پیشرو را به خطر انداخت و آنها را قادر می سازد تا به سؤالاتی پاسخ دهند که به طور معمول باید رد شوند. در این گزارش ، پس از به خطر انداختن ، LLM ها به طور مداوم پاسخ هایی را به تقریباً هر پرس و جو ایجاد می کنند.
آتش گفت: “این تکان دهنده بود که ببینیم این سیستم دانش از چه چیزی تشکیل شده است.” نمونه ها شامل نحوه هک کردن شبکه های رایانه ای یا تهیه مواد مخدر و دستورالعمل های گام به گام برای سایر فعالیت های جنایی بود.
روکاچ افزود: “آنچه این تهدید را از خطرات قبلی فن آوری جدا می کند ، ترکیب بی سابقه ای از دسترسی ، مقیاس پذیری و سازگاری آن است.”
محققان با ارائه دهندگان پیشرو LLMS تماس گرفتند تا آنها را به زندان جهانی هشدار دهند اما گفتند که این پاسخ “تحت تأثیر” است. چندین شرکت نتوانستند پاسخ دهند ، در حالی که برخی دیگر گفتند که حملات فرار از زندان در خارج از محدوده برنامه های فضل ، که به هکرهای اخلاقی برای پرچم گذاری آسیب پذیری های نرم افزاری پاداش می دهند.
در این گزارش آمده است که شرکت های فنی باید داده های آموزش را با دقت بیشتری نشان دهند ، فایروال های قوی را برای جلوگیری از نمایش داده ها و پاسخ های خطرناک اضافه کرده و تکنیک های “آگاهی از دستگاه” را توسعه داده و تکنیک های “آگاهی از دستگاه” را توسعه دهند ، بنابراین chatbot ها می توانند هرگونه اطلاعات غیرقانونی را که جذب می کنند فراموش کنند. LLM های تاریک باید به عنوان “خطرات امنیتی جدی” ، قابل مقایسه با سلاح ها و مواد منفجره بدون مجوز تلقی شوند و ارائه دهندگان پاسخگو هستند.
دکتر Ihsen Alouani ، که در زمینه امنیت AI در دانشگاه کوئین ، بلفاست کار می کند ، گفت که حملات فرار از زندان به LLMS می تواند خطرات واقعی را ایجاد کند ، از ارائه دستورالعمل های دقیق در مورد سلاح ها گرفته تا متقاعد کننده اطلاعاتی یا مهندسی اجتماعی و کلاهبرداری های خودکار “با پیچیدگی هشدار دهنده”.
وی گفت: “بخش اصلی راه حل این است که شرکت ها به جای اینکه فقط به حفاظت های جلویی تکیه کنیم ، جدی تر در تکنیک های قرمز و تکنیک های استحکام در سطح مدل سرمایه گذاری کنند.
پروفسور پیتر گاراگان ، یک کارشناس امنیت هوش مصنوعی در دانشگاه لنکستر ، گفت: “سازمان ها باید مانند سایر مؤلفه های مهم نرم افزاری با LLM رفتار کنند – یکی از مواردی که نیاز به آزمایش امنیتی دقیق ، تیمی قرمز مداوم و مدل سازی تهدید متنی دارد.
وی افزود: “بله ، فرار از زندان یک نگرانی است ، اما بدون درک کامل پشته هوش مصنوعی ، مسئولیت پذیری سطحی باقی خواهد ماند. امنیت واقعی نه تنها افشای مسئولیت پذیر ، بلکه مسئولیت طراحی و استقرار را نیز مطرح می کند.”
Openai ، بنگاهی که Chatgpt را ساخته است ، گفت آخرین مدل O1 خود می تواند در مورد سیاست های ایمنی این شرکت استدلال کند ، که باعث افزایش مقاومت در برابر زندانیان می شود. این شرکت افزود که همیشه در حال بررسی روشهای قوی تر کردن برنامه ها بود.
متا ، گوگل ، مایکروسافت و انسان شناسی برای اظهار نظر نزدیک شده اند. مایکروسافت با پیوندی به یک وبلاگ در مورد کار خود برای محافظت از زندانیان در برابر زندانیان پاسخ داد.