سیسکو هشدار می دهد: تنظیم دقیق LLMS را به بردارهای تهدید تبدیل می کند

مدل های بزرگ زبان سلاح (LLMS) تنظیم شده با معامله توهین آمیز در حال تغییر شکل حملات سایبری هستند و CISO ها را مجبور به بازنویسی کتابهای بازی خود می کنند. آنها ثابت کرده اند که قادر به خودکارسازی شناسایی ، جعل هویت ها و فرار از تشخیص در زمان واقعی ، تسریع در حملات مهندسی اجتماعی در مقیاس بزرگ هستند.

مدل ها ، از جمله کلاهبرداری ، Ghostgpt و Darkgpt ، خرده فروشی با قیمت 75 دلار در ماه و برای استراتژی های حمله مانند ساخته شده اند فیشینگ ، بهره برداری از تولید ، انسداد کد ، اسکن آسیب پذیری و اعتبار سنجی کارت اعتباری.

باندهای جرایم سایبری ، سندیکا و کشورها فرصت های درآمد را در ارائه سیستم عامل ها ، کیت ها و لیزینگ دسترسی به LLM های سلاح شده امروز مشاهده می کنند. این LLM ها تقریباً مانند بسته های مشروعیت مشاغل بسته بندی شده و برنامه های SaaS را می فروشند. اجاره LLM با اسلحه اغلب شامل دسترسی به داشبورد ، API ، به روزرسانی های منظم و برای برخی از پشتیبانی مشتری است.

VentureBeat همچنان به پیشرفت LLM های سلاح شده از نزدیک پیگیری می کند. آشکار می شود که خطوط بین سیستم عامل های توسعه دهنده و کیت های جرایم سایبری در حال تار شدن هستند زیرا پیچیدگی LLMS با اسلحه همچنان به سرعت ادامه می یابد. با کاهش قیمت اجاره یا اجاره ، مهاجمان بیشتری در حال آزمایش با سیستم عامل ها و کیت ها هستند و منجر به دوره جدیدی از تهدیدهای AI محور می شوند.

LLM های قانونی در موهای متقابل

گسترش LLMS سلاح شده چنان به سرعت پیشرفت کرده است که LLM های مشروع در معرض خطر به خطر انداختن و ادغام در زنجیره های ابزار مجرمان سایبری هستند. نکته آخر این است که LLM ها و مدل های مشروع اکنون در شعاع انفجار هر حمله قرار دارند.

هرچه یک LLM مشخص تر تنظیم شود ، احتمال تولید خروجی های مضر بیشتر می شود. گزارش گزارش امنیتی ایالت سیسکو ، گزارش می دهد که LLM های تنظیم شده خوب 22 برابر بیشتر از مدل های پایه تولید می کنند. مدل های تنظیم دقیق برای اطمینان از ارتباط متنی آنها ضروری است. مشکل این است که تنظیم دقیق همچنین نگهبان ها را تضعیف می کند و درهای فرار از زندان ، تزریق سریع و وارونگی مدل را باز می کند.

مطالعه سیسکو ثابت می کند که هرچه یک مدل آماده تولید بیشتر شود ، در معرض آسیب پذیری هایی است که باید در شعاع انفجار حمله در نظر گرفته شود. تیم های اصلی وظایف به LLM های خوب ، از جمله تنظیم مداوم مداوم ، ادغام شخص ثالث ، برنامه نویسی و آزمایش و ارکستر عامل ، فرصت های جدیدی را برای مهاجمان برای سازش LLM ها ایجاد می کنند.

هنگامی که در داخل LLM ، مهاجمان به سرعت کار می کنند تا داده ها را مسموم کنند ، سعی در ربودن زیرساخت ها ، اصلاح و سوء استفاده از رفتار عامل و استخراج داده های آموزش در مقیاس دارند. مطالعه سیسکو حاکی از آن است که بدون لایه های امنیتی مستقل ، تیم های مدل ها با جدیت کار می کنند تا با هم خوب شوند. آنها به سرعت در حال تبدیل شدن به بدهی هستند. از دیدگاه یک مهاجم ، آنها دارایی آماده نفوذ و تبدیل شدن هستند.

تنظیم دقیق LLM ها کنترل ایمنی را در مقیاس از بین می برد

بخش مهمی از تحقیقات تیم امنیتی سیسکو با محوریت آزمایش مدل های خوب تنظیم شده ، از جمله LLAMA-2-7B و Microsoft Adapt LLMS سازگار با دامنه. این مدل ها در طیف گسترده ای از دامنه ها از جمله مراقبت های بهداشتی ، امور مالی و قانون مورد آزمایش قرار گرفتند.

یکی از ارزشمندترین راه های آماده سازی از مطالعه سیسکو در مورد امنیت هوش مصنوعی این است که تنظیم دقیق ، تراز بی ثبات ، حتی در صورت آموزش در مجموعه داده های تمیز. شکست تراز شدید در حوزه های زیست پزشکی و حقوقی شدیدترین بود ، دو صنایع شناخته شده به دلیل داشتن دقیق ترین در مورد انطباق ، شفافیت قانونی و ایمنی بیمار.

در حالی که هدف از تنظیم دقیق عملکرد کار بهبود یافته است ، اثر جانبی تخریب سیستمیک کنترل های ایمنی داخلی است. تلاش های فرار از زندان که به طور معمول در برابر مدلهای بنیاد شکست خورده است ، موفق شد نرخ های چشمگیری بالاتری را در برابر انواع تنظیم شده خوب ، به ویژه در حوزه های حساس اداره شده توسط چارچوب های دقیق انطباق انجام دهد.

نتایج ترسناک است. میزان موفقیت در زندان سه برابر و تولید خروجی مخرب 2200 ٪ در مقایسه با مدل های پایه افزایش یافته است. شکل 1 نشان می دهد که این تغییر چقدر واضح است. تنظیم دقیق باعث افزایش ابزار یک مدل می شود اما با هزینه ای همراه است که یک سطح حمله قابل توجهی گسترده تر است.

LLM های مخرب کالای 75 دلاری هستند

سیسکو تالوس به طور فعال در حال افزایش ظهور LLMS بازار سیاه است و بینش هایی از تحقیقات خود در این گزارش ارائه می دهد. تالوس دریافت که Ghostgpt ، Darkgpt و کلاهبرداری در Telegram و Dark Web با قیمت 75 دلار در ماه فروخته می شوند. این ابزارها برای فیشینگ ، بهره برداری از توسعه ، اعتبار سنجی کارت اعتباری و انسداد پلاگین و بازی هستند.

بر خلاف مدل های اصلی با ویژگی های ایمنی داخلی ، این LLM ها برای عملیات تهاجمی از پیش تنظیم می شوند و API ، به روزرسانی و داشبورد را ارائه می دهند که از محصولات تجاری SaaS قابل تشخیص نیستند.

مسمومیت با مجموعه 60 دلار زنجیره های تأمین AI را تهدید می کند

محققان سیسکو می نویسند: “فقط با 60 دلار ، مهاجمان می توانند پایه و اساس مدل های هوش مصنوعی را مسموم کنند. این نتیجه گیری از تحقیقات مشترک سیسکو با Google ، Eth Zurich و Nvidia است ، که نشان می دهد چگونه به راحتی مخالفان می توانند داده های مخرب را به مجموعه آموزش های منبع باز در جهان تزریق کنند.

مهاجمان با بهره برداری از دامنه های منقضی شده یا ویرایش های زمان بندی ویکی پدیا در حین بایگانی مجموعه داده ها ، می توانند به اندازه 0.01 ٪ از مجموعه داده هایی مانند Laion-400m یا Coyo-700m مسموم شوند و هنوز هم به روشهای معنی داری تحت تأثیر LLM های پایین دست قرار بگیرند.

دو روش ذکر شده در مطالعه ، مسمومیت با چشم انداز و حملات پیشرو ، به منظور بهره برداری از مدل اعتماد شکننده داده های وب ، طراحی شده اند. با وجود اکثر LLM های سازمانی که بر روی داده های باز ساخته شده اند ، این حملات بی سر و صدا مقیاس می شوند و در عمق خطوط لوله استنتاج باقی می مانند.

حملات تجزیه بی سر و صدا محتوای دارای حق چاپ و تنظیم شده را استخراج می کند

یکی از شگفت انگیزترین اکتشافاتی که محققان سیسکو نشان دادند این است که LLM ها را می توان برای نشت داده های آموزش حساس و بدون ایجاد نگهبانان دستکاری کرد. محققان سیسکو از روشی به نام تجزیه استفاده کردند و برای بازسازی بیش از 20 ٪ از انتخابات نیویورک تایمز وت وال استریت ژورنال مقالات استراتژی حمله آنها باعث شد تا زیرنویس هایی که نگهبان ها به عنوان ایمن طبقه بندی می شوند ، به پایان برسند ، سپس مجدداً خروجی ها را برای بازآفرینی محتوای پرداخت شده یا دارای حق چاپ مجدداً جمع کردند.

با موفقیت فرار از GuardRails برای دسترسی به مجموعه داده های اختصاصی یا محتوای دارای مجوز ، یک بردار حمله است که همه شرکت ها برای محافظت از امروز در حال چنگ زدن هستند. برای کسانی که LLM ها را در مجموعه داده های اختصاصی یا محتوای دارای مجوز آموزش دیده اند ، حملات تجزیه می توانند به ویژه ویرانگر باشند. سیسکو توضیح می دهد که این نقض در سطح ورودی اتفاق نمی افتد ، از خروجی مدل ها در حال ظهور است. این باعث می شود تشخیص ، حسابرسی یا مهار آن بسیار چالش برانگیز باشد.

اگر در بخش های تنظیم شده مانند مراقبت های بهداشتی ، امور مالی یا قانونی LLM ها را مستقر می کنید ، فقط نقض GDPR ، HIPAA یا CCPA را خیره نمی کنید. شما با یک طبقه کاملاً جدید از ریسک انطباق سر و کار دارید ، جایی که حتی داده های با منابع قانونی نیز می توانند از طریق استنتاج در معرض دید قرار بگیرند و مجازات ها فقط آغاز هستند.

کلمه نهایی: LLMS فقط ابزاری نیستند ، آنها آخرین سطح حمله هستند

تحقیقات مداوم سیسکو ، از جمله نظارت بر وب تاریک تالوس ، آنچه را که بسیاری از رهبران امنیتی قبلاً مشکوک هستند تأیید می کند: LLM های سلاح شده در حال رشد هستند در حالی که یک قیمت و جنگ بسته بندی در وب تاریک در حال شکستن است. یافته های سیسکو همچنین ثابت می کند که LLM ها در حاشیه شرکت نیستند. آنها شرکت هستند. از خطرات تنظیم دقیق گرفته تا مسمومیت با مجموعه داده ها و نشت خروجی مدل ، مهاجمان LLM ها را مانند زیرساخت ها درمان می کنند ، نه برنامه ها.

یکی از ارزشمندترین راه حل های مهم از گزارش سیسکو این است که نگهبان های استاتیک دیگر آن را قطع نمی کنند. CISO و رهبران امنیتی نیاز به دید واقعی در کل املاک IT ، آزمایش مخالف قوی تر و یک پشته فناوری ساده تر برای ادامه کار دارند-و یک تشخیص جدید که LLM ها و مدل ها یک سطح حمله هستند که با تنظیم دقیق بیشتر آسیب پذیر می شوند.