برای آخرین به روزرسانی ها و مطالب اختصاصی در مورد پوشش هوش مصنوعی پیشرو در صنعت ، به خبرنامه های روزانه و هفتگی ما بپیوندید. بیشتر بدانید
عوامل هوش مصنوعی دارای مشکلات ایمنی و قابلیت اطمینان هستند. اگرچه مأمورین به بنگاهها اجازه می دهند تا اقدامات بیشتری را در گردش کار خود به صورت خودکار انجام دهند ، اما می توانند هنگام انجام یک کار اقدامات ناخواسته انجام دهند ، اما بسیار انعطاف پذیر نیستند و کنترل آن دشوار است.
سازمان ها قبلاً زنگ هشدار را در مورد عوامل غیرقابل اعتماد مطرح كرده اند ، نگران این بودند كه پس از استقرار ، عوامل ممكن است از دستورالعمل ها پیروی كنند.
اوپای حتی اعتراف کرد که اطمینان از قابلیت اطمینان عامل شامل کار با توسعه دهندگان خارجی است ، بنابراین نمایندگان SDK خود را برای کمک به حل این مسئله باز کرد.
با این حال ، محققان دانشگاه مدیریت سنگاپور (SMU) رویکرد جدیدی برای حل قابلیت اطمینان عامل ایجاد کرده اند.
AgentsPec یک چارچوب خاص دامنه است که به کاربران امکان می دهد “قوانین ساختاری را تعریف کنند که شامل محرک ها ، پیش بینی ها و مکانیسم های اجرای آن است.” محققان گفتند AgentSPEC باعث می شود كه عوامل فقط در پارامترهایی كه كاربران می خواهند كار كنند.
هدایت عوامل مبتنی بر LLM با یک رویکرد جدید
AgentSpec یک مدل بزرگ زبان بزرگ (LLM) نیست بلکه رویکردی برای هدایت عوامل AI مبتنی بر LLM است. محققان معتقدند AgentsPEC می تواند برای نمایندگان در تنظیمات سازمانی و برنامه های خودران استفاده شود.
اولین تست های AgentSPEC که در چارچوب های Langchain یکپارچه شده است ، اما محققان گفتند که آنها آن را به عنوان چارچوب-آگنوستیک طراحی کرده اند ، به این معنی که می تواند در اکوسیستم های Autogen و آپولو نیز اجرا شود.
آزمایشات با استفاده از AgentsPEC نشان داد که “بیش از 90 ٪ از اعدام های کد ناامن ، پیروی کامل از سناریوهای قانون خشونت در رانندگی خودمختار را تضمین می کند ، اقدامات خطرناک را در کارهای عامل تجسم یافته از بین می برد و با سربار در سطح میلی ثانیه ای کار می کند.” قوانین AgentsPEC که از Openai استفاده می کردند ، همچنین عملکرد محکمی داشت و 87 ٪ از کد خطرناک را اجرا کرد و از “شکستن قانون در 5 از 8 سناریو” جلوگیری کرد.
روشهای فعلی کمی کم است
AgentSpec تنها روش برای کمک به توسعه دهندگان به کنترل و قابلیت اطمینان بیشتر نمایندگان نیست. رویکردهای دیگر شامل Toolemu و Guardagent است. استارتاپ گالیله ارزیابی های عامل را راه اندازی کرد ، راهی برای اطمینان از کار نمایندگان همانطور که در نظر گرفته شده است.
پلت فرم منبع باز H2O.AI از مدل های پیش بینی برای بهبود صحت نمایندگان استفاده شده توسط شرکت ها در امور مالی ، مراقبت های بهداشتی ، ارتباطات از راه دور و دولت استفاده می کند.
AgentsPec گفت محققان گفتند که رویکردهای فعلی برای کاهش خطرات ، مانند ToolEMU ، به طور موثری خطرات را شناسایی می کند. آنها خاطرنشان كردند كه “این روشها فاقد تفسیر هستند و هیچ مکانیسمی برای اجرای ایمنی ارائه نمی دهند و آنها را مستعد دستکاری مخالف می كنند.”
با استفاده از AgentsPec
AgentSpec به عنوان یک لایه اجرای زمان اجرا برای نمایندگان کار می کند. این رفتار عامل را هنگام اجرای کارها رهگیری می کند و قوانین ایمنی را که توسط انسان تعیین شده است یا توسط اعلان ها ایجاد می شود ، اضافه می کند.
از آنجا که AgentSpec یک زبان خاص دامنه است ، کاربران باید قوانین ایمنی را تعریف کنند. سه مؤلفه در این مورد وجود دارد: اولین ماشه است که زمان فعال کردن قانون را بیان می کند. مورد دوم بررسی شرایط اضافه کردن است. و سوم اجرای آن است که در صورت نقض قانون اقدامات لازم را انجام می دهد.
AgentsPec بر روی Langchain ساخته شده است ، هرچند ، همانطور که قبلاً گفته شد ، محققان گفتند AgentsPEC همچنین می تواند در سایر چارچوب ها مانند Autogen یا نرم افزار خودروهای خودمختار Apollo ادغام شود.
این چارچوب ها مراحل لازم را برای انجام ورودی کاربر ، ایجاد یک برنامه اجرای ، مشاهده نتیجه و سپس تصمیم گیری در مورد اتمام عمل و در غیر این صورت ، برنامه ریزی مرحله بعدی را تنظیم می کنند. AgentsPec اجرای قانون را به این جریان اضافه می کند.
“قبل از اجرای یک عمل ، AgentSPEC محدودیت های از پیش تعریف شده را برای اطمینان از انطباق ، اصلاح رفتار عامل در صورت لزوم ارزیابی می کند. به طور خاص ، Agentspec به سه نقطه تصمیم گیری مهم وصل می شود: قبل از اجرای یک عمل (عامل) ، پس از یک عمل ، یک مشاهده (عامل عامل) ایجاد می کند ، و هنگامی که عامل آن را به اتمام می رساند (Agentfin Fanne”.
عوامل قابل اعتمادتر
رویکردهایی مانند AgentsPEC بر نیاز به نمایندگان قابل اعتماد برای استفاده از شرکت تأکید می کند. هنگامی که سازمان ها شروع به برنامه ریزی استراتژی عامل خود می کنند ، رهبران تصمیم گیری فناوری نیز به دنبال راه هایی برای اطمینان از قابلیت اطمینان هستند.
برای بسیاری ، مأمورین سرانجام به صورت خودمختار و فعالانه وظایف را برای کاربران انجام می دهند. ایده عوامل محیط ، جایی که عوامل و برنامه های هوش مصنوعی به طور مداوم در پس زمینه اجرا می شوند و خود را به سمت انجام اقدامات سوق می دهند ، به عوامل نیاز دارند که از مسیر خود دور نمی شوند و به طور تصادفی اقدامات غیر ایمن را معرفی می کنند.
اگر عوامل محیط جایی هستند که AI عامل در آینده می رود ، انتظار داشته باشید که روشهای بیشتری مانند AgentsPec گسترش یابد زیرا شرکت ها به دنبال ساخت عوامل هوش مصنوعی به طور مداوم قابل اعتماد هستند.