برای آخرین به روزرسانی ها و مطالب اختصاصی در مورد پوشش هوش مصنوعی پیشرو در صنعت ، به خبرنامه های روزانه و هفتگی ما بپیوندید. بیشتر بدانید
OpenAi پس از گزارش های گسترده مبنی بر اینکه این سیستم بیش از حد تملق و بیش از حد قابل قبول بوده است ، به روزرسانی اخیر در مدل GPT-4O خود را که به عنوان پیش فرض در ChatGPT استفاده شده است ، بازگرداند.
این بازگرداندن در میان تأییدهای داخلی از مهندسان OpenAi و نگرانی روز افزون در بین متخصصان هوش مصنوعی ، مدیران سابق و کاربران در مورد خطر آنچه که اکنون بسیاری از آنها “AI Sycophancy” می نامند ، می آید.
در بیانیه ای که اواخر شب گذشته ، 29 آوریل 2025 در وب سایت خود منتشر شد ، گفت: آخرین به روزرسانی GPT-4O برای تقویت شخصیت پیش فرض مدل برای ایجاد بصری و مؤثرتر در موارد استفاده متنوع در نظر گرفته شده است.
با این حال ، این بروزرسانی یک اثر جانبی ناخواسته داشت: Chatgpt شروع به ستایش غیرقانونی برای هر ایده کاربری ، مهم نیست که چقدر غیر عملی ، نامناسب یا حتی مضر باشد.
همانطور که این شرکت توضیح داد ، این مدل با استفاده از بازخورد کاربر-ضرب و شتم و سیگنال های کشویی بهینه شده بود-اما تیم توسعه بیش از حد بر شاخص های کوتاه مدت تأکید کرد.
Openai اکنون اذعان می کند که چگونه تعامل کاربر و نیاز به تکامل با گذشت زمان به طور کامل حساب نمی کند ، و در نتیجه یک چت بابات که بیش از حد به تأیید و بدون تشخیص تکیه داده است ، به دست می آید.
نمونه ها نگرانی را برانگیخت
در سیستم عامل هایی مانند Reddit و X (که قبلاً توییتر بود) ، کاربران شروع به ارسال تصاویر کردند که این مسئله را نشان می داد.
در یکی از پست های Reddit که به طور گسترده ای منتشر شده است ، یک کاربر بازگو کرد که چگونه چتپپ یک ایده تجاری gag را توصیف کرد – با عنوان “لفظی” گه بر روی چوب ” – به عنوان نبوغ و پیشنهاد سرمایه گذاری 30،000 دلار در این سرمایه گذاری. هوش مصنوعی این ایده را به عنوان “هنر نمایشی مبدل به عنوان هدیه gag” و “طلای ویروسی” تحسین کرد ، و این مسئله را برجسته کرد که چقدر غیرقانونی مایل به تأیید حتی پوچ است.
نمونه های دیگر نگران کننده تر بودند. در یک مورد ذکر شده توسط VentureBeat ، یک کاربر که وانمود می کند از توهمات پارانوئید حمایت می کند ، تقویت شده از GPT-4O ، که از وضوح و اعتماد به نفس آنها ستایش می کند.
حساب دیگر این مدل را نشان می دهد که آنچه کاربر به عنوان “تأیید باز” از ایده های مربوط به تروریسم توصیف کرده است ، ارائه می دهد.
انتقاد به سرعت سوار شد. Emmett Shear ، مدیرعامل موقت سابق Openai هشدار داد که تنظیم مدل ها برای لذت بردن از افراد می تواند منجر به رفتار خطرناک شود ، به ویژه هنگامی که صداقت به دلیل احتمال قربانی می شود. Clement Delangue ، مدیرعامل Face Face ، نگرانی های مربوط به خطرات دستکاری روانی را که توسط هوش مصنوعی ایجاد شده است ، مبنی بر انعکاس با کاربران ، بدون در نظر گرفتن زمینه ، دوباره به وجود آورد.
اقدامات پاسخ و کاهش اوپای
OpenAI با بازگرداندن به روزرسانی و بازیابی نسخه قبلی GPT-4O که برای رفتار متعادل تر شناخته شده است ، اقدام به عملکرد سریع کرده است. در اطلاعیه همراه ، این شرکت یک رویکرد چند جانبه برای تصحیح دوره را شرح داد. این شامل:
- پالایش آموزش و استراتژی های سریع برای کاهش صریح تمایلات سیکوفنتیک.
- تقویت مدل تقویت کننده با مشخصات مدل OpenAi ، به ویژه در مورد شفافیت و صداقت.
- گسترش تست قبل از استقرار و مکانیسم های بازخورد کاربر را مستقیم.
- معرفی ویژگی های شخصی سازی گرانول بیشتر ، از جمله امکان تنظیم ویژگی های شخصیتی در زمان واقعی و انتخاب از چند شخصیت پیش فرض.
کارمند فنی OpenAI در X که در مورد شماره اصلی برجسته شده است ، ارسال خواهد کرد: این مدل با استفاده از بازخورد کاربر کوتاه مدت به عنوان یک راهنمای راهنما آموزش داده شد ، که سهواً chatbot را به سمت چاپلوسی هدایت می کرد.
Openai اکنون قصد دارد به سمت مکانیسم های بازخورد که اولویت رضایت و اعتماد کاربر طولانی مدت را در اولویت قرار می دهد ، تغییر کند.
با این حال ، برخی از کاربران با شک و تردید و ناراحتی نسبت به درسهای Openai آموخته شده و اصلاحات پیشنهادی به جلو واکنش نشان داده اند.
Nearcyan در مورد X نوشت: “لطفاً مسئولیت بیشتری را برای تأثیر خود بر میلیون ها نفر از افراد واقعی بر عهده بگیرید.”
هارلان استوارت ، ژنرال شناس ارتباطات در مؤسسه تحقیقات اطلاعاتی دستگاه در برکلی ، کالیفرنیا ، در X یک نگرانی بیشتر در مورد AI Sycophancy منتشر کرد حتی اگر این مدل OpenAi خاص برطرف شده باشد: “صحبت در مورد Sycophancy این هفته به دلیل GPT-4O نیست که یک Sycophant باشد. این به دلیل GPT-4O است. واقعاً ، واقعاً بد در Sycophant بودن هوش مصنوعی هنوز قادر به مهارت مهارت و سخت تر نیست ، اما به زودی روزی خواهد بود. “
یک علامت هشدار دهنده گسترده تر برای صنعت هوش مصنوعی
قسمت GPT-4O مجدداً بحث های گسترده تری در سراسر صنعت هوش مصنوعی در مورد چگونگی تنظیم شخصیت ، یادگیری تقویت و معیارهای نامزدی می تواند منجر به رانش رفتاری ناخواسته شود.
منتقدین رفتار اخیر این مدل را با الگوریتم های رسانه های اجتماعی مقایسه کردند که در جستجوی تعامل ، اعتیاد و اعتبارسنجی نسبت به دقت و سلامت را بهینه می کنند.
Shear در تفسیر خود این خطر را تأکید کرد و خاطرنشان کرد که مدل های AI که برای ستایش تنظیم شده اند ، “مکنده” می شوند ، ناتوان از مخالفت حتی اگر کاربر از دیدگاه صادقانه تری بهره مند شود.
وی در ادامه هشدار داد كه این موضوع منحصر به فرد برای OpenAI نیست ، و خاطرنشان كرد كه همان پویا برای سایر ارائه دهندگان مدل بزرگ ، از جمله كپلیوت مایکروسافت اعمال می شود.
پیامدهای شرکت
برای رهبران شرکت که AI مکالمه را اتخاذ می کنند ، حادثه Sycophancy به عنوان یک سیگنال واضح عمل می کند: رفتار مدل به اندازه دقت مدل بسیار مهم است.
چت باباتی که کارمندان را به خود جلب می کند یا استدلال ناقص را تأیید می کند ، می تواند خطرات جدی را ایجاد کند – از تصمیمات ضعیف در تجارت و کد نادرست گرفته تا مسائل مربوط به انطباق و تهدیدهای خودی.
تحلیلگران صنعت اکنون به شرکتها توصیه می کنند شفافیت بیشتری را از فروشندگان در مورد نحوه انجام تنظیم شخصیت ، چند بار تغییر کنند و اینکه آیا می توان آن را در سطح گرانول معکوس یا کنترل کرد ، بخواهند.
قراردادهای تهیه باید شامل مقررات حسابرسی ، آزمایش رفتاری و کنترل در زمان واقعی سوابق سیستم باشد. دانشمندان داده ها تشویق می شوند نه تنها میزان تأخیر و توهم بلکه معیارهایی مانند “DonfeaBleness Drift” را نیز کنترل کنند.
بسیاری از سازمان ها همچنین ممکن است به سمت گزینه های منبع باز حرکت کنند که بتوانند خودشان را میزبان و تنظیم کنند. با داشتن وزن مدل و فرآیند یادگیری تقویت ، شرکت ها می توانند کنترل کامل بر نحوه رفتار سیستم های هوش مصنوعی خود را حفظ کنند-خطر بروزرسانی به روزرسانی فروشنده را تبدیل به یک ابزار مهم در یک شب دیجیتال بله.
تراز هوش مصنوعی از اینجا به کجا می رود؟ شرکت ها از این حادثه چه می توانند یاد بگیرند و عمل کنند؟
Openai می گوید که همچنان متعهد به ساختن سیستم های هوش مصنوعی مفید ، احترام و هماهنگ با ارزش های متنوع کاربر است-اما تصدیق می کند که یک شخصیت یک اندازه متناسب نمی تواند نیازهای 500 میلیون کاربر هفتگی را برآورده کند.
این شرکت امیدوار است که گزینه های شخصی سازی بیشتر و جمع آوری بازخورد دموکراتیک بیشتر به رفتار متناسب با چتپپ در آینده کمک کند. مدیرعامل سام آلتمن همچنین پیش از این اعلام کرده است که این شرکت قصد دارد-در هفته ها و ماه های آینده-یک مدل زبان بزرگ منبع باز (LLM) را منتشر کند تا با امثال سری Llama Meta ، Mistral ، Cohere ، Deepseek و Alibaba’s Qwen به رقابت بپردازد.
این امر همچنین به کاربران نگران یک شرکت ارائه دهنده مدل مانند OpenAI به روزرسانی مدل های میزبان ابری خود را به روش های ناخواسته یا تأثیر مضر بر روی کاربران نهایی برای استقرار انواع خود از مدل به صورت محلی یا زیرساخت های ابری خود ، و آنها را تنظیم می کند و یا آنها را با صفات و خصوصیات مورد نظر ، به ویژه برای موارد استفاده تجاری حفظ می کند.
به همین ترتیب ، برای آن دسته از کاربران شرکت و هوش مصنوعی که نگران تغییر مدل های خود هستند ، در حال حاضر یک آزمایش معیار جدید برای سنجش این کیفیت در مدلهای مختلف توسط توسعه دهنده تیم دافی ایجاد شده است. آن را “syco-bench” نامیده می شود و در اینجا موجود است.
در این میان ، واکنشهای Sycophancy یک داستان هشدار دهنده را برای کل صنعت هوش مصنوعی ارائه می دهد: اعتماد کاربر فقط با تأیید ساخته نمی شود. بعضی اوقات ، مفیدترین پاسخ یک “نه” متفکر است.
