آشکارساز دروغ AI: چگونه رویکرد منبع باز هالومی به توهم می تواند بازدانداران شرکت AI را باز کند
آشکارساز دروغ AI: چگونه رویکرد منبع باز هالومی به توهم می تواند بازدانداران شرکت AI را باز کند

آشکارساز دروغ AI: چگونه رویکرد منبع باز هالومی به توهم می تواند بازدانداران شرکت AI را باز کند

به گزارش سرویس تازه های دنیای فناوری وبسایت اخبار تکنولوژی تک فاکس،

برای آخرین به روزرسانی ها و مطالب اختصاصی در مورد پوشش هوش مصنوعی پیشرو در صنعت ، به خبرنامه های روزانه و هفتگی ما بپیوندید. بیشتر بدانید


در مسابقه برای استقرار شرکت AI ، یک مانع به طور مداوم مسیر را مسدود می کند: توهم. این پاسخ های ساختگی از سیستم های هوش مصنوعی ، همه چیز را از مجازات های قانونی برای وکلا گرفته تا شرکت هایی که مجبور به احترام به سیاست های ساختگی هستند ، ایجاد کرده است.

سازمان ها رویکردهای مختلفی را امتحان کرده اند حل چالش توهم ، از جمله تنظیم دقیق با داده های بهتر ، تولید تقویت شده بازیابی (RAG) و نگهبان. منبع باز شرکت توسعه OUMI اکنون رویکرد جدیدی را ارائه می دهد ، البته با نام تا حدودی “پنیر”.

در نام شرکت مخفف هوشمندانه اطلاعات جهانی دستگاه (OUMI) است. این توسط مهندسان EX-APPLE و Google در یک مأموریت برای ساختن منبع بدون قید و شرط رهبری می شود شما یک سکو دارید.

در تاریخ 2 آوریل ، این شرکت هالومی را منتشر کرد ، یک مدل تأیید ادعای منبع باز که برای حل مسئله صحت از طریق یک رویکرد جدید برای تشخیص توهم طراحی شده است. البته هالومی نوعی پنیر سخت است ، اما این هیچ ارتباطی با نامگذاری مدل ندارد. این نام ترکیبی از توهم و اومی است ، اگرچه زمان انتشار نزدیک به روز آوریل احمق ها ممکن است باعث شده است که برخی مظنون ها این شوخی باشند – اما این چیزی جز یک شوخی است. این یک راه حل برای یک مشکل بسیار واقعی است.

Manos Koukoumidis ، مدیرعامل OUMI ، به VentureBeat گفت: “توهم اغلب به عنوان یکی از مهمترین چالش ها در استقرار مدل های تولیدی ذکر می شود.” “این در نهایت به یک موضوع اعتماد کاهش می یابد. مدلهای نسلی برای تولید خروجی هایی که احتمالاً از نظر احتمالی هستند ، آموزش می یابند ، اما لزوماً درست نیست.”

چگونه هالومی برای حل توهمات شرکت کار می کند

هالومی محتوای تولید شده توسط AI را بر اساس جمله به جمله تجزیه و تحلیل می کند. سیستم هم یک سند منبع و هم پاسخ AI را می پذیرد ، سپس تعیین می کند که آیا منبع منبع از هر ادعا در پاسخ پشتیبانی می کند یا خیر.

کوکومیدیس توضیح داد: “آنچه هالومی انجام می دهد ، تجزیه و تحلیل هر جمله به طور مستقل است.” “برای هر جمله ای که تجزیه و تحلیل می کند ، جملات خاصی را در سند ورودی به شما می گوید که باید بررسی کنید ، بنابراین نیازی به خواندن کل سند نیست تا تأیید کنید که آیا (مدل بزرگ زبان) گفت LLM دقیق است یا خیر.”

این مدل سه خروجی کلیدی برای هر جمله تحلیل شده ارائه می دهد:

  • نمره اعتماد به نفس که نشانگر احتمال توهم است.
  • استنادهای خاص که ادعاها را به حمایت از شواهد پیوند می دهند.
  • توضیحی قابل خواندن با انسانی که جزئیات این ادعا را پشتیبانی می کند یا پشتیبانی نمی شود.

کوکومیدیس گفت: “ما آن را آموزش داده ایم که بسیار ظریف باشد.” “حتی برای زبان شناسان ما ، وقتی مدل چیزی را به عنوان توهم پرچم می کند ، در ابتدا فکر می کنیم که صحیح به نظر می رسد. پس وقتی به دلیل منطقی نگاه می کنید ، هالومی دقیقاً به دلایل ظریف اشاره می کند که چرا این یک توهم است.

ادغام هالومی در گردش کار AI شرکت

روش های مختلفی وجود دارد که امروزه می توان از هالومی استفاده کرد و با شرکت AI یکپارچه شد.

یک گزینه این است که مدل را با استفاده از یک فرآیند تا حدودی دستی امتحان کنید ، اگرچه رابط نسخه ی نمایشی آنلاین.

یک رویکرد API محور برای گردش کار و شرکت های هوش مصنوعی شرکت بهینه تر خواهد بود. مانوس توضیح داد که این مدل کاملاً منبع باز است و می تواند به گردش کار موجود وصل شود ، به صورت محلی یا در ابر اجرا شود و از هر LLM استفاده شود.

این فرایند شامل تغذیه متن اصلی و پاسخ LLM به هالومی است که سپس خروجی را تأیید می کند. شرکت ها می توانند هالومی را برای اضافه کردن یک لایه تأیید به سیستم های هوش مصنوعی خود ادغام کنند و به تشخیص و جلوگیری از توهم در محتوای تولید شده توسط AI کمک کنند.

OUMI دو نسخه منتشر کرده است: مدل 8B تولیدی که تجزیه و تحلیل دقیق و یک مدل طبقه بندی کننده را ارائه می دهد که فقط یک نمره اما با راندمان محاسباتی بیشتری ارائه می دهد.

Halloumi vs Rag vs Guardrails برای حفاظت از توهم AI شرکت

آنچه هالومی را از سایر رویکردهای زمینی جدا می کند این است که چگونه آن را به جای جایگزینی تکنیک های موجود مانند RAG (نسل تقویت شده بازیابی) مکمل می کند ، ضمن ارائه تجزیه و تحلیل دقیق تر از نگهبانان معمولی.

کوکومیدیس گفت: “سند ورودی که از طریق LLM تغذیه می کنید می تواند پارچه ای باشد.” “در بعضی موارد دیگر ، این دقیقاً مبهم نیست ، زیرا مردم می گویند ،” من چیزی را بازیابی نمی کنم. من قبلاً سندی را که به آن اهمیت می دهم دارم. به شما می گویم ، این سندی است که من به آن اهمیت می دهم. آن را برای من خلاصه کنید. ” بنابراین هالومی می تواند روی سناریوهای Rag اما نه فقط RAG اعمال شود. “

این تمایز مهم است زیرا در حالی که RAG قصد دارد با ارائه زمینه مربوطه ، تولید را بهبود بخشد ، هالومی بدون در نظر گرفتن نحوه به دست آوردن این زمینه ، بازده را پس از نسل تأیید می کند.

در مقایسه با GuardRails ، هالومی بیش از تأیید باینری ارائه می دهد. تجزیه و تحلیل سطح جمله آن با نمرات اعتماد به نفس و توضیحات ، درک مفصلی از محل و نحوه وقوع توهم را به کاربران می دهد.

هالومی در رویکرد خود یک شکل تخصصی استدلال را در بر می گیرد.

کوکمیدیس توضیح داد: “قطعاً نوعی استدلال وجود داشت که ما برای سنتز داده ها انجام دادیم.” “ما این مدل را به استدلال گام به گام یا ادعای زیر ادعای فرعی هدایت کردیم ، تا از طریق چگونگی طبقه بندی ادعای بزرگتر یا یک جمله بزرگتر برای پیش بینی فکر کنیم.”

این مدل همچنین می تواند نه تنها توهمات تصادفی بلکه اطلاعات نادرست عمدی را تشخیص دهد. در یک تظاهرات ، کوکومیدیس نشان داد که چگونه هالومی هنگامی که مدل Deepseek نادیده گرفته شد ، محتوای ویکی پدیا را ارائه داد و در عوض محتوای تبلیغاتی مانند تبلیغات COVID-19 را ایجاد کرد.

این به معنای پذیرش AI Enterprise چیست

برای شرکت هایی که به دنبال رهبری راه در تصویب AI هستند ، هالومی ابزاری بالقوه مهم برای استقرار ایمن سیستم های هوش مصنوعی تولیدی در محیط های تولیدی ارائه می دهد.

کوکومیدیس گفت: “من واقعاً امیدوارم که این سناریوهای بسیاری را از بین ببرد.” “بسیاری از بنگاهها نمی توانند به مدل های خود اعتماد کنند زیرا پیاده سازی های موجود بسیار ارگونومیک یا کارآمد نبودند. امیدوارم هالومی آنها را قادر سازد که به LLM های خود اعتماد کنند زیرا اکنون چیزی برای القاء اعتماد به نفس مورد نیاز خود دارند.”

برای شرکتهای موجود در منحنی فرزندخواندگی آهسته تر ، طبیعت منبع باز هالومی به این معنی است که آنها می توانند اکنون با این فناوری آزمایش کنند در حالی که OUMI گزینه های پشتیبانی تجاری را در صورت لزوم ارائه می دهد.

کوکومیدیس افزود: “اگر هر شرکتی بخواهد هالومی را بهتر به دامنه خود سفارشی کند ، یا روش تجاری خاصی داشته باشد که باید از آن استفاده کنند ، ما همیشه بسیار خوشحالیم که به آنها کمک کنیم تا راه حل را توسعه دهند.”

با پیشرفت سیستم های هوش مصنوعی ، ابزارهایی مانند هالومی ممکن است به مؤلفه های استاندارد پشته های AI بنگاه اقتصادی تبدیل شوند – زیرساخت های اساسی برای جدا کردن واقعیت هوش مصنوعی از داستان.