برای آخرین به روزرسانی ها و مطالب اختصاصی در مورد پوشش هوش مصنوعی پیشرو در صنعت ، به خبرنامه های روزانه و هفتگی ما بپیوندید. بیشتر بدانید
درک دقیق چگونگی مطابقت خروجی یک مدل بزرگ زبان (LLM) با داده های آموزشی مدتهاست که یک راز و یک چالش برای شرکت IT بوده است.
تلاش جدیدی برای منبع باز این هفته توسط موسسه آلن برای هوش مصنوعی (AI2) آغاز شد و هدف آن کمک به حل این چالش با ردیابی خروجی LLM به ورودی های آموزش است. ابزار Olmotrace به کاربران این امکان را می دهد تا خروجی های مدل زبان را مستقیماً به داده های آموزش اصلی ردیابی کنند و به یکی از مهمترین موانع مربوط به پذیرش AI بنگاه اقتصادی پرداختند: عدم شفافیت در نحوه تصمیم گیری سیستم های هوش مصنوعی.
olmo مخفف است برای مدل زبان باز ، که همچنین نام خانواده AI2 LLMS با منبع باز است. در سایت Playground این شرکت ، کاربران می توانند Olmotrace را با مدل OLMO 2 32B که اخیراً منتشر شده است ، امتحان کنند. کد منبع باز نیز در GitHub موجود است و هست آزادانه برای استفاده هر کسی در دسترس است.
Olmotrace بر خلاف رویکردهای موجود با تمرکز بر نمرات اعتماد به نفس یا نسل بازیابی و بازیابی ، یک پنجره مستقیم در رابطه بین خروجی های مدل و مجموعه داده های آموزش چند میلیارد-پوکی که آنها را شکل داده است ، ارائه می دهد.
جیاچنگ لیو ، محقق AI2 به VentureBeat گفت: “هدف ما این است که به کاربران کمک کنیم تا درک کنند که چرا مدل های زبان پاسخ هایی را که انجام می دهند تولید می کنند.”
چگونه Olmotrace کار می کند: بیش از استنادها
LLMS با عملکرد جستجوی وب ، مانند سرگیجه یا جستجوی چتپ ، می تواند استناد به منبع را ارائه دهد. با این حال ، این نقل قول ها اساساً با آنچه Olmotrace انجام می دهد متفاوت است.
لیو توضیح داد که گیج کننده و جستجوی چتپ از نسل بازیابی شده (RAG) استفاده می کنند. با استفاده از RAG ، هدف این است که با ارائه منابع بیشتر از آنچه در این مدل آموزش داده شده است ، کیفیت تولید مدل را بهبود بخشید. Olmotrace متفاوت است زیرا خروجی خود را از خود مدل بدون هیچ گونه منبع رگ یا اسناد خارجی ردیابی می کند.
این فناوری توالی های متنی طولانی و منحصر به فرد را در خروجی های مدل مشخص می کند و آنها را با اسناد خاص از قسمت آموزش مطابقت می دهد. هنگامی که یک مسابقه یافت می شود ، Olmotrace متن مربوطه را برجسته می کند و پیوندهایی را به منبع اصلی منبع ارائه می دهد و به کاربران این امکان را می دهد تا دقیقاً ببینند که مدل اطلاعات مورد استفاده خود را در کجا و چگونه آموخته است.
فراتر از نمرات اعتماد به نفس: شواهد ملموس از تصمیم گیری هوش مصنوعی
با طراحی ، LLM ها بر اساس وزن مدل تولید می کنند که به ارائه نمره اطمینان کمک می کند. ایده اصلی این است که هرچه نمره اعتماد به نفس بالاتر باشد ، خروجی نیز دقیق تر خواهد بود.
از نظر لیو ، نمرات اعتماد به نفس اساساً ناقص است.
لیو گفت: “مدل ها می توانند از چیزهایی که تولید می کنند بیش از حد سازگار باشند و اگر از آنها بخواهید که نمره ایجاد کنند ، معمولاً تورم می شود.” “این همان چیزی است که دانشگاهیان خطای کالیبراسیون می نامند – این اطمینان که خروجی مدل ها همیشه منعکس نمی شود که پاسخ های آنها چقدر دقیق است.”
Olmotrace به جای نمره بالقوه گمراه کننده دیگر ، شواهد مستقیمی از منبع یادگیری مدل ارائه می دهد و کاربران را قادر می سازد تا قضاوت های آگاهانه خود را انجام دهند.
لیو توضیح داد: “آنچه Olmotrace انجام می دهد این است که مسابقات بین خروجی های مدل و اسناد آموزشی را به شما نشان می دهد.” “از طریق رابط ، می توانید مستقیماً ببینید که نقاط تطبیق در کجا قرار دارند و چگونه خروجی های مدل با اسناد آموزشی همزمان می شوند.”
چگونه Olmotrace با سایر رویکردهای شفافیت مقایسه می شود
AI2 تنها در تلاش نیست تا درک کند که چگونه LLMS تولید تولید می کند. Anthropic اخیراً تحقیقات خود را در مورد این موضوع منتشر کرد. این تحقیق به جای درک داده ها بر روی عملیات داخلی مدل متمرکز شده است.
لیو گفت: “ما رویکرد متفاوتی از آنها در نظر گرفته ایم.” “ما به طور مستقیم در حال انجام رفتار مدل هستیم ، به داده های آموزش آنها ، بر خلاف ردیابی چیزها در نورون های مدل ، مدارهای داخلی ، آن نوع چیزها.”
این رویکرد باعث می شود Olmotrace فوراً برای برنامه های سازمانی مفیدتر باشد ، زیرا برای تفسیر نتایج به تخصص عمیقی در معماری شبکه عصبی احتیاج ندارد.
برنامه های کاربردی AI شرکت: از رعایت نظارتی گرفته تا اشکال زدایی مدل
برای شرکت هایی که AI را در صنایع تنظیم شده مانند مراقبت های بهداشتی ، امور مالی یا خدمات حقوقی مستقر می کنند ، Olmotrace مزایای قابل توجهی نسبت به سیستم های موجود در جعبه سیاه ارائه می دهد.
لیو گفت: “ما فکر می کنیم که Olmotrace به کاربران شرکت و مشاغل کمک می کند تا آنچه را که در آموزش مدل ها استفاده می شود ، بهتر درک کنند تا بتوانند در هنگام ساخت بالای آنها اعتماد به نفس بیشتری داشته باشند.” “این می تواند به افزایش شفافیت و اعتماد بین آنها به مدل های آنها و همچنین برای مشتریان از رفتارهای مدل خود کمک کند.”
این فناوری چندین قابلیت مهم را برای تیم های AI سازمانی امکان پذیر می کند:
- خروجی های مدل بررسی واقعیت در برابر منابع اصلی
- درک منشأ توهم
- بهبود اشکال زدایی مدل با شناسایی الگوهای مشکل ساز
- افزایش انطباق نظارتی از طریق ردیابی داده
- اعتماد به نفس با ذینفعان از طریق افزایش شفافیت
تیم AI2 قبلاً از Olmotrace برای شناسایی و تصحیح مشکلات مدل های خود استفاده کرده است.
لیو فاش می کند: “ما در حال حاضر از آن برای بهبود داده های آموزشی خود استفاده می کنیم.” “هنگامی که ما OLMO 2 را ساختیم و آموزش خود را از طریق Olmotrace شروع کردیم ، فهمیدیم که در واقع برخی از داده های پس از آموزش خوب نیست.”
این به معنای پذیرش AI Enterprise چیست
برای شرکت هایی که به دنبال رهبری راه در تصویب AI هستند ، Olmotrace گام مهمی به سمت سیستم های AI شرکت های پاسخگو تر نشان می دهد. این فناوری تحت مجوز منبع باز Apache 2.0 در دسترس است ، به این معنی که هر سازمانی با دسترسی به داده های آموزش مدل خود می تواند قابلیت های ردیابی مشابهی را پیاده سازی کند.
لیو خاطرنشان می کند: “Olmotrace می تواند روی هر مدل کار کند ، تا زمانی که شما داده های آموزش مدل را داشته باشید.” “برای مدلهای کاملاً باز که همه به داده های آموزش مدل دسترسی دارند ، هر کسی می تواند Olmotrace را برای آن مدل و برای مدل های اختصاصی تنظیم کند ، شاید برخی از ارائه دهندگان بخواهند داده های خود را منتشر کنند ، می توانند این کار را در داخل انجام دهند.”
از آنجا که چارچوب های حاکمیت هوش مصنوعی همچنان در سطح جهان تکامل می یابند ، ابزارهایی مانند Olmotrace که امکان تأیید و قابلیت شنیدن را فراهم می کنند ، احتمالاً به مؤلفه های اساسی پشته های AI شرکت تبدیل می شوند ، به ویژه در صنایع تنظیم شده که شفافیت الگوریتمی به طور فزاینده ای اجباری است.
برای تصمیم گیرندگان فنی که مزایا و خطرات مربوط به پذیرش هوش مصنوعی را دارند ، Olmotrace مسیری عملی را برای اجرای سیستم های AI قابل اعتماد تر و قابل توضیح تر و بدون قربانی کردن قدرت مدل های بزرگ زبان ارائه می دهد.