آیا برنامه هوش مصنوعی شما کاربران را خاموش می کند یا از نسخه خارج می شود؟ باران باران با پلت فرم مشاهدات بومی برای نظارت بر عملکرد ظاهر می شود

از آنجا که شرکت ها به طور فزاینده ای به دنبال ایجاد و استقرار برنامه ها و خدمات تولیدی AI برای استفاده داخلی یا خارجی (کارمندان یا مشتریان) هستند ، یکی از سخت ترین سؤالاتی که با آنها روبرو هستند درک دقیقاً این است که این ابزارهای هوش مصنوعی در طبیعت چگونه عملکرد خوبی دارند.

در حقیقت ، یک نظرسنجی اخیر توسط شرکت مشاوره McKinsey و شرکت دریافت که تنها 27 ٪ از 830 پاسخ دهندگان گفتند که شرکت های آنها قبل از مراجعه به کاربران ، تمام خروجی های سیستم های AI تولیدی خود را بررسی کرده است.

مگر اینکه یک کاربر در واقع با گزارش شکایت بنویسد ، چگونه یک شرکت می داند که آیا محصول هوش مصنوعی آن مطابق انتظار و برنامه ریزی شده رفتار می کند؟

Raindop ، که قبلاً با عنوان Dawn AI شناخته می شد ، یک راه اندازی جدید است که با چالش سر و صدا روبرو می شود و خود را به عنوان اولین پلت فرم مشاهداتی که برای تولید هوش مصنوعی در تولید ساخته شده است ، قرار می دهد و خطایی را در هنگام وقوع ایجاد می کند و برای شرکت ها توضیح می دهد که چه اشتباهی رخ داده است و چرا. هدف؟ به حل به اصطلاح “مشکل جعبه سیاه” کمک کنید.

بنیانگذار بن هیلاک اخیراً در X نوشت: “محصولات AI به طور مداوم شکست می خورند-به طریقی خنده دار و وحشتناک.”

RainDrop به دنبال ارائه هر ابزار تعیین کننده مقوله شبیه به آنچه شرکت مشاهده Sentry برای نرم افزارهای سنتی انجام می دهد.

اما در حالی که ابزارهای ردیابی استثناء سنتی ، نادرست های ظریف مدل های زبان بزرگ یا همراهان هوش مصنوعی را ضبط نمی کنند ، باران باران تلاش می کند تا سوراخ را پر کند.

وی گفت: “در نرم افزار سنتی ، شما ابزارهایی مانند Sentry و Datadog دارید تا به شما بگویید که در تولید چه اشتباهی رخ می دهد.” “با هوش مصنوعی ، هیچ چیز وجود نداشت.”

تاکنون – البته.

چگونه باران باران کار می کند

RainDrop مجموعه ای از ابزارهایی را ارائه می دهد که به تیم های شرکت های بزرگ و کوچک اجازه می دهد تا در زمان واقعی به مسائل مربوط به هوش مصنوعی تشخیص دهند ، تجزیه و تحلیل و پاسخ دهند.

این پلتفرم در تقاطع تعامل کاربر و خروجی های مدل قرار دارد و الگوهای صدها میلیون رویداد روزانه را تجزیه و تحلیل می کند ، اما انجام این کار با رمزگذاری SOC-2 ، محافظت از داده ها و حریم خصوصی کاربران و شرکت ارائه راه حل هوش مصنوعی.

هالاک توضیح داد: “باران باران در جایی قرار دارد که کاربر باشد.” “ما پیام های آنها را تجزیه و تحلیل می کنیم ، به علاوه سیگنالهایی مانند انگشت شست به بالا/پایین ، ایجاد خطا یا اینکه آیا آنها خروجی را مستقر کرده اند ، استنباط می کنیم که واقعاً اشتباه است.”

Raindop از یک خط لوله یادگیری ماشین استفاده می کند که ترکیبی از خلاصه LLM با طبقه بندی کننده های کوچکتر بهینه شده برای مقیاس است.

هالاک گفت: “خط لوله ML ما یکی از پیچیده ترین من است که من دیده ام.” “ما از LLM های بزرگ برای پردازش زودهنگام استفاده می کنیم ، سپس مدلهای کوچک و کارآمد را آموزش می دهیم تا روزانه در مقیاس صدها میلیون رویداد اجرا شود.”

مشتریان می توانند نشانگرهایی مانند ناامیدی کاربر ، خرابی کار ، امتناع و خطای حافظه را ردیابی کنند. RainDrop برای شناسایی مسائل از سیگنال های بازخورد مانند انگشت شست ، اصلاح کاربر یا رفتار پیگیری (مانند استقرار ناموفق) استفاده می کند.

Zubin Singh Koticha ، بنیانگذار و مدیرعامل Raindrop ، در همان مصاحبه به VentureBeat گفت که در حالی که بسیاری از شرکت ها برای بررسی قابلیت اطمینان از راه حل های AI خود به ارزیابی ها ، معیارها و تست های واحد اعتماد داشتند ، اما برای بررسی خروجی های AI در طول تولید بسیار کمی طراحی شده است.

“اگر دوست دارید در برنامه نویسی سنتی تصور کنید ،” اوه ، نرم افزار من ده تست واحد را پشت سر می گذارد. عالی است. این یک نرم افزار قوی است. ” بدیهی است که چگونه کار می کند. ” “این یک مشکل مشابه است که ما در اینجا می خواهیم در اینجا حل کنیم ، جایی که در تولید ، در واقع چیزهای زیادی وجود ندارد که به شما بگوید: آیا خیلی خوب کار می کند؟ آیا شکسته است یا نه؟ و این همان جایی است که ما در آن جا می گیریم.”

برای شرکتهای موجود در صنایع بسیار تنظیم شده یا برای کسانی که به دنبال سطوح اضافی از حریم خصوصی و کنترل هستند ، RainDrop ارائه می دهد ، نسخه ای کاملاً در محل ، حریم خصوصی ، اولین نسخه از این پلتفرم با هدف شرکت هایی با نیازهای سختگیرانه داده ها را ارائه می دهد.

بر خلاف ابزارهای سنتی ورود به سیستم LLM ، Notify انجام هر دو طرف مشتری را از طریق SDK و سرور با ابزارهای معنایی انجام می دهد. این داده های مداوم را ذخیره نمی کند و تمام پردازش ها را در زیرساخت های مشتری نگه می دارد.

Raindrop Notify خلاصه های استفاده روزانه و گشت و گذار در مسائل سیگنال بالا را مستقیماً در ابزارهای محل کار مانند Slack و تیم ها ارائه می دهد-بدون نیاز به ورود به ابر یا تنظیمات DevOps پیچیده.

شناسایی خطای پیشرفته و دقت

شناسایی خطاها ، به ویژه با مدل های AI ، دور از ذهن نیست.

Hylak گفت: “آنچه در این فضا سخت است این است که هر برنامه هوش مصنوعی متفاوت است.” “یک مشتری ممکن است یک ابزار صفحه گسترده بسازد ، دیگری یک همراه بیگانه. آنچه به نظر می رسد” شکسته “بین آنها متفاوت است.” این تنوع به همین دلیل است که سیستم RainDrop به صورت جداگانه با هر محصول سازگار است.

هر مانیتور قطره باران محصول AI به عنوان منحصر به فرد رفتار می شود. این پلتفرم شکل داده ها و هنجارهای رفتاری را برای هر استقرار می آموزد ، سپس یک هستی شناسی مسئله پویا ایجاد می کند که با گذشت زمان تکامل می یابد.

Hylak توضیح داد: “Raindop الگوهای داده هر محصول را می آموزد.” “این کار با یک هستی شناسی سطح بالا از موضوعات مشترک هوش مصنوعی شروع می شود-چیزهایی مانند تنبلی ، حافظه یا ناامیدی کاربر-و سپس آنها را با هر برنامه تطبیق می دهد.”

این که آیا این یک دستیار برنامه نویسی است که یک متغیر را فراموش می کند ، یک همراه بیگانه هوش مصنوعی که ناگهان خود را به عنوان یک انسان از ایالات متحده ارجاع می دهد ، یا حتی یک چت بابوت که به طور تصادفی شروع به مطرح کردن ادعاهای “نسل کشی سفید” در آفریقای جنوبی می کند ، Raindrop قصد دارد این مسائل را با زمینه عملی انجام دهد.

اعلان ها به گونه ای سبک و به موقع طراحی شده اند. تیم ها وقتی چیزی غیرمعمول تشخیص داده می شوند ، با پیشنهاداتی در مورد نحوه تولید مثل مشکل ، هشدارهای تیم Slack یا Microsoft را دریافت می کنند.

با گذشت زمان ، این به توسعه دهندگان AI اجازه می دهد تا اشکالات را برطرف کنند ، مطالب را اصلاح کنند یا حتی نقص های سیستمیک را در نحوه پاسخگویی برنامه های آنها به کاربران شناسایی کنند.

هلاک گفت: “ما روزانه میلیون ها پیام را برای یافتن مواردی مانند بارگذاری شکسته یا شکایات کاربر طبقه بندی می کنیم.” “این همه در مورد الگوهای ظاهر شدن قوی و خاص برای ضمانت یک اعلان است.”

از Sidekick تا Raindop

داستان اصلی این شرکت ریشه در تجربه دستی دارد. Hylak ، که پیش از این به عنوان یک طراح رابط انسانی در VisionOS در مهندسی نرم افزار اپل و Avionics در SpaceX کار می کرد ، پس از مواجهه با GPT-3 در روزهای ابتدایی خود در سال 2020 ، کاوش در هوش مصنوعی را آغاز کرد.

وی به یاد می آورد: “به محض اینکه من از GPT-3 استفاده کردم-فقط یک تکمیل متن ساده-ذهنم را منفجر کرد.” “من فوراً فکر کردم ،” این تغییر می کند که چگونه مردم با فناوری تعامل دارند. ”

در کنار بنیانگذاران همکار Koticha و Alexis Gauba ، Hylak در ابتدا Sidekick را ساخت ، یک پسوند کد VS با صدها کاربر پرداخت می کند.

اما Building Sidekick یک مشکل عمیق تر نشان داد: اشکال زدایی محصولات هوش مصنوعی در تولید با ابزارهای موجود تقریباً غیرممکن بود.

هالاک توضیح داد: “ما با ساخت محصولات هوش مصنوعی شروع کردیم ، نه زیرساخت.” “اما خیلی سریع ، ما دیدیم که برای رشد هر چیز جدی ، برای درک رفتار هوش مصنوعی به ابزار نیاز داشتیم و این ابزار وجود نداشت.”

آنچه به عنوان یک دلخوری شروع شد به سرعت در تمرکز اصلی تکامل یافت. این تیم محور است و ابزارهایی را برای ایجاد رفتار محصول هوش مصنوعی در تنظیمات دنیای واقعی ایجاد می کند.

در این روند ، آنها فهمیدند که آنها تنها نیستند. بسیاری از شرکت های بومی AI فاقد دید در آنچه کاربران خود در واقع تجربه می کردند و چرا اوضاع در حال شکستن بود. با این کار ، باران باران متولد شد.

قیمت گذاری ، تمایز و انعطاف پذیری باران طیف گسترده ای از مشتریان اولیه را به خود جلب کرده است

قیمت گذاری Raindrop برای اسکان تیم هایی با اندازه های مختلف طراحی شده است.

یک طرح استارت با قیمت 65 دلار در ماه و قیمت گذاری استفاده اندازه گیری در دسترس است. Pro Tier ، که شامل ردیابی موضوعات سفارشی ، جستجوی معنایی و ویژگی های مقدماتی است ، از 350 دلار در ماه شروع می شود و نیاز به تعامل مستقیم دارد.

در حالی که ابزارهای مشاهده جدید نیستند ، بیشتر گزینه های موجود قبل از ظهور AI تولیدی ساخته شده اند.

Raindrop با داشتن AI بومی از زمین به بالا ، خود را از هم جدا می کند. هیلاک گفت: “باران باران بومی است.” “بیشترین ابزارهای مشاهده برای نرم افزارهای سنتی ساخته شده اند. آنها برای رسیدگی به غیرقابل پیش بینی و ظرافت رفتار LLM در طبیعت طراحی نشده اند.”

این ویژگی مجموعه ای از مشتریان را از جمله تیم های Clay.com ، Tolen و New Computer به خود جلب کرده است.

مشتریان Raindrop طیف گسترده ای از عمودی های هوش مصنوعی – از ابزارهای تولید کد گرفته تا همراهان داستان پردازی هوش مصنوعی – هرکدام نیاز به لنزهای مختلف در مورد آنچه به نظر می رسد “بد رفتاری” است.

متولد ضرورت

Raindop’s Rise نشان می دهد که چگونه ابزارهای ساخت AI نیاز به تکامل در کنار خود مدل ها دارند. از آنجا که شرکت ها ویژگی های بیشتری با هوش مصنوعی ارسال می کنند ، مشاهده ضروری می شود-فقط برای اندازه گیری عملکرد ، بلکه تشخیص خرابی های پنهان قبل از تشدید کاربران.

به قول Hylak ، Raindrop برای AI آنچه را که Sentry برای برنامه های وب انجام داده است انجام می دهد – به جز این که سهام اکنون شامل توهم ، امتناع و قصد نادرست است. RainDrop با استفاده از تجدید نظر و گسترش محصول ، شرط بندی می کند که نسل بعدی مشاهده نرم افزار با طراحی ، اولی خواهد بود.