OpenInfer 8 میلیون دلار بودجه برای تعریف مجدد استنتاج AI برای برنامه های Edge جمع آوری کرده است.
این فرزند مغز بهنام باستانی و رضا نورای است که نزدیک به یک دهه در ساخت و مقیاس سیستم های هوش مصنوعی در آزمایشگاه های واقعیت متا و Roblox را گذراند.
باستانی و نورای از طریق کار خود در خط مقدم هوش مصنوعی و طراحی سیستم ، دست اول شاهد بودند که چگونه معماری سیستم عمیق استنتاج مداوم و بزرگ هوش مصنوعی را امکان پذیر می کند. با این حال ، استنتاج هوش مصنوعی امروز در پشت API های ابر و سیستم های میزبان قفل شده است-مانعی برای برنامه های کم تحرک ، خصوصی و مقرون به صرفه. OpenInfer آن را تغییر می دهد. باستانی در مصاحبه ای با GamesBeat گفت: این می خواهد به انواع دستگاه های موجود در حاشیه ، آگنوستیک باشد.
با فعال کردن اجرای یکپارچه مدل های بزرگ هوش مصنوعی به طور مستقیم بر روی دستگاه ها – از SOC ها تا ابر – باز کردن این موانع را برطرف می کند و استنباط مدل های هوش مصنوعی را بدون به خطر انداختن عملکرد امکان پذیر می کند.
پیامد؟ دنیایی را تصور کنید که تلفن شما نیازهای شما را در زمان واقعی پیش بینی کند-ترجمه زبانها فوراً ، تقویت عکس ها با دقت با کیفیت استودیویی ، یا قدرت یک دستیار صوتی که واقعاً شما را درک می کند. با استنباط AI که مستقیماً روی دستگاه شما اجرا می شود ، کاربران می توانند انتظار داشته باشند که عملکرد سریعتر ، حریم خصوصی بیشتر و عملکرد بی وقفه بدون توجه به کجا باشند. این تغییر تاخیر را از بین می برد و محاسبات هوشمند و پر سرعت را به کف دست شما می آورد.
ساخت موتور OpenInfer: موتور استنتاج عامل AI
از زمان تأسیس این شرکت شش ماه پیش ، Bastani و Nourai تیمی از
هفت نفر ، از جمله همکاران سابق از زمان حضور در متا. در حالی که در متا بود ، آنها Oculus را ساخته بودند
با هم پیوند دهید ، تخصص خود را در طراحی سیستم کم تحرک و با کارایی بالا نشان دهید.
Bastani قبلاً به عنوان مدیر معماری در آزمایشگاه های واقعیت متا خدمت کرده بود و تیم ها را در
Google روی سیستم های موبایل ، VR و سیستم های نمایش متمرکز شده است. اخیراً او ارشد بود
مدیر مهندسی موتور هوش مصنوعی در Roblox. نورای نقشهای ارشد مهندسی را در
گرافیک و بازی در رهبران صنعت از جمله Roblox ، Meta ، Magic Leap و Microsoft.
OpenInfer در حال ساخت موتور OpenInfer است ، آنچه آنها را “موتور استنباط عامل AI” می نامند
برای عملکرد بی نظیر و ادغام یکپارچه طراحی شده است.
برای تحقق اولین هدف از عملکرد بی نظیر ، اولین نسخه OpenInfer
موتور در مقایسه با Llama.cpp و Ollama برای Deepseek مقطر 2-3 برابر استنباط سریعتر است
مدل ها. این تقویت ناشی از بهینه سازی های هدفمند ، از جمله رسیدگی به کارگردانی است
مقادیر کمکی ، دسترسی به حافظه بهبود یافته از طریق ذخیره سازی پیشرفته و خاص مدل
تنظیم – همه بدون نیاز به اصلاح در مدل ها.
برای دستیابی به هدف دوم ادغام یکپارچه با استقرار بی دردسر ،
موتور OpenInfer به عنوان جایگزینی قطره ای طراحی شده است و به کاربران امکان می دهد نقاط پایانی را تغییر دهند
به سادگی با به روزرسانی URL. عوامل و چارچوب های موجود همچنان یکپارچه عمل می کنند ،
بدون هیچ گونه اصلاح
“پیشرفت های OpenInfer یک جهش بزرگ برای توسعه دهندگان هوش مصنوعی است. با افزایش قابل توجهی
سرعت استنباط ، بهنم و تیمش برنامه های هوش مصنوعی در زمان واقعی را پاسخگو تر می کنند ،
تسریع در چرخه های توسعه ، و این امکان را برای مدل های قدرتمند فراهم می کند
دستگاه ها این امکانات جدیدی را برای اطلاعات در مورد دستگاه باز می کند و آنچه را که ممکن است گسترش می دهد
نوآوری محور AI ، “گفت: ارنستین فو مك ، مدیر شریک زندگی در Brave Capital و AN
سرمایه گذار در OpenInfer.
OpenInfer پیشگام بهینه سازی های خاص سخت افزار برای هدایت استنباط AI با کارایی بالا است
در مدل های بزرگ – عملکرد رهبران صنعت در دستگاه های لبه. با طراحی استنباط از
زمین بالا ، آنها در حال باز کردن توان بالاتر ، استفاده از حافظه پایین و یکپارچه هستند
اجرای سخت افزار محلی.
نقشه راه آینده: استنباط AI بدون درز در همه دستگاه ها
راه اندازی OpenInfer به خصوص با توجه به اخبار اخیر Deepseek ، به خوبی به موقع است. به عنوان فرزندخواندگی
شتاب می گیرد ، استنباط به عنوان محرک اصلی تقاضای محاسبه ، آموزش های پیشی گرفته است. در حالی که
نوآوری هایی مانند DeepSeek نیازهای محاسباتی را برای آموزش و استنباط کاهش می دهد ،
برنامه های مبتنی بر لبه هنوز به دلیل پردازش محدود با عملکرد و کارآیی مبارزه می کنند
قدرت اجرای مدل های بزرگ هوش مصنوعی در دستگاه های مصرف کننده روش های استنتاج جدیدی را می طلبد که
عملکرد کم تحرک و با توان بالا را بدون تکیه بر زیرساخت های ابری فعال کنید.
ایجاد فرصت های مهم برای شرکت ها بهینه سازی هوش مصنوعی برای سخت افزار محلی.
“بدون OpenInfer ، استنباط هوش مصنوعی در دستگاه های لبه به دلیل عدم وجود واضح ناکارآمد است
لایه انتزاع سخت افزار. این چالش باعث می شود تا استفاده از مدل های بزرگ بر روی
سکوهای محاسبه شده با محاسبه فوق العاده دشوار ، و فشار دادن بار کار هوش مصنوعی به آن
Cloud – جایی که آنها به شرایط شبکه پرهزینه ، کند و وابسته می شوند. Openifer
Gokul Rajaram ، یک سرمایه گذار در OpenInfer گفت: استنباط در حاشیه است. ” رجارام است
یک سرمایه گذار فرشته و در حال حاضر عضو هیئت مدیره Coinbase و Pinterest.
به طور خاص ، OpenInfer منحصر به فرد برای کمک به فروشندگان سیلیکون و سخت افزار AI قرار دارد
عملکرد استنتاج در دستگاه ها. شرکت هایی که برای حفظ حریم خصوصی ، هزینه یا
قابلیت اطمینان می تواند OpenInfer را با برنامه های کلیدی در روباتیک ، دفاع ، عامل AI و
توسعه مدل.
در بازی های موبایل ، فناوری OpenInfer گیم پلی فوق العاده پاسخگو را با زمان واقعی امکان پذیر می کند
AI سازگار فعال کردن استنتاج در سیستم امکان کاهش تأخیر و هوشمندانه در بازی را فراهم می کند
پویایی بازیکنان از گرافیک های نرم تر ، چالش های شخصی با هوش مصنوعی و یک
تجربه همهجانبه تر با هر حرکتی در حال تکامل است.
باستانی گفت: “در OpenInfer ، چشم انداز ما این است که یکپارچه هوش مصنوعی را در هر سطح ادغام کنیم.” “ما هدف ما این است که OpenInfer را به عنوان موتور پیش فرض استنتاج در همه دستگاه ها ایجاد کنیم.
OpenInfer برای اولین دور بودجه خود ، 8 میلیون دلار بذر جمع آوری کرده است. سرمایه گذاران شامل می شوند
Brave Capital ، Cota Capital ، Essence VC ، Operator Stack ، Stemai ، بنیانگذار Oculus VR و مدیرعامل سابق Brendan Iribe ، دانشمند ارشد Google Deepmind ، جف دین ، تجربیات و مدیر اصلی محصولات مایکروسافت ، آپارانا چناپراگادا ، سرمایه گذار فرشته Gokul Rajam و دیگران بشر
اکوسیستم فعلی هوش مصنوعی توسط چند بازیکن متمرکز که دسترسی به آنها را کنترل می کنند حاکم است
استنباط از طریق API های ابر و خدمات میزبان. در OpenInfer ، ما آن را تغییر می دهیم. “
باستانی “نام ما مأموریت ما را منعکس می کند: ما” دسترسی “به استنتاج هوش مصنوعی را باز می کنیم.
همه توانایی اجرای مدل های قدرتمند هوش مصنوعی را به صورت محلی ، بدون اینکه در ابر گران قیمت قفل شوند
خدمات. ما به آینده ای اعتقاد داریم که هوش مصنوعی در دسترس ، غیرمتمرکز و واقعاً در دست باشد
کاربران آن. “
