برای آخرین به روزرسانی ها و مطالب اختصاصی در مورد پوشش هوش مصنوعی پیشرو در صنعت ، به خبرنامه های روزانه و هفتگی ما بپیوندید. بیشتر بدانید
Liquid Ai ، راه اندازی مدل بنیاد مبتنی بر بوستون از موسسه فناوری ماساچوست (MIT) ، به دنبال جابجایی صنعت فناوری فراتر از اعتماد خود به معماری ترانسفورماتور است که زیر مجموعه ترین مدل های محبوب زبان (LLMS) مانند سری GPT OpenAi و خانواده Gemini Google قرار دارد.
دیروز ، این شرکت “Hyena Edge” را اعلام کرد ، یک مدل جدید مبتنی بر Convolution ، چند هیبریدی که برای تلفن های هوشمند و سایر دستگاه های Edge پیش از کنفرانس بین المللی نمایش های یادگیری (ICLR) 2025 طراحی شده است.
این کنفرانس ، یکی از رویدادهای برتر برای تحقیقات یادگیری ماشین ، امسال در وین ، اتریش برگزار می شود.
مدل جدید مبتنی بر Convolution نوید AI سریعتر و با حافظه بیشتر در لبه
Hyena Edge به منظور بهتر از خطوط ترانسفورماتور قوی در هر دو راندمان محاسباتی و کیفیت مدل زبان طراحی شده است.
در تست های دنیای واقعی در یک تلفن هوشمند Smartla Samsung Galaxy S24 Samsung ، این مدل تأخیر کمتری ، ردپای حافظه کوچکتر و نتایج معیار بهتر در مقایسه با یک مدل ترانسفورماتور ++ پارامتر را ارائه می دهد.
یک معماری جدید برای دوره جدیدی از Edge AI
بر خلاف اکثر مدل های کوچک که برای استقرار موبایل طراحی شده اند-از جمله SMOLLM2 ، مدل های PHI و Llama 3.2 1B-Hyena Edge از طرح های سنتی توجه سنگین فاصله دارد. درعوض ، این استراتژیک جایگزین دو سوم اپراتورهای توجه گروهی (GQA) با پیچش های دروازه دار از خانواده Hyena-y می شود.
معماری جدید نتیجه سنتز مایع AI از چارچوب معماری های متناسب (STAR) است که از الگوریتم های تکاملی برای طراحی خودکار ستون فقرات مدل استفاده می کند و در دسامبر 2024 اعلام شد.
Star طیف گسترده ای از ترکیبات اپراتور را که ریشه در تئوری ریاضی سیستم های متغیر ورودی خطی دارد ، بهینه می کند تا برای چندین هدف خاص سخت افزار مانند تأخیر ، استفاده از حافظه و کیفیت بهینه شود.
معیار مستقیم بر روی سخت افزار مصرف کننده
برای اعتبارسنجی آمادگی در دنیای واقعی Hyena Edge ، Liquid AI آزمایشات را مستقیماً در تلفن هوشمند Smartla Samsung Galaxy S24 انجام داد.
نتایج نشان می دهد که Hyena Edge تا 30 ٪ سریعتر پیشانی و رمزگشایی در مقایسه با همتای ترانسفورماتور ++ خود را بدست آورد ، با مزایای سرعت در طول توالی طولانی تر افزایش می یابد.
تأخیرهای مقدماتی در طول توالی کوتاه نیز از پایه ترانسفورماتور پیشی گرفت-یک متریک عملکرد مهم برای برنامه های پاسخگو در دستگاه.
از نظر حافظه ، Hyena Edge به طور مداوم از RAM کمتری در طول استنباط در تمام طول توالی آزمایش شده استفاده می کند ، و آن را به عنوان یک نامزد قوی برای محیط هایی با محدودیت منابع محکم قرار می دهد.
از ترانسفورماتورها در معیارهای زبان بهتر عمل می کنند
Hyena Edge در 100 میلیارد توکن آموزش دیده و در معیارهای استاندارد برای مدلهای زبان کوچک از جمله Wikitext ، Lambada ، Piqa ، Hellaswag ، Winogrande ، Arc-Easy و Arc-Challenge ارزیابی شد.
در هر معیار ، Hyena Edge با عملکرد مدل GQA-transformer ++ مطابقت دارد یا از آن فراتر رفته است ، با پیشرفت های قابل توجه در نمرات گیج کننده در Wikitext و Lambada و میزان دقت بالاتر در PIQA ، Hellaswag و Winogrande.
این نتایج حاکی از آن است که سود کارآیی مدل به هزینه کیفیت پیش بینی نمی شود-یک تجارت مشترک برای بسیاری از معماری های بهینه شده لبه.
Hyena Edge Evolution: نگاهی به عملکرد و روند اپراتور
برای کسانی که به دنبال شیرجه عمیق تر به روند توسعه Hyena Edge هستند ، یک فیلمبرداری ویدیویی اخیر خلاصه تصویری قانع کننده از تکامل مدل را ارائه می دهد.
این ویدئو نشان می دهد که چگونه معیارهای کلیدی عملکرد – از جمله تأخیر مقدمه ، رمزگشایی و مصرف حافظه – در نسل های پیاپی پالایش معماری بهبود یافته است.
همچنین نگاهی نادر در پشت صحنه در مورد چگونگی تغییر ترکیب داخلی Hyena Edge در طول توسعه ارائه می دهد. بینندگان می توانند تغییرات پویا در توزیع انواع اپراتور ، مانند مکانیسم های خودآگاهی (SA) ، انواع مختلف کفتار و لایه های Swiglu را مشاهده کنند.
این شیفت ها بینشی از اصول طراحی معماری ارائه می دهند که به مدل کمک کرده است تا به سطح فعلی کارآیی و دقت خود برسد.
با تجسم معاملات و پویایی های اپراتور به مرور زمان ، این فیلم زمینه ارزشمندی را برای درک پیشرفت های معماری در زمینه عملکرد Hyena Edge فراهم می کند.
برنامه های منبع باز و چشم انداز گسترده تری
مایع هوش مصنوعی گفت که قصد دارد طی ماه های آینده یک سری از مدل های بنیاد مایع از جمله Hyena Edge را باز کند. هدف این شرکت ساخت سیستم های هوش مصنوعی با هدف عمومی و کارآمد است که می تواند از دیتاسنترهای ابر تا دستگاه های لبه شخصی مقیاس کند.
اولین نسخه Hyena Edge همچنین پتانسیل رو به رشد معماری های جایگزین را برای به چالش کشیدن ترانسفورماتورها در تنظیمات عملی برجسته می کند. با توجه به اینکه دستگاه های تلفن همراه به طور فزاینده ای انتظار می رود بارهای پیچیده کار هوش مصنوعی را به صورت بومی اجرا کنند ، مدل هایی مانند Hyena Edge می توانند یک پایه جدید برای آنچه که هوش مصنوعی بهینه شده می تواند به دست آورد ، تعیین کنند.
موفقیت Hyena Edge – هم در معیارهای عملکرد خام و هم در نمایش طراحی خودکار معماری – AI Liquid AI را به عنوان یکی از بازیکنان نوظهور برای تماشای در چشم انداز مدل AI در حال تحول قرار می دهد.
