برای آخرین به روزرسانی ها و مطالب اختصاصی در مورد پوشش هوش مصنوعی پیشرو در صنعت ، به خبرنامه های روزانه و هفتگی ما بپیوندید. بیشتر بدانید
حتی به عنوان مدل های بزرگ زبان و استدلال ، سازمان ها به طور فزاینده ای به مدل های کوچکتر می روند تا فرآیندهای هوش مصنوعی را با انرژی و نگرانی کمتری انجام دهند.
در حالی که برخی از سازمان ها مدل های بزرگتر را به نسخه های کوچکتر تقطیر می کنند ، ارائه دهندگان مدل مانند Google همچنان مدل های زبان کوچک (SLM) را به عنوان جایگزینی برای مدل های بزرگ زبان (LLMS) منتشر می کنند ، که ممکن است بدون قربانی کردن عملکرد یا دقت ، هزینه بیشتری برای اجرای آن داشته باشد.
با توجه به این نکته ، Google آخرین نسخه از مدل کوچک خود ، Gemma را منتشر کرده است که دارای ویندوز زمینه گسترش یافته ، پارامترهای بزرگتر و قابلیت های استدلال چند حالته بیشتر است.
Gemma 3 که دارای همان قدرت پردازش با مدل های بزرگتر Gemini 2.0 است ، بهترین استفاده از دستگاه های کوچکتر مانند تلفن و لپ تاپ است. مدل جدید دارای چهار اندازه است: پارامترهای 1B ، 4B ، 12B و 27B.
در مقابل ، با یک پنجره زمینه بزرگتر از نشانه های 128K – در مقابل ، Gemma 2 دارای یک پنجره زمینه از 80K بود – Gemma 3 می تواند اطلاعات بیشتر و درخواست های پیچیده را درک کند. Google Gemma 3 را به روز کرد تا در 140 زبان کار کند ، تصاویر ، متن و فیلم های کوتاه را تجزیه و تحلیل کند و عملکرد پشتیبانی را برای خودکار سازی وظایف و گردش کار عامل انجام دهد.
Gemma عملکرد قوی می دهد
برای کاهش هزینه های محاسبات حتی بیشتر ، Google نسخه های کمکی Gemma را معرفی کرده است. به مدلهای کمکی به عنوان مدل های فشرده فکر کنید. این اتفاق از طریق فرآیند “کاهش دقت مقادیر عددی در وزن یک مدل” بدون قربانی کردن دقت انجام می شود.
گوگل گفت Gemma 3 “عملکرد پیشرفته ای را برای اندازه خود ارائه می دهد” و از LLM های پیشرو مانند Llama-405b ، Deepseek-V3 و O3-Mini بهتر عمل می کند. Gemma 3 27B ، به طور خاص ، در تست های نمره نمره Chatbot Arena Elo به Deepseek-R1 رسید. این مدل در صدر مدل کوچکتر Deepseek ، Deepseek V3 ، Openai's O3-Mini ، Meta's Llama-405b و Mistral Large قرار داشت.
با کمیت کردن GEMMA 3 ، کاربران می توانند عملکرد را بهبود بخشند ، مدل را اجرا کنند و برنامه هایی را بسازند “که می تواند در یک میزبان واحد پردازش TENSOR و TENSOR (TPU) قرار بگیرد.”
GEMMA 3 با ابزارهای توسعه دهنده مانند بغل کردن ترانسفورماتورهای صورت ، اولاما ، جکس ، کروس ، پیرتر و دیگران ادغام می شود. کاربران همچنین می توانند از طریق استودیوی Google AI ، در آغوش گرفتن Face یا Kaggle به Gemma 3 دسترسی پیدا کنند. شرکت ها و توسعه دهندگان می توانند از طریق استودیوی AI به API Gemma 3 دسترسی پیدا کنند.
سپر Gemma برای امنیت
Google گفت که این پروتکل های ایمنی را در Gemma 3 ساخته است ، از جمله یک بررسی ایمنی برای تصاویر به نام Shieldgemma 2.
گوگل در یک پست وبلاگ می نویسد: “توسعه Gemma 3 شامل حاکمیت داده های گسترده ، هماهنگی با سیاست های ایمنی ما از طریق ارزیابی دقیق و معیار قوی است.” وی گفت: “در حالی که آزمایش دقیق مدلهای توانمندتر ، اغلب ارزیابی ما از مدل های کمتری را نشان می دهد ، عملکرد تقویت شده STEM Gemma 3 باعث می شود ارزیابی های خاص بر پتانسیل آن برای سوء استفاده در ایجاد مواد مضر متمرکز شود. نتایج آنها نشانگر سطح کم خطر است. “
Shieldgemma 2 یک بررسی کننده ایمنی تصویر پارامتر 4B است که در بنیاد Gemma 3 ساخته شده است. این مدل با تصاویر حاوی محتوای صریح جنسی ، خشونت و سایر مواد خطرناک ، مدل را پیدا و مانع می کند. کاربران می توانند Shieldgemma 2 را متناسب با نیازهای خاص خود سفارشی کنند.
مدل های کوچک و تقطیر در حال افزایش
از آنجا که Google برای اولین بار Gemma را در فوریه 2024 منتشر کرد ، SLMS شاهد افزایش علاقه بوده است. سایر مدل های کوچک مانند PHI-4 مایکروسافت و Mistral Small 3 نشان می دهد که شرکت ها می خواهند برنامه هایی را با مدل هایی به اندازه LLMS قدرتمند بسازند ، اما لزوماً از کل وسعت آنچه LLM قادر است استفاده نمی کنند.
شرکت ها همچنین شروع به روی آوردن به نسخه های کوچکتر از LLM هایی که از طریق تقطیر ترجیح می دهند. برای روشن شدن ، Gemma تقطیر Gemini 2.0 نیست. در عوض ، با همان مجموعه داده و معماری آموزش دیده است. یک مدل مقطر از یک مدل بزرگتر یاد می گیرد ، که Gemma چنین نمی کند.
سازمان ها اغلب ترجیح می دهند موارد استفاده خاصی را در یک مدل قرار دهند. به جای استقرار LLM مانند O3-Mini یا Claude 3.7 Sonnet به یک ویرایشگر کد ساده ، یک مدل کوچکتر ، چه SLM یا یک نسخه مقطر ، می تواند به راحتی این کارها را انجام دهد بدون اینکه یک مدل عظیم را بیش از حد کند.
