به گزارش بخش موبایل رسانه اخبار فناوری تک فاکس،
پس از راه اندازی ماه گذشته مدل Gemma 3 Open AI ، نسخه های جدید Gemma 3 با آموزش آگاهی کمیت (QAT) به تازگی توسط Google اعلام شده است. نسخه های جدید باعث می شود Gemma 3 برای توسعه دهندگان در دسترس باشد.
اطلاعات بیشتر در مورد آن را در زیر بخوانید.
Gemma 3 Models Models اعلام کرد ، بهترین قابلیت های هوش مصنوعی را برای GPU های مصرف کننده به ارمغان می آورد
در حالی که مدل اولیه Gemma 3 به یک مدل پیشرو در AI تبدیل شد که قادر به اجرای یک پردازنده گرافیکی با سطح بالا مانند Nvidia H100 است که از دقت BF16 (BFLOAT16) استفاده می کند ، نسخه های جدید آن که با آموزش آگاهانه بهینه سازی (QAT) بهینه سازی شده است و باعث می شود که حافظه را کاهش دهد و این امکان را فراهم می کند تا روی ژپوس مصرف کننده مانند NVIDIA RTX30 اجرا شود. بنابراین ، Gemma 3 برای توسعه دهندگان بیشتر در دسترس است و به آنها اجازه می دهد تا از آن در GPU های درجه مصرف کننده استفاده کنند که قبلاً در رایانه های شخصی ، لپ تاپ ها و همچنین تلفن های دسک تاپ خود وجود دارند.
صحبت بیشتر ، با کمیت ، دقت اعداد ذخیره شده و استفاده شده کاهش می یابد. به این معنی که می توان به جای 16 بیت در هر عدد (BFLOAT16) ، 8 بیت در هر عدد (INT8) و 4 بیت در هر عدد (INT4) استفاده کرد. هنگام استفاده از 4 بیت ، اندازه داده ها 4 بار در مقایسه با 16 بیت کاهش می یابد. همچنین ، برای جلوگیری از تخریب به دلیل کمیت ، Google مدلهای Gemma AI خود را برای کمیت قوی ساخت و چندین نوع کمی برای مدل های GEMMA 3 منتشر شده است.
در مورد حافظه VRAM یا GPU مورد نیاز برای بارگیری وزن مدل در INT4 ، در Gemma 3 27b به 14.1 گیگابایت کاهش می یابد ، در Gemma 3 12b به 6.6 گیگابایت کاهش می یابد ، در Gemma 3 4B به 2.6 گیگابایت کاهش می یابد ، و در Gemma 3 1B به 0.5 گیگابایت کاهش می یابد. با نگاهی به نمره chatbot arena elo ، آخرین مدل Gemma 3 27B به نمره عملکرد 1342 امتیاز رسیده است ، و نشان می دهد که بهتر از QWQ 32B Alibaba Cloud (1316 امتیاز) و متا 400B (1271 امتیاز) و متا بهتر است و از نزدیک با Deepseek R1 671B (1358) مقایسه می شود.
با توجه به اجرای مدل های Gemma 3 در دستگاه ها ، از Gemma 3 27B (INT4) می توان در یک دسک تاپ NVIDIA RTX 3090 (24 گیگابایتی VRAM) یا کارت GPU مشابه استفاده کرد ، از Gemma 3 12b (Int4) می توان در GPU های لپ تاپ استفاده کرد که شامل GECMIS 3 GECMIS LAPTOP GPU (8GM VRAM (8GM VRAM) است. از مدل های کوچکتر می توان در دستگاه های محدود شده منابع مانند تلفن و موارد دیگر استفاده کرد.
ابزارهای محبوب مانند Ollama ، LM Studio ، MLX ، Gemma.cpp و Llama.cpp برای تکمیل فرآیند ادغام قابل دسترسی هستند. توجه داشته باشید ، مدل های رسمی رسمی INT4 و Q4_0 Google در Google در Kaggle و Bugging Face در دسترس خواهند بود. گزینه های بیشتری نیز در Gemmaverse نیز موجود است ، و این موارد به راحتی در بغل کردن Face نیز در دسترس هستند.