فناوری AutoRound شرکت اینتل امکان اجرای سریعتر و بهینهتر مدلهای زبانی بزرگ (LLM) را روی پردازندههای مرکزی و گرافیکی اینتل فراهم میکند. همچنین پلتفرم Crescent Island از فرمتهای MXFP8 و MXFP4 پشتیبانی میکند.
فناوری AutoRound اینتل یک الگوریتم پیشرفته در نظر گرفته میشود که توسط اینتل توسعه داده شده و اکنون در ابزار LLM Compressor ادغام شده است. این همکاری مزایای زیر را ارائه میدهد:
دقت بالاتر در کمّیسازی با بیتهای کم
تنظیم سبک و سریع (در حد صدها مرحله، نه هزاران مرحله)
بدون سربار اضافی در زمان اجرای مدل (Inference)
سازگاری کامل با compressed-tensors و اجرای مستقیم در vLLM
روند کاری ساده: کمّیسازی و اجرای مدل تنها با چند خط کدنویسی
پشتیبانی از روشهای بیشتر کمیسازی و مدلهای گستردهتر بهزودی اضافه خواهد شد
AutoRound چیست؟
فناوری AutoRound یک الگوریتم پیشرفته کمّیسازی پس از آموزش (PTQ) است که برای مدلهای زبانی بزرگ (LLM) و مدلهای بینایی–زبانی (VLM) طراحی شده. این روش برای هر «تنسورِ کمیسازیشده» سه پارامتر قابلآموزش معرفی میکند:
v: تنظیمکننده گرد کردن مقادیر (rounding offset)
α و β: کنترلکننده بازه برش (clipping range) بهصورت یادگرفتنی
فناوری AutoRound اینتل لایههای «دیکودر» را بهصورت مرحلهای پردازش میکند و با استفاده از گرادیان نزولی علامتدار (signed gradient descent)، فرآیند گرد کردن و برش را بهصورت همزمان بهینه میسازد تا خطای بازسازی خروجی در سطح بلوکی به حداقل برسد.
نقاط قوت کلیدی
نقاط قوت کلیدیدقت بسیار بالا، بهویژه در bit‑widthsهای بسیار پایین
پشتیبانی از انواع داده متنوع:
W4A16 ،MXFP8 ،MXFP4 ،FP8 ،NVFP4 (و موارد بیشتر در راهاند)
پشتیبانی از «دقت ترکیبی» و جستجوی هوشمند دقت بهصورت لایهبهلایه برای ایجاد تعادل میان دقت و کارایی
قابلاستفاده برای هر دو نوع مدل LLM و VLM
فناوری AutoRound اینتل امکان تولید مدلهای کمّیسازیشده در فرمتهای کمبیت را فراهم میکند که برای افزایش سرعت اجرای مدلها روی سختافزارهای زیر طراحی شدهاند:
پردازندههای Intel Xeon
شتابدهندههای هوش مصنوعی Intel Gaudi
پردازندههای گرافیکی مراکز داده اینتل
گرافیکهای Intel Arc B-Series
و همچنین سایر پردازشگرهای گرافیکی (مانند دستگاههای مبتنی بر CUDA)
آینده چه خواهد بود؟
اینتل در حال افزودن پشتیبانی بومی از فرمتهای FP8 ،MXFP8 و MXFP4 به نسل بعدی پردازشگرهای گرافیکی دیتاسنتری خود با نام رمزی Crescent Island است. مدلهایی که با AutoRound کمّیسازی شوند، بهطور طبیعی میتوانند از این فرمتها در سراسر مجموعه سختافزارهای هوش مصنوعی اینتل بهرهمند شوند.
این روند، یک مسیر یکپارچه از نوآوری الگوریتمی تا پیادهسازی عملی در دنیای واقعی ایجاد میکند. ما اینجا در رسانه خبری بنچیمو آخرین اخبار مرتبط با تکنولوژی را پوشش میدهیم، پس حتماً با ما همراه باشید. شما در مورد فناوری AutoRound اینتل چه نظری دارید؟ با ما به اشتراک بگذارید.
