اینتل در نمایشگاه Computex 2025 از پروژه Battlematrix در کنار پردازنده‌های گرافیکی Arc Pro رونمایی کرد. Battlematrix برای ورک‌استیشن‌های استنتاجی (Inference) طراحی شده که با چندین کارت گرافیک Arc Pro کار می‌کنند.
طبق نقشه راه اینتل، قرار بود اولین نسخه همراه با پشتیبانی vLLM و تله‌متری پایه در سه‌ماهه سوم عرضه شود و حالا این وعده با LLM Scaler v1.0 محقق شده است.
ویژگی‌ها و بهینه‌سازی‌های LLM Scaler v1.0 :
vLLM:
- بهینه‌سازی عملکرد TPOP برای ورودی‌های طولانی‌تر از 4 هزار توکن: افزایش کارایی تا 1.8 برابر برای توالی 40 هزار در مدل 32B KPI و تا 4.2 برابر برای مدل 70B KPI
- افزایش حدود 10٪ در سرعت خروجی برای مدل‌های 8B تا 32B KPI نسبت به نسخه قبلی
- کوانتیزاسیون آنلاین لایه به لایه برای کاهش حافظه گرافیکی مورد نیاز
- پشتیبانی آزمایشی از Pipeline Parallelism
- پشتیبانی آزمایشی از torch.compile
- پشتیبانی آزمایشی از Speculative Decoding
- پشتیبانی از مدل‌های Embedding و Rerank
- تقویت پشتیبانی از مدل‌های چندحالته (Multi-modal)
- شناسایی خودکار حداکثر طول ورودی
- پشتیبانی از Data Parallelism
- فعال‌سازی ابزار OneCCL Benchmark
XPU Manager:
- مدیریت توان کارت گرافیک
- به‌روزرسانی Firmware کارت گرافیک
- ابزار عیب‌یابی کارت گرافیک
- مانیتور پهنای‌باند حافظه کارت گرافیک
اینتل می‌گوید این پشته نرم‌افزاری با هدف سهولت استفاده و رعایت استانداردهای صنعتی ساخته شده است. سیستم جدید که با تمرکز بر لینوکس طراحی شده، تا 80٪ افزایش کارایی را در مقیاس‌دهی چند کارت گرافیک و انتقال داده P2P از طریق PCIe ارائه می‌دهد. همچنین از قابلیت‌های مدیریتی و پایداری در سطح سازمانی مانند ECC ،SR-IOV، تله‌متری و به‌روزرسانی از راه دور Firmware پشتیبانی می‌کند.
طبق نقشه راه قبلی، این نسخه در همین فصل با یک انتشار پایدارتر دنبال خواهد شد که کارایی و سرویس‌دهی vLLM را بهبود می‌دهد. در نهایت، در سه‌ماهه چهارم، اینتل نسخه کامل و مجهز به تمام قابلیت‌ها را منتشر خواهد کرد.
ما اینجا در رسانه خبری بنچیمو آخرین اخبار مرتبط با تکنولوژی را پوشش می‌دهیم، پس حتماً با ما همراه باشید. شما در مورد LLM Scaler v1.0 چه نظری دارید؟ با ما به اشتراک بگذارید.
