استارتاپ میرا موراتی مدل هوش مصنوعی جدیدی معرفی کرد؛ کارایی فوق‌العاده در ابعادی کوچک‌تر

تنها دو هفته پس از عرضه اولین مدل زبانی بزرگ Thinking Machines، این استارتاپ تحت رهبری «میرا موراتی»، مدیر ارشد فناوری سابق OpenAI، از مدل جدید خود با نام Inkling-Small رونمایی کرد. این مدل با وجود کاهش چشمگیر تعداد پارامترها و حجم کلی، ترکیبی از توانمندی، کاهش هزینه‌ها و کارایی بالا ارائه می‌دهد و حتی در برخی آزمون‌های شاخص، عملکردی بهتر از برادر بزرگ‌تر خود داشته است.

Inkling-Small یک «مدل استدلال چندوجهی» با ۲۷۶ میلیارد پارامتر کل است که با مجوز معتبر و آزاد Apache 2.0 منتشر شده است. این مدل با وجود آنکه ابعادی بسیار کوچک‌تر از نسخه پرچمدار اولیه (با ۹۷۵ میلیارد پارامتر) دارد، در شاخص شخص‌ثالث Artificial Analysis با کسب امتیاز ۴۰ تنها یک امتیاز از نسخه اصلی ۹۷۵ میلیاردی عقب‌تر است. این مدل به‌صورت بومی از ورودی‌های متنی، تصویری و صوتی پشتیبانی می‌کند و خروجی متنی ارائه می‌دهد؛ همچنین پنجره زمینه آن تا ۱ میلیون توکن را پشتیبانی می‌کند.

این مدل جدید به‌جای فعال کردن تمام پارامترها، در هر توکن تنها از ۱۲ میلیارد پارامتر فعال استفاده می‌کند؛ رقمی که در نسخه قبلی ۴۱ میلیارد پارامتر فعال بود. با‌این‌حال، Inkling-Small توانسته بخش زیادی از قدرت خود در برنامه‌نویسی، استدلال منطقی و وظایف چندوجهی را حفظ کند.

معماری و نحوه عملکرد مدل هوش مصنوعی Inkling Small

ساختار معماری مدل هوش مصنوعی Inkling Small بر پایه «ترکیبی از متخصصان» یا MoE طراحی شده است. در این سیستم، هر توکن به ۶ متخصص از میان ۲۵۶ متخصص ویژه همراه با ۲ متخصص مشترک هدایت می‌شود. این معماری منحصربه‌فرد باعث می‌شود سیستم در هر گام، تنها بخش محدودی از داده‌های خود را استفاده کند و در نتیجه مصرف منابع پردازشی به‌شدت کاهش یابد.

براساس ارزیابی‌های منتشرشده، مدل Inkling-Small در آزمون SWE-bench Verified به امتیاز ۸۰٫۲ درصد (در مقایسه با ۷۷٫۶ درصد نسخه اصلی) و در آزمون Terminal Bench 2.1 به امتیاز ۶۴٫۷ درصد (در مقایسه با ۶۳٫۸ درصد نسخه اصلی) دست یافته است. این مدل همچنین در بنچمارک‌های دیگری نظیر SciCode ،Humanity’s Last Exam ،GPQA Diamond و CritPt از نسخه اولیه پیشی گرفت.

البته این برتری همه‌جانبه نیست؛ نسخه پرچمدار Inkling همچنان در حفظ دانش واقعی و برخی سناریوهای ایجنت‌محور برتری دارد. برای مثال در آزمون τ³-Banking (برای حل چالش‌های بانکی)، مدل Inkling-Small امتیاز ۱۵٫۵ درصد را کسب کرده، درحالی‌که مدل اصلی به ۲۳٫۷ درصد رسیده است. این موضوع نشان می‌دهد شرکت‌هایی که به دنبال دقت بالاتر در داده‌های واقعی و حساس هستند، همچنان باید از سیستم‌های بازیابی اطلاعات و بازبینی انسانی بهره ببرند.

READ  تاریخ احتمالی معرفی سری میت ۳۰ مشخص شد

وزن‌های کامل این مدل در پلتفرم Hugging Face منتشر شده و امکان تنظیم آن از طریق API پلتفرم Tinker وجود دارد. با تخفیف ۵۰ درصدی زمان عرضه، قیمت API مدل استاندارد ۶۴ هزار توکنی Inkling-Small معادل ۰٫۵۸ دلار به‌ازای هر میلیون توکن ورودی، ۱٫۴۴ دلار به‌ازای هر میلیون توکن خروجی و ۱٫۷۳ دلار به‌ازای هر میلیون توکن آموزش تعیین شده است.

با وجود برخورداری از نام «Small»، این مدل برای اجرا روی لپ‌تاپ یا سیستم‌های شخصی طراحی نشده است. نسخه BF16 حداقل به ۶۰۰ گیگابایت حافظه گرافیکی نیاز دارد (معادل ۴ کارت گرافیک NVIDIA B300 یا ۸ کارت NVIDIA H200)، درحالی‌که نسخه فشرده‌تر NVFP4 نیازمند ۱۸۰ گیگابایت حافظه VRAM است. با‌این‌حال، کاهش حجم به یک‌چهارم، راه‌اندازی سرورهای شخصی و کاهش هزینه‌های عملیاتی را برای ارگان‌ها و شرکت‌هایی که تمایل به حفظ مالکیت داده‌های خود دارند، بسیار آسان‌تر و مقرون‌به‌صرفه‌تر می‌کند.