شرکت متا اعلام کرده به زودی مدل Llama 3.1 405B را منتشر خواهد کرد، مدلی متشکل از 405 میلیارد پارامتر که مدل زبانی بزرگی محسوب می‌شود. 405 میلیارد پارامتر، مدل Llama 3.1 405B را بزرگ‌ترین مدل منبع باز موجود نمی‌کند، اما بزرگ‌ترین مدلی است که در سال‌های اخیر منتشر شده. این مدل با استفاده از ۱۶,۰۰۰ پردازنده گرافیکی Nvidia H100 آموزش دیده است، همچنین از تکنیک‌های آموزشی و توسعه جدیدتری استفاده کرده که متا ادعا می‌کند می‌تواند با مدل‌های پیشرو...
