-
ابهام در رتبهبندی مدل هوش مصنوعی جدید متا ، Maverick
متا بهتازگی مدل هوش مصنوعی جدیدی به نام “Maverick” معرفی کرده که در آزمون مقایسهای LM Arena رتبه دوم را کسب کرده است. اما محققان متوجه شدهاند نسخهای که در این آزمون استفاده شده، با نسخهای که برای عموم عرضه شده تفاوت دارد و نسخهی شرکت داده شده در تست، بهطور ویژه برای گفتگو بهینهسازی شده بوده است. این موضوع باعث شده عملکرد واقعی مدل برای توسعهدهندگان مبهم باشد و رتبهبندی آن گمراهکننده به نظر برسد. چنین رویکردی، یعنی بهینهسازی صرف برای کسب رتبه بالا در تست و سپس عرضه نسخه متفاوت، میتواند اعتماد به این رتبهبندیها را زیر سؤال ببرد.
۱۴۰۴/۱/۱۹ ۰۹:۵۳:۲۹ -
مدل جدید هوش مصنوعی متا پایینتر از رقبا
مدل هوش مصنوعی جدید متا به نام Maverick، که بخشی از خانواده Llama 4 است، در آزمون معروف LM Arena عملکرد ضعیفتری نسبت به مدلهای رقیب مثل GPT-4o (OpenAI)، Claude 3.5 (Anthropic) و Gemini 1.5 (گوگل) داشته است.
ماجرا از جایی شروع شد که مشخص شد متا برای گرفتن نمره بالا در این آزمون، از یک نسخه آزمایشی و بهینهشدهی مخصوص چت استفاده کرده بود، نه نسخه عمومی و منتشرشده. این موضوع باعث واکنش کاربران و تغییر قوانین این آزمون شد.
نسخه اصلی مدل متا در مقایسه با دیگر مدلها چندان قوی ظاهر نشده، چون آن بهینهسازیهای خاص نسخه آزمایشی را ندارد.۱۴۰۴/۱/۲۴ ۰۴:۳۱:۵۶
