ابهام در رتبه‌بندی مدل هوش مصنوعی جدید متا ، Maverick

متا مدل هوش مصنوعی Maverick را به عنوان یکی از مدل‌های پرچمدار خود معرفی کرده که در آزمون LM Arena موفق به کسب رتبه دوم شده است.
محققان تفاوت‌های معناداری میان نسخه آزمایشی این مدل در آزمون و نسخه عمومی آن کشف کرده‌اند. نسخه آزمایشی استفاده شده در آزمون، بسیار پرکاربردتر و با استفاده از شکلک‌های بیشتر طراحی شده است.
این موضوع نگرانی‌هایی را درباره اعتبار آزمون‌های عملکرد مدل‌های هوش مصنوعی ایجاد کرده است. سفارشی‌سازی مدل‌ها برای آزمون‌های خاص می‌تواند باعث گمراهی توسعه‌دهندگان درباره عملکرد واقعی مدل شود. /