رسوایی در رتبه‌بندی هوش مصنوعی! Chatbot Arena

محققان در مطالعه‌ای جدید به بررسی رویه‌های LM Arena در پلتفرم Chatbot Arena پرداختند و ادعا کردند که این سازمان به برخی شرکت‌های بزرگ فناوری امتیاز ویژه‌ای داده است.
آنها دریافتند که شرکت متا در فاصله ژانویه تا مارس، 27 نسخه از مدل‌های خود را به صورت خصوصی آزمایش کرده و تنها مدل برتر را منتشر کرده است. این رویه باعث شده تا این شرکت‌ها بتوانند امتیازات بهتری در رتبه‌بندی کسب کنند.
محققان پیشنهاد کرده‌اند که LM Arena باید شفافیت بیشتری در روند آزمایش مدل‌ها داشته باشد و محدودیت مشخصی برای آزمایش‌های خصوصی تعیین کند. این مطالعه سوالات جدی درباره بی‌طرفی سازمان‌های رتبه‌بندی هوش مصنوعی مطرح کرده است.
LM Arena این ادعاها را رد کرده و مدعی شده که رویه‌های آنها کاملاً منصفانه است. با این حال، این تحقیق توجه زیادی را به شیوه‌های ارزیابی مدل‌های هوش مصنوعی جلب کرده است.
/