اپن‌ای در دسامبر مدل هوش مصنوعی o3 را معرفی کرد و عملکرد بسیار بالایی در حل مسائل ریاضی FrontierMath اعلام نمود.
مارک چن، مدیر تحقیقات اپن‌ای، عملکرد مدل را بیش از 25 درصد در آزمون‌های داخلی اعلام کرد، در حالی که سایر مدل‌ها کمتر از 2 درصد موفق بودند.
موسسه Epoch AI در ارزیابی مستقل، عملکرد o3 را حدود 10 درصد گزارش کرد که پایین‌تر از ادعای اولیه اپن‌ای است.
دلایل این اختلاف می‌تواند شامل تفاوت در محاسبات، زیرساخت‌های متفاوت و نسخه‌های مختلف آزمون باشد.
این رویداد نشان می‌دهد که نتایج آزمون‌های هوش مصنوعی نباید بدون بررسی دقیق پذیرفته شوند. /