-
چرا هوش مصنوعی بهجای گفتن «نمیدانم» ترجیح میدهد حدس بزند؟
OpenAI در پژوهشی تازه بررسی کرده که چرا مدلهای زبانی بزرگی مثل GPT-5 همچنان دچار توهم میشوند؛ یعنی پاسخهایی میدهند که درست به نظر میرسند اما در واقع اشتباهاند. این شرکت میگوید توهمات هرچند کمتر شدهاند، اما هیچوقت به طور کامل از بین نمیروند. برای نمونه، وقتی از یک چتبات درباره پایاننامه یا تاریخ تولد یکی از نویسندگان مقاله پرسیده شد، چند جواب متفاوت و همگی غلط ارائه داد.🤖
پژوهشگران توضیح میدهند دلیل اصلی این مشکل در روش آموزش است؛ جایی که مدل فقط یاد میگیرد کلمه بعدی را پیشبینی کند، بدون اینکه برچسب درست یا غلط داشته باشد.به همین دلیل، در مواردی مثل تاریخ یا اطلاعات کمیاب، احتمال خطا بالا میرود.📊📚
راهحل پیشنهادی OpenAI تغییر شیوه ارزیابی مدلهاست.آزمونهای فعلی فقط بر دقت تمرکز دارند و باعث میشوند مدلها ترجیح دهند حدس بزنند تا اینکه بگویند «نمیدانم». پیشنهاد آنها این است که برای پاسخهای مطمئن اما غلط، جریمه بیشتری در نظر گرفته شود و در مقابل، برای ابراز تردید یا نگفتن پاسخ کامل، امتیاز جزئی داده شود.✅💡۱۴۰۴/۶/۱۹ ۰۱:۵۳:۳۴ -
توهم ریاضی با ChatGPT؛ماجرای تکاندهنده مردی که فکر کرد اینترنت را نابود میکند!
«الن بروکس» کاربر ۴۷ساله کانادایی، ۳ هفته با ChatGPT گفتگو کرد و دچار توهم کشف ریاضی بزرگی شد که میتواند اینترنت را نابود کند.به گزارش نیویورکتایمز، GPT-4o بهجای هشدار، مدام تأییدش کرد.📉
او با پرسشهای ساده شروع کرد اما چتبات کمکم او را نابغه جلوه داد.سرانجام که فهمید اشتباه است، ChatGPT گفت موضوع را به تیم ایمنی OpenAI گزارش میکند؛ درحالیکه چنین قابلیتی نداشت.❌
ادلر، پژوهشگر پیشین ایمنی OpenAI، متن الن که طولانی تر از ۷ کتاب هریپاتر بود را بررسی کرد و گفت بیش از ۸۵٪ پاسخها تأیید قطعی و بیش از ۹۰٪ تأکید بر نابغهبودن کاربر بوده است.🔎
او گفت این پرونده ضعف OpenAI در حمایت از کاربران بحرانزده را نشان میدهد و به شکایت والدینِ نوجوانی اشاره کرد که پیش از خودکشی با ChatGPT گفتگو کرده و باورهای خطرناک او را تقویت کرده بود.⚠️
سپس OpenAI شیوه پاسخگویی را تغییر داد و GPT-5 را معرفی کرد؛ گفته میشود این نسخه با کاربران آسیبپذیر بهتر عمل میکند و ساختار تیمهای پژوهش رفتار مدل نیز بازتنظیم شد.🛠️۱۴۰۴/۷/۱۲ ۱۶:۰۶:۲۵ -
چرا توهمات AI نگرانکننده نیست؟
🤖 داریو آمودئی، مدیرعامل Anthropic، در رویداد «Code with Claude» اعلام کرد مدلهای هوش مصنوعی امروزی کمتر از انسانها دچار هذیان گویی میشوند؛ یعنی کمتر اطلاعات نادرستی تولید میکنند که ظاهراً درست بهنظر میرسد. ⚠️🧠
او گفت این خطاها مانعی برای رسیدن به هوش مصنوعی همسطح انسان (AGI) نیستند و تأکید کرد: «هیچ مانع جدی در مسیر دیده نمیشود، پیشرفت در همه جهات در حال وقوع است». 🚀
آمودئی پیشبینی کرده بود AGI ممکن است تا سال ۲۰۲۶ محقق شود. 📅
در مقابل، مدیرانی مانند دمیس هسابیس از DeepMind گوگل این نوع خطاها را چالشی بزرگ برای آینده هوش مصنوعی میدانند. 🛑
همچنین یک موسسه پژوهشی هشدار داده بود که نسخه اولیه مدل Claude Opus 4 گرایش به فریب انسانها با اعتماد بهنفس بالا دارد. Anthropic میگوید برای رفع این مشکل، اقداماتی انجام داده است. 🛡️
آمودئی معتقد است حتی با وجود این خطاها، مدلهای فعلی به AGI بسیار نزدیک شدهاند، هرچند این دیدگاه هنوز محل اختلاف است.۱۴۰۴/۳/۳ ۱۱:۵۹:۴۰
