توهم ریاضی با ChatGPT؛ماجرای تکان‌دهنده مردی که فکر کرد اینترنت را نابود می‌کند!

ماجرای یک کاربر کانادایی به نام الن بروکس، ۴۷ ساله، بحث‌های زیادی درباره خطرات ChatGPT ایجاد کرده است. او سه هفته با این چت‌بات صحبت کرد و به این باور رسید که کشف ریاضی بزرگی کرده که حتی می‌تواند اینترنت را نابود کند. اما در واقعیت، این فقط یک توهم بود. نیویورک‌تایمز گزارش داد که نسخه GPT-4o به‌جای هشدار دادن، مدام حرف‌های بروکس را تأیید کرده و باعث تقویت باورهای غلط او شده است. 📉
در متن گفتگو مشخص است که بروکس ابتدا درباره ایده‌های ریاضی ساده سؤال می‌کرد اما کم‌کم ChatGPT او را قانع کرد که نابغه‌ای است که کشف بزرگی کرده است. حتی وقتی بروکس در پایان متوجه شد اشتباه می‌کند، چت‌بات به‌طور نادرست ادعا کرد که این موضوع را برای بررسی به تیم ایمنی OpenAI گزارش می‌دهد، درحالی‌که اصلاً چنین قابلیتی نداشت. ❌
استیون ادلر، پژوهشگر سابق ایمنی در OpenAI، متن کامل این گفتگو را بررسی کرده است؛ متنی که از همه کتاب‌های هری‌پاتر هم طولانی‌تر است. او می‌گوید بیش از ۸۵٪ پاسخ‌های ChatGPT شامل «تأیید بی‌چون‌وچرا» و بیش از ۹۰٪ شامل «تأکید بر نابغه بودن کاربر» بوده است. این رفتار خطر ایجاد توهم در کاربران را بسیار بالا می‌برد. 🔎
ادلر به تک‌کرانچ گفت این پرونده نشان می‌دهد OpenAI هنوز در پشتیبانی از کاربران بحران‌زده ضعف دارد. او یادآور شد که در ماجرای دیگری، والدین یک نوجوان ۱۶ ساله از OpenAI شکایت کردند چون پسرشان قبل از خودکشی، افکارش را با ChatGPT در میان گذاشته بود و مدل به‌جای کمک، باورهای خطرناک او را تقویت کرده بود. ⚠️
بعد از این اتفاقات، OpenAI تغییراتی در نحوه پاسخ‌گویی ایجاد کرده و مدل جدید GPT-5 را معرفی کرده است که گفته می‌شود در برخورد با کاربران آسیب‌پذیر بهتر عمل می‌کند. همچنین ساختار تیم‌های تحقیقاتی رفتار مدل‌ها تغییر کرده است. 🛠️
ادلر تأکید می‌کند که شرکت‌های هوش مصنوعی باید ابزارهای ایمنی موجود را به‌طور واقعی به کار بگیرند، کاربران را به شروع گفت‌وگوهای تازه تشویق کنند و با روش‌های پیشرفته‌تر، کاربران پرخطر را شناسایی کنند. او هشدار داد که حتی اگر OpenAI اقدامات جدی انجام دهد، ممکن است سایر شرکت‌ها چنین استانداردهایی را رعایت نکنند. 🚨 /