در سال‌های اخیر پدیده‌ «هذیان یا توهم» در چت‌بات‌ها و مدل‌های تولید متن به‌شکل چشمگیری افزایش یافته است، به‌طوری‌که حتی مدل‌های پیشرفته‌ استدلال‌گر نیز با نرخ بالاتری از پاسخ‌های ساختگی و نادرست مواجه‌اند. این مسأله در حوزه‌های حساس مانند پزشکی و حقوق می‌تواند منجر به پیامدهای جبران‌ناپذیری اعم از تشخیص‌های اشتباه و مسئولیت‌های حقوقی شود. از سوی دیگر کسب‌وکارها نیز ممکن است در صورت اتکا به خروجی‌های نادرست دچار زیان مالی، خدشه‌دار شدن شهرت و دعاوی قضایی گردند. خوشبختانه فناوری‌هایی مانند بازیابی افزوده نسل (RAG)، پالایش پس از تولید و معماری‌های به‌روزتر در کنار سیاست‌های «مسئولیت‌پذیری در هوش مصنوعی» امکان کاهش چشمگیر این خطاها را فراهم می‌آورند

هذیان (Hallucination) چیست؟

ذیان در چت بات‌ها به زمانی اشاره دارد که مدل‌های هوش مصنوعی، به جای ارائه اطلاعات دقیق، پاسخ‌هایی تولید می‌کنند که ممکن است نادرست یا کاملاً ساختگی باشند، اما به صورت واقعیت ارائه شوند. این پدیده، که گاهی به آن "confabulation" نیز گفته می‌شود، از نظر روان‌شناسی با توهمات انسانی مقایسه می‌شود، اما در AI به جای تجربه‌های حسی، به پاسخ‌های ساختگی مربوط است. اهمیت این موضوع از آن‌جا ناشی می‌شود که چت بات‌ها در زمینه‌های حساس مانند پزشکی، حقوقی و تحلیل داده‌های تجاری استفاده می‌شوند، و اطلاعات نادرست می‌تواند پیامدهای جدی داشته باشد.

چرا هذیان افزایش یافته است؟

۱. حجم و تنوع داده‌های آموزشی

مدل‌های بزرگ زبانی برای یادگیری به مجموعه‌های گسترده‌ای از داده نیاز دارند و وجود داده‌های متناقض یا ناصحیح در این مجموعه‌ها می‌تواند منجر به یادگیری الگوهای اشتباه شود.

۲. تمرکز بر ترکیب زبانی بیش از دقت محتوایی

معماری فعلی بسیاری از مدل‌ها برای تولید متن روان طراحی شده است؛ در نتیجه در مواقعی که داده‌ی کافی یا مرتبط وجود ندارد، مدل به «حدس» و تولید محتوای قانع‌کننده ولی نادرست می‌پردازد.

۳. پیچیدگی استدلال در مدل‌های جدید

نسل تازه‌ای از مدل‌ها با هدف انجام استدلال گام‌به‌گام عرضه شده‌اند؛ اما شواهد نشان می‌دهد این مدل‌ها در موقعیت‌های دشوار نرخ بالاتری از هذیان را نشان می‌دهند.

بر اساس گزارش نیویورک تایمز، مدل‌های جدید هوش مصنوعی، به ویژه آن‌هایی که برای استدلال و تحلیل طراحی شده‌اند، نرخ بالاتری از هذیان نسبت به نسل‌های قبلی دارند.  این آمار نشان می‌دهد که با پیچیده‌تر شدن مدل‌ها، مانند o۳ و o۴-mini، نرخ هذیان ممکن است افزایش یابد. برای مثال، در تست Vectara برای خلاصه‌سازی مقالات خبری، مدل DeepSeek R۱ نرخ ۱۴.۳٪ هذیان داشته، در حالی که مدل o۳ نرخ کمتری، ۶.۸٪، نشان داده است.

نمونه‌های واقعی

• حوزه‌ پزشکی: ابزار «Whisper» اوپن‌ای‌آی که برای رونویسی تعاملات پزشک و بیمار استفاده می‌شود، در حدود ۸۰٪ مواقع متن‌هایی را «اختراع» می‌کند که می‌توانند منجر به اشتباه در تشخیص یا درمان شوند.
• بازاریابی و تجارت: در یک تبلیغ گوگل برای سوپربول، آمار ساختگی درباره‌ی سهم پنیر در بازار منتشر شد که گوگل ناچار به اصلاح آن گردید.
• خدمات مشتری: ربات‌های پشتیبانی ممکن است وضعیت سفارشات را بدون بررسی واقعی «ارسال‌شده» اعلام کنند و موجب نارضایتی مشتری شوند. همچنین یکی از نمونه‌های برجسته، مورد شرکت Cursor است که در آن یک چت بات پشتیبانی سیاست ساختگی‌ای اعلام کرد: کاربران دیگر نمی‌توانند نرم‌افزار را روی بیش از یک دستگاه استفاده کنند. این اعلام، که بعداً توسط مدیرعامل مایکل ترول تکذیب شد، منجر به نارضایتی کاربران و لغو حساب‌هایشان شد. این مثال نشان می‌دهد که هذیان می‌تواند تأثیرات عملی و اقتصادی داشته باشد.
• درمان‌های روان‌شناختی آنلاین: کارشناسان بهداشتی در بریتانیا درباره‌ی ریسک‌های چت‌بات‌های درمانگر هشدار داده‌اند، چرا که خطاهای هذیانی می‌تواند به توصیه‌های نادرست و حتی خطرناک بینجامد.

پیامدهای هذیان در عصر هوش مصنوعی

۱. تضعیف اعتماد عمومی

وقتی کاربران ببینند AI با لحنی «قاطع» اشتباه می‌کند، اعتماد خود را به این فناوری از دست داده و در پذیرش‌های بعدی مردد می‌شوند.

۲. ریسک‌های مالی و حقوقی برای کسب‌وکارها

تصمیم‌گیری بر مبنای داده‌های هذیان‌آمیز می‌تواند به زیان‌های مالی، دعاوی قضایی یا جریمه‌های سنگین منجر شود.

۳. چالش‌های اخلاقی و مسئولیت‌پذیری

سؤال «مسئول چه‌کسی است؟» وقتی AI اطلاعات غلط ارائه می‌دهد، هنوز به‌طور کامل حل نشده است و نیاز به چارچوب‌های قانونی و اخلاقی جدید دارد.

راز مقابله با هذیان در چت‌بات‌ها

• بازیابی افزوده نسل (Retrieval-Augmented Generation – RAG): اتصال مدل به منابع معتبر خارجی برای صحت‌سنجی پاسخ‌ها پیش از تولید نهایی آن‌ها.
  در RAG، مدل زبانی پس از دریافت پرسش کاربر، ابتدا اسناد یا داده‌های بیرونی (مثل پایگاه‌های دانش، ویکی‌پدیا یا دیتاست‌های داخلی شرکت) را جستجو می‌کند و عیناً بخش‌های مرتبط را استخراج می‌کند. سپس با ترکیب این اطلاعات مستند با توانایی تولید زبان خود، پاسخ نهایی را می‌سازد تا احتمال ارائه محتوای کاملأ ساختگی به حداقل برسد 
• پالایش پس از تولید: به‌کارگیری فیلترهای خودکار و انسانی برای تشخیص و حذف خروجی‌های هذیانی قبل از انتشار.
• مدل‌های تخصصی کوچک‌تر: استفاده از مدل‌های محدود به حوزه‌ی خاص که آموزش دقیق‌تری دیده‌اند تا احتمال خطا کاهش یابد.
• مسئولیت‌پذیری در AI: تدوین چارچوب‌های اخلاقی و قانونی برای تعیین دقیق مسئولیت‌ها و جبران خسارات ناشی از هذیان.

با توجه به کاربرد رو به رشد چت‌بات‌ها در زندگی روزمره و کسب‌وکارها، پرداختن به مسأله‌ی هذیان از نظر فنی، اقتصادی و اخلاقی ضروری است. اتخاذ ترکیبی از راهکارهای فنی و سیاست‌گذاری‌های مسئولانه می‌تواند به کاهش چشمگیر این خطاها کمک کند، اما برای حل کامل این چالش نیاز به پژوهش‌های عمیق‌تر و همکاری میان صنعت، دانشگاه و نهادهای قانون‌گذار داریم.