نشانه های پنجگانه که چت‌جی‌پی‌تی دارد توهم می‌زند!

به گزارش سراج24؛ در سه گزارش «چت‌جی‌پی‌تی نفهمید، شما ببخشید!»، «آیا چت‌جی‌پی‌تی بی‌طرف است؟» و «چه کسی پشت سکوت چت‌جی‌پی‌تی ایستاده است؟»، دیدیم که مدل‌های زبانی نه جادوگرند و نه خیّاط حقیقت؛ بلکه حاصل میلیاردها داده، الگوریتم، و انتخاب‌های انسانی‌اند. فهمیدیم که برخی خطاها به ذاتِ داده‌ها و برخی به طراحی الگوریتم بازمی‌گردد، و نیز دانسته و نادانسته، توسعه‌دهندگان مسیر پاسخ‌دهی را هدایت می‌کنند.

اکنون نوبت آن است که به پدیده‌ای عمیق‌تر بپردازیم: هالوسینیشن یا توهم؛ یعنی همان وقتی که مدل، چیزی را از خود می‌سازد و با اعتمادبه‌نفس، تحویل‌مان می‌دهد.

پدیده‌ای که اگر آن را نشناسیم، می‌تواند حقیقت را به دروغی خوش‌زبان بدل کند. این گزارش، راهنمای شما برای شناخت، تحلیل و مهار این پدیده است.

هالوسینیشن چیست؟ پاسخ‌دادن وقتی پاسخی وجود ندارد!!
در روان‌شناسی، هالوسینیشن یا «توهم» به تجربه دیدن یا شنیدن چیزهایی گفته می‌شود که در واقعیت وجود ندارند. در دنیای هوش مصنوعی نیز همین مفهوم به‌کار می‌رود: زمانی که مدل زبانی، متنی ظاهراً دقیق و اطمینان‌بخش تولید می‌کند، اما آن اطلاعات از اساس نادرست، ساختگی یا غیرمستند است. برخلاف تصور عمومی، این یک باگ فنی نیست؛ بلکه پیامد طبیعی نحوه آموزش مدل‌های زبانی است.
مدل زبانی، مانند چت‌جی‌پی‌تی، مبتنی بر احتمال است. وقتی از او چیزی می‌پرسید، تلاش می‌کند محتمل‌ترین ادامه را برای جمله یا درخواست شما حدس بزند. در این حدس‌زدن، اگر داده کافی در دسترس نباشد یا پرامپت مبهم باشد، مدل ممکن است به‌جای گفتن «نمی‌دانم»، شروع به ساختن واقعیت کند.

برای مثال، اگر از یک مدل بپرسید:
«چه کسی در سال ۲۰۱۹ جایزه نوبل فیزیک را برد؟»
ممکن است پاسخ دهد:
«جان اسمیت از دانشگاه آکسفورد برای کشف ساختار تاریک ماده...»

درحالی‌که چنین شخصی اصلاً وجود ندارد!
در این موارد، مدل نه دروغ می‌گوید، نه قصد فریب دارد؛ بلکه صرفاً به‌جای گفتن «نمی‌دانم»، با الگوریتم‌های آماری، پاسخی می‌سازد که بیشترین شباهت را به ساختارهای واقعی دارد.

یا مثلاً بر فرض اگر از مدلی بپرسید: «منبع این نقل‌قول از ابن‌سینا چیست؟»، اگر آن جمله را ابن سینا نگفته باشد یا در داده‌های مدل قبل از کات‌آف (در ادامه توضیح می‌دهیم) وجود نداشته باشد، مدل در پاسخ، کتابی خیالی از ابن‌سینا را نام می‌برد که هرگز وجود نداشته است؛ چرا؟ چون مدل در لایه‌های آماری خود، کلمه «ابن‌سینا» را کنار عباراتی مانند «شفا»، «نجات»، یا «اشارات و تنبیهات» دیده، اما داده خاصی را که شما پرسیده‌اید، نمی‌شناسد؛ پس از نزدیک‌ترین ترکیب ممکن، یک پاسخ خیالی می‌سازد.

پس چرا اجازه داده‌اند هالوسینیشن وجود داشته باشد؟
در نخستین نگاه، شاید به‌نظر برسد که وجود هالوسینیشن یا توهم، نوعی نقص طراحی یا سهل‌انگاری است. اما حقیقت پیچیده‌تر از آن است.

هالوسینیشن، نه یک خطا، که لازمه‌ی خلاقیت مدل است
در مراحل آموزش مدل زبانی، سیستم باید بتواند به هزاران پرسش پاسخ دهد، حتی اگر منبع مشخصی در داده‌های تمرین‌داده‌شده نداشته باشد. در غیر این صورت، مدل دچار سکوت‌های پیاپی و ناتوانی در مکالمه می‌شود. اینجاست که توسعه‌دهندگان، تصمیمی سخت می‌گیرند: «آیا بهتر است مدل هرگاه مطمئن نبود، سکوت کند؟ یا اینکه پاسخی بسازد که دست‌کم تا حدی قابل قبول باشد؟»
در بسیاری از کاربردها، مانند تولید متن ادبی، داستان‌سرایی، یا پاسخ به سؤالات ذهنی، هالوسینیشن نه‌تنها مضر نیست، بلکه ضروری است. بدون آن، مدل‌ها خلاقیت نخواهند داشت. به بیان دیگر: «هر مدل زبانی موفق، ناگزیر دچار توهم است؛ مگر آنکه خلاقیت را از او بگیریم.»

توضیح آنکه مدل‌های زبانی بزرگ مانند GPT یا LLaMA یا Claude براساس شبکه‌های عصبی و داده‌های عظیم آموزش دیده‌اند. هدف آن‌ها چیست؟ پیش‌بینی کلمه بعدی براساس کلمات قبلی.
این یعنی حتی اگر داده‌ی واقعی در دسترس نباشد، مدل وظیفه دارد چیزی تولید کند که از نظر آماری «معقول» به‌نظر برسد. اگر هالوسینیشن صفر شود، قدرت تولید متن، داستان، شعر و حتی ترجمه خلاقانه از بین می‌رود. همچنین مدل دیگر نمی‌تواند جای خالی‌ها را با احتمال‌های بالا پر کند.

بنابراین، وجود هالوسینیشن، لازمه‌ی داشتن مدلی «مولد» است. بدون آن، مدل فقط یک موتور جست‌وجو خواهد بود، نه چیزی فراتر.
پس چرا حالا می‌خواهند نرخ هالوسینیشن را کاهش دهند؟
وقتی مدل‌ها فقط در کارهای خلاق (مثلاً داستان‌نویسی یا تولید شعر) استفاده می‌شدند، هالوسینیشن نه تنها مشکل نبود، که یک مزیت محسوب می‌شد. اما امروز مدل‌های زبانی در حوزه‌هایی حساس مانند پزشکی، حقوق، آموزش، مدیریت منابع انسانی، و حتی روزنامه‌نگاری و رسانه به‌کار گرفته می‌شوند.
با رشد استفاده از چت‌بات‌ها در این حوزه‌ها، این نگرانی جدی شده که هالوسینیشن، کاربران را گمراه کرده یا اطلاعات جعلی در اختیار آن‌ها قرار دهد. در واقع، محیط استفاده از مدل‌ها تغییر کرده، نه فقط خود مدل‌ها.
در این حوزه‌ها، هالوسینیشن ممکن است به اشتباهات خطرناک یا تصمیم‌های ناعادلانه منجر شود. به همین دلیل، توسعه‌دهندگان سعی دارند با حفظ توانایی زبانی مدل‌ها، نرخ هالوسینیشن را در حوزه‌های حساس کاهش دهند.
پس طبیعی‌ست که اکنون توسعه‌دهندگان به فکر کاهش نرخ توهم افتاده‌اند؛ اما چگونه؟!

چگونه نرخ هالوسینیشن کاهش می‌یابد؟
تنظیم دقیق‌تر الگوریتم پاسخ‌دهی
الگوریتم‌هایی چون temperature و top-k sampling که در کنترل تنوع پاسخ استفاده می‌شوند، به‌گونه‌ای بازتنظیم می‌شوند تا از پاسخ‌های ساختگی بکاهند. (در مطلبی دیگر مفصل به این مفاهیم خواهیم پرداخت)
محدود کردن دامنه پاسخ‌ها به منابع تاییدشده
در برخی مدل‌ها، مثل GPT-4 Turbo، الگوریتم به گونه‌ای آموزش داده شده که تا زمانی که پاسخ قابل استنادی ندارد، به شما هشدار دهد یا اصلاً پاسخ ندهد.
افزودن لایه‌های بررسی پس از تولید پاسخ
بخشی از مدل‌ها پاسخ اولیه را تولید می‌کنند، سپس لایه‌ای دیگر آن را از نظر درستی، منبع و سازگاری بررسی می‌کند.
ادغام مدل با ابزارهای خارجی جست‌وجو (retrieval-based systems)
برخی نسخه‌های مدل‌ها به‌گونه‌ای طراحی شده‌اند که پیش از تولید پاسخ، در پایگاه داده یا اینترنت جست‌وجو کنند؛ سپس با منابع معتبر، پاسخ را بسازند.
فیلترینگ داده‌های آموزشی
پیش از آموزش مدل، داده‌هایی که منابع مشکوک یا اطلاعات نادرست دارند حذف یا اصلاح می‌شوند.
ریترو فیتینگ (Retrofitting)
مدل‌های ازپیش‌آموزش‌دیده دوباره با داده‌های دقیق‌تر، قابل‌استناد و مرجع‌دار fine-tune می‌شوند.
یادگیری تقویتی با بازخورد انسانی (RLHF)
با استفاده از ناظر‌های انسانی‌ای که به پاسخ‌های مدل امتیاز می‌دهند، مدل یاد می‌گیرد کدام پاسخ‌ها دقیق‌تر و معتبرترند.
الگوریتم‌های Truthfulness Calibration
مکانیزم‌هایی افزوده می‌شود تا مدل در شرایط عدم اطمینان، ترجیحاً بگوید: نمی‌دانم یا پاسخ ندهد.
برای جلوگیری از هالوسینیشن چه باید کرد؟
1. پرامپت را دقیق، محدود، و با ذکر قیدها و شروط روشن بنویسید، همچنین از مدل بخواهید فقط در صورت داشتن منبع پاسخ دهد. یا حتی درخواست ارجاع بدهید؛ مثلاً بگویید «براساس مقاله معتبر توضیح بده». در خصوص آموزش دقیق‌تر به گزارش‌های «با این ۵ راهکار جلوی دروغ‌گفتن چت‌جی‌پی‌تی را بگیرید»، «۱۰ تکنیک پرامپت‌نویسی که حرفه‌ای‌ها به کسی نمی‌گویند!» و «چه کسی پشت سکوت چت‌جی‌پی‌تی ایستاده است؟» مراجعه کنید.
2. در صورت شک، خودتان پاسخ را در منابع دیگر نیز بررسی کنید،‌خصوصاً در حوزه‌های حساس (مانند پزشکی، حقوق، سیاست) حتماً اعتبارسنجی کنید؛ پاسخ خوب و مطمئن، همیشه باید قابل بررسی باشد.
3. به نشانه‌های هشداردهنده توجه کنید! جملاتی مانند «تا جایی که من می‌دانم» یا «ممکن است صحیح نباشد» را جدی بگیرید.
4. پاسخ‌های قطعی را دو بار چک کنید! هرچه مدل با اطمینان بیشتری حرف بزند، مسئولیت صحت آن بیشتر بر عهده ماست. بنابراین در پاسخ‌ها به لحن مطمئن مدل اعتماد نکنید. به محتوای مستند توجه کنید.
5. مدل‌هایی را انتخاب کنید که ابزار مرور وب یا جست‌وجوی مستقیم دارند.
چطور پرامپت دقیق می‌تواند جلوی هالوسینیشن را بگیرد؟
هرگاه شما پرامپتی مبهم، کلی، یا فرض‌دار بنویسید، مدل احتمالاً با حدس، ترکیب، و حتی خیال، پاسخ خواهد داد. اما اگر پرامپت را به‌گونه‌ای طراحی کنید که مدل را وادار به استناد، ارجاع، یا هشدار در نبود اطلاعات کند، آنگاه نرخ هالوسینیشن کاهش می‌یابد.
چون مدل‌های زبانی برای پیش‌بینی کلمه بعدی ساخته شده‌اند. آن‌ها در لحظه نمی‌توانند داده‌ای از دنیای واقعی جست‌وجو کنند (مگر با ابزار افزوده). بنابراین، وقتی ورودی کاربر مبهم است، مدل مجبور است از «دانسته‌های قبلی» خود استفاده کند. در این حالت: اگر اطلاعات در داده‌های آموزشی باشد، پاسخ درست می‌دهد؛ و اگر اطلاعات ناقص باشد، مدل براساس شباهت‌ها، پاسخ خیالی تولید می‌کند.
مثال پرامپت ضعیف:
«آیا ابن‌سینا گفته که روح از مغز سرچشمه می‌گیرد؟»
مثال پرامپت دقیق:
«آیا در آثار موجود و قابل استناد ابن‌سینا، عبارتی آمده که به‌روشنی بگوید روح از مغز سرچشمه می‌گیرد؟ لطفاً در صورت نبود، پاسخ نده.»
در دومی، شما مدل را ملزم کرده‌اید که تنها از منابع موجود و استنادی استفاده کند؛ نه از حافظه احتمالاتی خودش.
وقتی پرامپت (پرسش ورودی) مبهم، کلی یا بدون قیود خاصی نوشته شود، مدل فضایی باز برای حدس زدن و تولید دارد. در چنین شرایطی، اگر مدل پاسخ دقیق نداشته باشد، از الگوریتم آماری استفاده می‌کند و با اعتمادبه‌نفس چیزی می‌سازد؛ حتی اگر نادرست باشد.
یک پرامپت دقیق خواسته‌ی شما را مشخص می‌کند (مثلاً «فقط اگر مطمئنی جواب بده»)؛ مدل را وادار می‌کند ابتدا در داده‌های خود جست‌وجوی عمیق‌تری انجام دهد؛ جلوی تولید محتوا در صورت عدم‌اطمینان را می‌گیرد.
مثلاً در «چه کسی مخترع اینترنت است؟» امکان هالوسینیشن وجود دارد.
اما در «فقط براساس منابع قابل‌استناد و اطلاعات پس از سال ۱۹۹۵ پاسخ بده و اگر مطمئن نیستی، پاسخ نده» احتمال هالوسینیشن به شدت کاهش می‌یابد.
کات‌آف چیست؟
مدل‌هایی مانند GPT-4 تا تاریخ خاصی (مثلاً سپتامبر ۲۰۲3) داده دارند. این به اصطلاح Cut-off date است.
هر چیزی که پس از این تاریخ باشد (مثل وقایع جدید یا افراد تازه‌وارد)، یا پاسخ نمی‌دهند یا از خود می‌سازند؛ خصوصاً اگر پرامپت دقیق نباشد.
آیا همه مدل‌ها هالوسینیشن یکسان دارند؟
مدل‌های زبانی با هم تفاوت دارند. برخی تنها بر اساس داده‌های آموزش‌دیده‌شان عمل می‌کنند (مثل نسخه‌های آفلاین)، برخی دیگر به منابع بیرونی نیز دسترسی دارند (مثل GPTهای متصل به وب).
آری، مدل خطا می‌کند؛ اما ما نباید بی‌دقت باشیم
هالوسینیشن یا توهم، گرچه بخشی از ذات مدل‌های زبانی است، اما با درک آن، پرامپت دقیق، و آگاهی در استفاده، می‌توان آسیب آن را به حداقل رساند. خطای مدل، در بسیاری از موارد، از بی‌دقتی ما در پرسش آغاز می‌شود؛ پس پیش از آنکه بپرسید، بیندیشید.
دانستن راز توهم ماشینی، نخستین گام برای استفاده درست از هوش مصنوعی است. ندانستنش، همان‌قدر خطرناک است که اعتماد بی‌چون‌وچرا به ماشینی که واقعیت را نمی‌فهمد، اما آن را می‌سازد.