درصد خطای بالای GHATGPT

پیش‌زمینه‌ای بر جستجوی ChatGPT
OpenAI ماه گذشته جستجوی ChatGPT را راه‌اندازی کرد و ادعا کرد که همکاری گسترده‌ای با صنعت اخبار داشته و بازخورد ناشران را در آن گنجانده است.

این موضوع در تضاد با راه‌اندازی اولیه ChatGPT در سال ۲۰۲۲ است، زمانی که ناشران متوجه شدند محتوای آن‌ها بدون اطلاع یا اجازه از آن‌ها برای آموزش مدل‌های هوش مصنوعی استفاده شده است.

حال، OpenAI به ناشران این امکان را داده است که از طریق فایل robots.txt مشخص کنند که آیا می‌خواهند در نتایج جستجوی ChatGPT گنجانده شوند یا خیر.

با این حال، یافته‌های مرکز Tow نشان می‌دهد که ناشران در هر صورت با ریسک انتساب نادرست و سوء‌نمایش مواجه هستند، چه در نتایج جستجو شرکت کنند و چه نکنند.

مسائل دقت مرکز Tow توانایی جستجوی ChatGPT در شناسایی منابع نقل‌قول‌ها را از ۲۰ نشریه ارزیابی کرده است.

یافته‌های اصلی شامل موارد زیر است:

• از ۲۰۰ پرسش، ۱۵۳ پاسخ نادرست بودند.
• این هوش مصنوعی به ندرت اشتباهات خود را شناسایی می‌کرد.
• عباراتی مانند “شاید” تنها در ۷ پاسخ استفاده شده بود.
• ChatGPT اغلب اولویت را به راضی کردن کاربران به جای دقت می‌دهد، که می‌تواند خوانندگان را گمراه کرده و به شهرت ناشران آسیب بزند.

  علاوه بر این، محققان دریافتند که جستجوی ChatGPT در پاسخ به همان سوال چندین بار ناهماهنگ است، که احتمالاً به دلیل تصادفی بودن در مدل زبانی آن است.

  ارجاع به محتوای کپی‌شده و منتشر شده

محققان دریافتند که جستجوی ChatGPT گاهی اوقات به مقالات کپی‌شده یا منتشر شده (سینکد) ارجاع می‌دهد به جای ارجاع به منابع اصلی.

این احتمالاً به دلیل محدودیت‌های ناشران یا محدودیت‌های سیستم است.

برای مثال، زمانی که از ChatGPT خواسته شد یک نقل‌قول از مقاله‌ای در نیویورک تایمز ارائه دهد (که در حال حاضر در دعوی قضایی علیه OpenAI است و ربات‌های آن را مسدود کرده است)، ChatGPT به نسخه غیرمجاز آن در سایت دیگری لینک داد.

حتی با MIT Technology Review، که به ربات‌های OpenAI اجازه دسترسی می‌دهد، این چت‌بات به نسخه سینکد شده به جای نسخه اصلی ارجاع داد.

مرکز Tow دریافت که تمام ناشران در معرض خطر سوء‌نمایش از سوی جستجوی ChatGPT هستند:

• فعال کردن ربات‌ها تضمین‌کننده دیده‌شدن نیست.
• مسدود کردن ربات‌ها از نشان دادن محتوا جلوگیری نمی‌کند. این مسائل نگرانی‌هایی را در مورد فیلتر کردن محتوای OpenAI و رویکرد آن در روزنامه‌نگاری ایجاد می‌کند، که ممکن است باعث دور شدن کاربران از ناشران اصلی شود.

پاسخ OpenAI

OpenAI در پاسخ به یافته‌های مرکز Tow اعلام کرد که از ناشران از طریق ارجاع واضح حمایت می‌کند و به کاربران کمک می‌کند تا محتوای با کیفیت را با خلاصه‌ها، نقل‌قول‌ها و لینک‌ها کشف کنند.

یک سخنگوی OpenAI گفت:

“ما از ناشران و خالقان محتوا حمایت می‌کنیم و به ۲۵۰ میلیون کاربر هفتگی ChatGPT کمک می‌کنیم تا محتوای با کیفیت را از طریق خلاصه‌ها، نقل‌قول‌ها، لینک‌های واضح و ارجاع‌ها کشف کنند.

ما با شرکا همکاری کرده‌ایم تا دقت ارجاع‌های درون‌خطی را بهبود بخشیم و ترجیحات ناشران را محترم بشماریم، از جمله فعال کردن نحوه نمایش آن‌ها در جستجو از طریق مدیریت OAI-SearchBot در robots.txt آن‌ها. ما به بهبود نتایج جستجو ادامه خواهیم داد.”

در حالی که شرکت تلاش کرده تا دقت ارجاع‌ها را بهبود بخشد، OpenAI می‌گوید که پرداختن به مسائل خاص انتساب نادرست دشوار است.

OpenAI متعهد به بهبود محصول جستجوی خود باقی مانده است.

نگاهی به آینده

اگر OpenAI می‌خواهد با صنعت اخبار همکاری کند، باید اطمینان حاصل کند که محتوای ناشران به طور دقیق در جستجوی ChatGPT نمایان می‌شود.

ناشران در حال حاضر قدرت محدودی دارند و به دقت موارد قانونی علیه OpenAI را دنبال می‌کنند. نتایج این پرونده‌ها می‌تواند بر حقوق استفاده از محتوا تأثیر بگذارد و کنترل بیشتری به ناشران بدهد.

همانطور که محصولات جستجوی مولد مانند ChatGPT نحوه تعامل مردم با اخبار را تغییر می‌دهند، OpenAI باید تعهد خود را به روزنامه‌نگاری مسئولانه نشان دهد تا اعتماد کاربران را جلب کند.