موتورهای جستجو اکنون خلاصههای تولیدشده با هوش مصنوعی را بهصورت پیشفرض به کاربران نمایش میدهند، اما این فناوری جنجالهای زیادی را درباره دقت اطلاعات ایجاد کرده است. اگرچه آزمایشها نشان میدهند که خلاصههای هوش مصنوعی گوگل (AI Overviews) در بیشتر مواقع دقیق کار میکنند، اما حجم زیاد پرسشهای روزانه باعث میشود تا این موتور جستجو میلیونها پاسخ اشتباه را به کاربران ارائه دهد.
نیویورک تایمز در گزارش جدید خود میزان دقیقبودن پاسخهای AI Overviews گوگل را بررسی کرده است. طبق یافته تستها، تقریباً از هر ۱۰ مورد مرور هوش مصنوعی گوگل، یک مورد حاوی اطلاعات نادرست است. با توجه به اینکه این موتور جستجو سالانه حدود ۵ تریلیون پرسش را پردازش میکند، کاربران ممکن است در هر ساعت در معرض بیش از ۵۷ میلیون پاسخ اشتباه قرار بگیرند؛ یعنی تقریباً ۱ میلیون پاسخ اشتباه در هر دقیقه.
پاسخهای اشتباه AI Overviews در بخش جستجوی گوگل
نیویورک تایمز از استارتاپ هوش مصنوعی Oumi خواست تا عملکرد سیستم هوش مصنوعی گوگل را با معیار رایج SimpleQA بسنجد. اومی بیش از ۴۳۲۶ جستجوی گوگل را بررسی کرد و متوجه شد که دقت مدل جمینای ۳ در ماه فوریه به ۹۱ درصد رسیده است. این رقم برای نسخه دوم جمینای ۸۵ درصد بود. بااینحال همچنان کاربران در معرض سیل وسیعی از اطلاعات نادرست قرار دارند.
البته سخنگوی گوگل این آزمایشها را ناقص خواند و اعلام کرد که این نتایج رفتار واقعی کاربران را بازتاب نمیدهند. مدیران این شرکت میگویند مدل جمینای ۳ در حالت مستقل از موتور جستجو، در ۲۸ درصد مواقع دچار توهم میشود. البته استارتاپ Oumi نیز برای بررسی این حجم از اطلاعات از ابزارهای هوشمند استفاده کرد که همین موضوع میتواند خطاهای جدیدی را به نتایج وارد کند.
مسئله دیگر این است که سیستم جستجوی گوگل تلاش میکند تا ادعاهای هوش مصنوعی را با لینکهای معتبر درست جلوه دهد، اما این منابع غالباً ادعاهای جمینای را تأیید نمیکنند. گاهی یک خلاصه اشتباه به یک منبع درست لینک میدهد و گاهی صفحات لینکدادهشده هیچ اطلاعات مفیدی در خود ندارند. نکته نگرانکننده این است که تضاد بین پاسخها و منابع در بهروزرسانی ماه فوریه به شدت افزایش یافت و از ۳۷ درصد در نسخه دوم به ۵۶ درصد در جمینای ۳ رسید.
همچنین محققان دریافتند که افراد به راحتی میتوانند نتایج خلاصههای هوش مصنوعی را تغییر دهند. در یک نمونه جالب، خبرنگار BBC یک پست وبلاگی حاوی اطلاعات کاملاً دروغین منتشر کرد. او یک روز بعد متوجه شد که موتور جستجوی گوگل دقیقاً همان ادعاهای کذب را در خلاصههای خود تکرار کرده است.