مطالعه نشان میدهد که خزندههای وب هوش مصنوعی در حال پیشی گرفتن از موتورهای جستجوی سنتی هستند و نحوه بهینهسازی محتوا توسط وبسایتها را تغییر میدهند.
رباتهای هوش مصنوعی به بازیگران اصلی در خزیدن وب تبدیل شدهاند.
وبسایتها باید استراتژیهای بهینهسازی جدیدی برای خزندههای هوش مصنوعی اتخاذ کنند.
آینده سئو باید هم موتورهای جستجو و هم رباتهای هوش مصنوعی را در نظر بگیرد.
یک گزارش منتشر شده توسط Vercel تأثیر فزاینده رباتهای هوش مصنوعی در خزیدن وب را برجسته میکند.
OpenAI با ربات GPTBot و Claude از Anthropic ماهانه نزدیک به یک میلیارد درخواست در شبکه Vercel ایجاد میکنند.
- طبق دادهها، GPTBot در ماه گذشته ۵۶۹ میلیون درخواست ارسال کرده، در حالی که Claude حدود ۳۷۰ میلیون درخواست داشته است.
- ربات PerplexityBot نیز ۲۴.۴ میلیون درخواست و AppleBot حدود ۳۱۴ میلیون درخواست انجام دادهاند.
- در مجموع، این خزندههای هوش مصنوعی حدود ۲۸٪ از حجم کل درخواستهای Googlebot (۴.۵ میلیارد درخواست) را تشکیل میدهند.
پیامدها برای سئو
یافتههای کلیدی در مورد خزندههای هوش مصنوعی
تحلیل ترافیک شبکه Vercel و معماریهای وب، ویژگیهای کلیدی زیر را برای خزندههای هوش مصنوعی نشان میدهد:
- رباتهای اصلی هوش مصنوعی جاوااسکریپت را اجرا نمیکنند، اما فایلهای جاوااسکریپت را بارگیری میکنند.
- این رباتها اغلب ناکارآمد هستند؛ ChatGPT و Claude بیش از ۳۴٪ از درخواستهای خود را به صفحات ۴۰۴ اختصاص میدهند.
- نوع محتوایی که این رباتها هدف قرار میدهند متفاوت است. ChatGPT محتوای HTML (۵۷.۷٪) را ترجیح میدهد، در حالی که Claude بیشتر بر تصاویر (۳۵.۱۷٪) تمرکز دارد.
توزیع جغرافیایی
برخلاف موتورهای جستجوی سنتی که از مناطق مختلف عمل میکنند، خزندههای هوش مصنوعی در حال حاضر حضور متمرکزی در ایالات متحده دارند:
- ChatGPT از Des Moines (آیووا) و Phoenix (آریزونا) فعالیت میکند.
- Claude از Columbus (اوهایو) عمل میکند.
همبستگی با گزارش Web Almanac
این یافتهها با دادههای فصل سئو Web Almanac که به حضور فزاینده خزندههای هوش مصنوعی اشاره دارد، همخوانی دارد.
- ربات GPTBot بیشترین ذکر را داشته و در ۲.۷٪ از سایتهای موبایل مشاهده شده است.
- ربات Common Crawl که برای جمعآوری دادههای آموزشی مدلهای زبانی استفاده میشود نیز زیاد دیده شده است.
هر دو گزارش تأکید میکنند که صاحبان وبسایتها باید رفتار خزندههای هوش مصنوعی را در نظر بگیرند.
۳ راه برای بهینهسازی خزندههای هوش مصنوعی
۱. رندر سمت سرور (Server-Side Rendering)
رباتهای هوش مصنوعی جاوااسکریپت را اجرا نمیکنند؛ بنابراین محتوای وابسته به رندر سمت کاربر ممکن است دیده نشود.
اقدامات پیشنهادی:
- رندر سمت سرور برای محتوای مهم
- اطمینان از حضور محتوای اصلی، متا دیتا و ساختارهای ناوبری در HTML اولیه
- استفاده از تولید سایت استاتیک یا بازسازی استاتیک افزایشی
۲. ساختار و ارائه محتوا
دادههای Vercel نشان میدهد که خزندههای هوش مصنوعی ترجیحات خاصی برای نوع محتوا دارند:
- ChatGPT:
- محتوای HTML (۵۷.۷٪)
- فایلهای جاوااسکریپت (۱۱.۵٪)
- Claude:
- تصاویر (۳۵.۱۷٪)
- فایلهای جاوااسکریپت (۲۳.۸۴٪)
توصیههای بهینهسازی:
- ساختاردهی شفاف و معنایی محتوای HTML
- بهینهسازی تصاویر و متادیتا
- افزودن متن جایگزین توصیفی برای تصاویر
- پیادهسازی سلسلهمراتب مناسب سربرگها
۳. ملاحظات فنی
نرخ بالای خطاهای ۴۰۴ توسط خزندههای هوش مصنوعی نیازمند توجه فنی است:
- نگهداری نقشه سایت بهروز
- پیادهسازی زنجیرههای تغییر مسیر مناسب
- استفاده از الگوهای URL منسجم
- بررسی منظم خطاهای ۴۰۴
چشمانداز آینده
برای بازاریابان جستجو، پیام واضح است: چتباتهای هوش مصنوعی نیرویی جدید در خزیدن وب هستند و سایتها باید سئو خود را متناسب با آن تطبیق دهند.
- با وجود وابستگی کنونی این رباتها به اطلاعات کششده یا قدیمی، توانایی آنها برای پردازش محتوای تازه در حال افزایش است.
- برای اطمینان از خزیده شدن و ایندکس شدن محتوای خود، رندر سمت سرور، ساختار URL تمیز، و نقشه سایت بهروز را رعایت کنید.
- talahost.com
Shortlink for this post: https://blog.talahost.com/?p=1167