- جان مولر گوگل به سوالی در ردیت در مورد خطای به ظاهر نادرست “noindex detected in X-Robots-Tag HTTP header” که در کنسول جستجوی گوگل برای صفحاتی که این X-Robots-Tag خاص یا هر دستور یا بلوک مرتبط دیگری ندارند، پاسخ داد.
- شخصی که بحث ردیت را شروع کرد، سناریویی را توصیف کرد که ممکن است برای بسیاری آشنا باشد. کنسول جستجوی گوگل گزارش می‌دهد که نمی‌تواند صفحه‌ای را فهرست کند زیرا از فهرست‌گذاری صفحه مسدود شده است (که با مسدود شدن از خزیدن متفاوت است). بررسی صفحه نشان می‌دهد که عنصر متا noindex وجود ندارد و robots.txt خزیدن را مسدود نمی‌کند.
- یکی از کاربران ردیت پیشنهاد کرد که اگر مشکل از Cloudflare ناشی می‌شود، عیب‌یابی شود.
- آنها دستورالعمل‌های گام به گام جامعی را در مورد نحوه تشخیص اینکه آیا Cloudflare یا هر چیز دیگری مانع از فهرست‌گذاری صفحه توسط گوگل می‌شود، ارائه کردند.
- OP (پست‌کننده اصلی، کسی که بحث را شروع کرد) پاسخ داد که تمام این راه‌حل‌ها را آزمایش کرده‌اند، اما نتوانسته‌اند حافظه پنهان سایت را از طریق GSC آزمایش کنند، فقط سایت زنده (از سرور واقعی، نه Cloudflare).
- تستر نتایج غنی گوگل از عامل کاربر Googlebot استفاده می‌کند، که از آدرس IP گوگل نیز منشا می‌گیرد. این ابزار برای تأیید اینکه گوگل چه چیزی را می‌بیند مفید است.
- پاسخ خطای ۴۰۱: یک کاربر دیگر تجربه پاسخ سرور با خطای ۴۰۱ را به اشتراک گذاشت. راه حل آنها برای رفع پیام های مسدود شدن فهرست بندی در کنسول جستجوی گوگل، اضافه کردن یک یادداشت در robots.txt برای مسدود کردن خزیدن URL های صفحه ورود بود.
- جان مولر گوگل برای کمک به تشخیص مشکل وارد بحث شد. او گفت که این مشکل را در رابطه با CDN ها (شبکه های تحویل محتوا) دیده است. نکته جالبی که او گفت این بود که این اتفاق را با URL های بسیار قدیمی نیز دیده است.
- نکات کلیدی:
- کنسول جستجوی گوگل (GSC) ممکن است “noindex detected in X-Robots-Tag HTTP header” را گزارش کند، حتی زمانی که آن هدر وجود ندارد.
- CDNها، مانند Cloudflare، ممکن است در فهرست‌گذاری تداخل ایجاد کنند.
- داده های فهرست بندی قدیمی در طرف گوگل نیز ممکن است یک عامل باشد.
- تستر نتایج غنی گوگل می تواند آنچه را که Googlebot می بیند تأیید کند زیرا از عامل کاربر و IP Googlebot استفاده می کند.
- پاسخ های غیرمجاز ۴۰۱ می توانند از فهرست بندی جلوگیری کنند.
- جان مولر CDN ها و URL های خزیده شده تاریخی را به عنوان علل احتمالی پیشنهاد کرد.
- TALAHOST.COM
Shortlink for this post: https://blog.talahost.com/?p=2125