گوگل یک بازآموزی جدید Robots.txt منتشر کرده است که توضیح می‌دهد چگونه Robots.txt ناشران و سئوکاران را قادر می‌سازد تا خزنده‌های موتورهای جستجو و سایر ربات‌ها (که از Robots.txt پیروی می‌کنند) را کنترل کنند. این مستندات شامل نمونه‌هایی از مسدود کردن صفحات خاص (مانند سبدهای خرید)، محدود کردن ربات‌های خاص و مدیریت رفتار خزیدن با قوانین ساده است.
از اصول اولیه تا پیشرفته
مستندات جدید یک معرفی سریع از اینکه Robots.txt چیست ارائه می‌دهد و به تدریج به پوشش پیشرفته‌تری از آنچه ناشران و سئوکاران می‌توانند با Robots.txt انجام دهند و چگونه به آنها سود می‌رساند، پیشرفت می‌کند.
نکته اصلی بخش اول سند، معرفی robots.txt به عنوان یک پروتکل وب پایدار با سابقه ۳۰ ساله است که به طور گسترده توسط موتورهای جستجو و سایر خزنده‌ها پشتیبانی می‌شود.
گوگل سرچ کنسول در صورت عدم وجود Robots.txt پیام خطای ۴۰۴ را گزارش می‌دهد. اتفاق افتادن این موضوع اشکالی ندارد، اما اگر دیدن آن در GSC شما را آزار می‌دهد، می‌توانید ۳۰ روز صبر کنید تا هشدار حذف شود. یک جایگزین، ایجاد یک فایل Robots.txt خالی است که توسط گوگل نیز قابل قبول است.
مستندات جدید گوگل توضیح می‌دهد: “اگر کل سایت شما قابل خزیدن است، می‌توانید فایل robots.txt خود را خالی بگذارید (یا اصلاً نداشته باشید)، یا می‌توانید قوانینی را برای مدیریت خزیدن اضافه کنید.”
از آنجا، اصول اولیه مانند قوانین سفارشی برای محدود کردن صفحات یا بخش‌های خاص را پوشش می‌دهد.
استفاده‌های پیشرفته از Robots.txt این قابلیت‌ها را پوشش می‌دهد:
- می‌تواند خزنده‌های خاص را با قوانین مختلف هدف قرار دهد.
- امکان مسدود کردن الگوهای URL مانند PDF یا صفحات جستجو را فراهم می‌کند.
- کنترل دقیق بر ربات‌های خاص را امکان پذیر می‌کند.
- از نظرات برای مستندات داخلی پشتیبانی می‌کند.
مستندات جدید با توصیف اینکه ویرایش فایل Robots.txt چقدر ساده است (یک فایل متنی با قوانین ساده است) به پایان می‌رسد، بنابراین تنها به یک ویرایشگر متن ساده نیاز دارید. بسیاری از سیستم‌های مدیریت محتوا راهی برای ویرایش آن دارند و ابزارهایی برای آزمایش اینکه آیا فایل Robots.txt از نحو صحیح استفاده می‌کند یا خیر، در دسترس هستند.
Shortlink for this post: https://blog.talahost.com/?p=2334