مسدود کردن دسترسی رباتها به سایت
ربات‌های وب و نقش آن‌ها در اینترنت امروزه بخش زیادی از ترافیک اینترنت توسط رباتها (Web Crawlers / Bots) ایجاد می‌شود. این رباتها برنامه‌هایی خودکار هستند که به‌جای کاربر واقعی، به سایت‌ها درخواست ارسال می‌کنند. هر ربات بسته به هدفی که دارد، رفتار متفاوتی روی وب‌سایت‌ها نشان می‌دهد. ۱. Googlebot…
Read More