رفع ارور Submitted url blocked by robots.txt

ارور یا خطای Submitted url blocked by robots.txt در سرچ کنسول به چه معناست؟

چگونه می توان این مشکل را برطرف کرد؟

پاسخ :

خطای Submitted url blocked by robots.txt در سرچ کنسول، بخش Coverage و تب Error نمایش داده می شود.

معنی این خطا این است که صفحه مدنظر در فایل سایت مپ لیست شده است، اما در فایل روبوتس جلوی کراول کردن آن گرفته شده است.

این مشکل هم دقیقا همانند دیگر خطاهای سرچ کنسول است که در بخش «مطالعه بیشتر» پایین این پست ذکر کرده ام. در واقع همگی از این موضوع ناشی می شوند که گوگل می گوید شما تکلیف‌تان با خودتان مشخص نیست!

اگر می خواهید صفحه ای ایندکس شود، نباید دسترسی آن را از جای دیگری ببندید.

ارور Submitted url blocked by robots.txt نیز از همین موضوع ناشی می شود. شما صفحه را در سایت مپ لیست کرده اید (به منظور تمایل به ایندکس شدن) اما از سوی دیگر، جلوی کراولر کردن آن صفحه توسط ربات های گوگل را بسته اید (به منظور عدم تمایل به ایندکس شدن).

بنابراین راه حل قطعی این مشکل این است که اگر :

• می خواهید صفحه ایندکس شود، بسته بودن دسترسی آن را در فایل Robots.txt اصلاح کنید.
• نمی خواهید صفحه ایندکس شود، صفحه را از لیست سایت مپ حذف کنید.

به همین راحتی می توانید ارور Submitted url blocked by robots.txt را در سرچ کنسول برطرف کنید.

* توجه کنید که ممکن است صفحاتی که این ارور را دارند، ایندکس نشوند. پس اگر صفحه مهمی این مشکل را دارد، سریعا آن را برطرف کنید.

مطالعه بیشتر :

• پست «رفع خطای Indexed, though blocked by robots.txt»
• پست «رفع خطای Indexed, not submitted in sitemap»
• پست «رفع خطای Submitted url marked noindex»
• مقالات مرتبط با «سرچ کنسول»

در نهایت، اگر هر سوال، نظر، تجربه و یا ابهامی دارید، همین الان کامنت کنید!
در اسرع وقت، شخصا به دیدگاه شما پاسخ خواهم داد. جدای از اینکه کامنت شما به‌شدت به من انرژی مثبت تزریق می کند 🙂