المدار للمعلومات

تم الحظر باستخدام robots.txt: فهم المشكلة وحلها

تم الحظر باستخدام robots.txt فهم المشكلة وحلها

إذا كنت تدير موقعًا إلكترونيًا وظهرت لك رسالة "تم الحظر باستخدام robots.txt" في Google Search Console، فهذا يعني أن محرك بحث Google (أو محركات البحث الأخرى) غير قادر على الوصول إلى صفحة معينة على موقعك أو إلى موقعك بأكمله بسبب وجود تعليمات في ملف robots.txt تمنع ذلك. ملف robots.txt هو ملف نصي بسيط تضعه في جذر موقعك (root directory) لإخبار برامج زحف الويب (Web Crawlers)، مثل Googlebot، بالصفحات أو الأقسام التي لا تريدها أن تزحف إليها.

حل مشكة تم الحظر باستخدام robots.txt خطوات سهلة

على الرغم من أن ملف robots.txt يمكن أن يكون أداة مفيدة للتحكم في كيفية تفاعل محركات البحث مع موقعك، إلا أنه يمكن أن يسبب مشاكل في الفهرسة إذا لم يتم استخدامه بشكل صحيح. في هذا الدليل الشامل، سنشرح بالتفصيل ما هو ملف robots.txt، وكيف يعمل، ولماذا قد تظهر رسالة "تم الحظر باستخدام robots.txt"، وكيف يمكنك حل هذه المشكلة لضمان فهرسة موقعك بشكل صحيح. قبل أن نتعمق في حل المشكلة، دعونا نفهم أولاً ما هو ملف robots.txt وكيف يعمل.

ما هو ملف robots.txt؟

ملف robots.txt هو ملف نصي بسيط تضعه في المجلد الرئيسي (root directory) لموقعك الإلكتروني. يحتوي هذا الملف على تعليمات لبرامج زحف الويب (Web Crawlers)، مثل Googlebot، حول الصفحات أو الأقسام التي *لا* تريدها أن تزحف إليها. بعبارة أخرى، هو يخبر محركات البحث بالجزء الذي *لا* تريده أن يظهر في نتائج البحث.

لماذا نستخدم ملف robots.txt؟

لمنع فهرسة محتوى غير مهم أو مكرر: مثل صفحات تسجيل الدخول، أو صفحات الشكر، أو نتائج البحث الداخلية.
لتوفير ميزانية الزحف (Crawl Budget): إذا كان لديك موقع كبير جدًا، فقد ترغب في منع محركات البحث من إضاعة وقتها في الزحف إلى صفحات غير مهمة.
لحماية معلومات حساسة: على الرغم من أن ملف robots.txt ليس أداة أمان قوية، إلا أنه يمكن أن يساعد في منع محركات البحث من فهرسة صفحات تحتوي على معلومات حساسة (مثل صفحات الإدارة). *لا تعتمد على robots.txt وحده لحماية المعلومات الحساسة*.
لتوجيه برامج الزحف إلى الأجزاء الأكثر أهمية في موقعك.

كيف يعمل ملف robots.txt؟

عندما يزور Googlebot (أو أي زاحف ويب آخر) موقعك، فإنه يتحقق أولاً من وجود ملف robots.txt. إذا وجد الملف، فإنه يقرأ التعليمات الموجودة فيه ويتبعها. إذا لم يجد الملف، فإنه يفترض أنه مسموح له بالزحف إلى جميع صفحات الموقع.

مثال على ملف robots.txt:

``` User-agent: Disallow: /admin/ Disallow: /private/ Allow: / Sitemap: https://www.example.com/sitemap.xml ```

شرح المثال:

`User-agent: `: هذا السطر يخبر جميع برامج زحف الويب بتطبيق القواعد التالية.
`Disallow: /admin/`: هذا السطر يخبر برامج الزحف بعدم الزحف إلى أي صفحة موجودة في مجلد `/admin/`.
`Disallow: /private/`: هذا السطر يخبر برامج الزحف بعدم الزحف إلى أي صفحة موجودة في مجلد `/private/`.
`Allow: /`: هذا السطر يسمح بالزحف إلى باقي أجزاء الموقع. (هذا السطر اختياري في هذه الحالة، لأن السماح هو السلوك الافتراضي).
`Sitemap: https://www.example.com/sitemap.xml`: هذا السطر يخبر برامج الزحف بموقع ملف Sitemap الخاص بموقعك.

الأسباب المحتملة لظهور رسالة تم الحظر باستخدام robots.txt

السبب الرئيسي لظهور هذه الرسالة هو وجود قاعدة (Rule) في ملف robots.txt الخاص بموقعك تمنع Googlebot من الزحف إلى الصفحة المعنية. قد يكون هذا المنع مقصودًا أو غير مقصود.

الأسباب المحتملة للمنع غير المقصود:

خطأ في كتابة القاعدة: قد يكون هناك خطأ إملائي في القاعدة الموجودة في ملف robots.txt، مما يؤدي إلى منع صفحات أكثر مما هو مقصود.
قاعدة عامة جدًا: قد تكون القاعدة عامة جدًا، مما يؤدي إلى منع صفحات أكثر مما هو مقصود. مثال: `Disallow: /` (هذا يمنع الزحف إلى *كل* الموقع!).
تعديل غير مقصود على ملف robots.txt: ربما قام شخص ما بتعديل ملف robots.txt عن طريق الخطأ.
مشكلة في إضافة (Plugin) أو قالب (Theme): إذا كنت تستخدم نظام إدارة محتوى (CMS) مثل ووردبريس، فقد تكون هناك إضافة أو قالب يقوم بتعديل ملف robots.txt بشكل غير صحيح.

كيفية حل مشكلة تم الحظر باستخدام robots.txt

لحـل مشكلة "تم الحظر باستخدام robots.txt"، اتبع الخطوات التالية:

تحديد الصفحة المحظورة:
- استخدم Google Search Console لتحديد عنوان URL للصفحة التي تم حظرها. انتقل إلى "Index" ثم "Coverage" وابحث عن الأخطاء المتعلقة بـ robots.txt.
الوصول إلى ملف robots.txt الخاص بموقعك:
- يمكنك الوصول إلى ملف robots.txt الخاص بموقعك عادةً عن طريق كتابة عنوان موقعك متبوعًا بـ `/robots.txt`. على سبيل المثال: `https://www.example.com/robots.txt`
- إذا لم تتمكن من الوصول إلى الملف بهذه الطريقة، يمكنك الوصول إليه من خلال لوحة تحكم الاستضافة الخاصة بك (cPanel, Plesk, etc.) أو من خلال برنامج FTP.
فحص ملف robots.txt:
- افتح ملف robots.txt وابحث عن القاعدة التي تمنع Googlebot من الزحف إلى الصفحة.
- إذا كانت القاعدة غير مقصودة، قم بإزالتها أو تعديلها.
- أمثلة على القواعد التي قد تسبب المشكلة:
  - `User-agent:
    `Disallow: / (هذا منع جميع برامج الزحف من الزحف إلى جميع صفحات الموقع)
  - `User-agent: Googlebot`
    `Disallow: /my-page/` (هذا يمنع Googlebot تحديدًا من الزحف إلى صفحة `/my-page/`)
  - `Disallow:.pdf$` (هذا يمنع الزحف إلى جميع ملفات PDF على الموقع)
اختبار ملف robots.txt (بعد التعديل):
- بعد تعديل ملف robots.txt، استخدم أداة اختبار robots.txt في Google Search Console للتأكد من أن التعديلات قد تمت بشكل صحيح وأن الصفحة لم تعد محظورة. (ابحث عن "robots.txt Tester" في Google Search Console).
طلب الفهرسة من Google:
- بعد التأكد من أن الصفحة لم تعد محظورة، استخدم أداة فحص عنوان URL في Google Search Console لطلب فهرسة الصفحة. (انقر على "URL Inspection" ثم أدخل عنوان الصفحة ثم انقر "Request Indexing").
(إذا كنت تستخدم ووردبريس) التحقق من الإضافات والقوالب:

إذا كنت تستخدم ووردبريس، فتأكد من أنك لا تستخدم أي إضافة أو قالب يقوم بتعديل ملف robots.txt بشكل غير صحيح. بعض إضافات السيو (مثل Yoast SEO و Rank Math) تسمح لك بتعديل ملف robots.txt من خلال لوحة تحكم الإضافة.

نصائح لتجنب مشاكل robots.txt في المستقبل

فهم قواعد robots.txt جيدًا: قبل تعديل ملف robots.txt، تأكد من أنك تفهم تمامًا كيفية عمل القواعد المختلفة.
استخدم أداة اختبار robots.txt: قبل حفظ أي تغييرات على ملف robots.txt، استخدم أداة اختبار robots.txt للتأكد من أن التغييرات لن تؤدي إلى حظر صفحات مهمة.
احتفظ بنسخة احتياطية من ملف robots.txt: قبل إجراء أي تغييرات على ملف robots.txt، احتفظ بنسخة احتياطية من الملف الأصلي.
لا تمنع الزحف إلى ملفات CSS و JavaScript: يحتاج Googlebot إلى الوصول إلى ملفات CSS و JavaScript لعرض الصفحة بشكل صحيح وفهم محتواها.
لا تستخدم robots.txt لإخفاء معلومات حساسة: ملف robots.txt هو ملف عام، ويمكن لأي شخص رؤية محتواه. لا تستخدمه لإخفاء معلومات حساسة. استخدم طرقًا أخرى لحماية المعلومات الحساسة (مثل كلمة المرور).

نأمل أن يكون هذا الدليل الشامل قد ساعدك في فهم مشكلة "تم الحظر باستخدام robots.txt" وكيفية حلها. تذكر أن ملف robots.txt هو أداة قوية، ولكن يجب استخدامها بحذر وفهم.

الخاتمة : ظهور رسالة "تم الحظر باستخدام robots.txt" في Google Search Console يمكن أن يكون مقلقًا، ولكنه عادةً ما يكون سهل الحل. من خلال فهم كيفية عمل ملف robots.txt واتباع الخطوات التي ذكرناها في هذا المقال، يمكنك التأكد من أن Googlebot يمكنه الزحف إلى جميع الصفحات المهمة في موقعك وفهرستها، مما يساعدك على تحسين ترتيب موقعك في نتائج البحث.