ما هو ملف Robots.txt؟

ملف robots.txt هو ملف نصي يوضع على جذر الموقع لتحديد التعليمات التي يمكن أن تساعد برامج الزحف في معرفة الأجزاء التي يسمح لها بالوصول إليها أو التي يُطلب منها عدم الزحف إليها.

لماذا تحتاج إلى Robots.txt؟

يمكن استخدام robots.txt لإدارة وصول برامج الزحف إلى بعض المسارات التي لا تريد زحفها، مثل بعض الصفحات أو الأدلة أو المسارات الداخلية، مع ضرورة الانتباه إلى أن robots.txt ليس وسيلة لإخفاء المعلومات السرية من الإنترنت.

ما الفرق بين Allow وDisallow؟

تستخدم Disallow لطلب عدم الزحف إلى مسار معين، بينما يمكن استخدام Allow للسماح بمسار معين ضمن قواعد الحظر. يجب كتابة القواعد بعناية لأن القواعد الخاطئة قد تمنع الزحف إلى صفحات مهمة.

ما هو Sitemap في ملف Robots.txt؟

يمكن إضافة رابط خريطة الموقع باستخدام توجيه Sitemap حتى تتمكن برامج الزحف من معرفة موقع خريطة XML الخاصة بموقعك.

مثال بسيط على ملف Robots.txt

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

هل يجب تعديل Robots.txt في Blogger؟

ليس بالضرورة. توضح إعدادات Blogger الرسمية وجود خيار لتفعيل ملف robots.txt مخصص، بينما تشير إرشادات الدعم والمجتمع الرسمي إلى أن إعداد Blogger الافتراضي يكون مناسبًا في معظم الحالات. لذلك لا تغيّر الملف لمجرد تغييره؛ استخدم التخصيص عندما تكون لديك حاجة واضحة.

هل Robots.txt يمنع Google من فهرسة الصفحة نهائيًا؟

لا ينبغي اعتبار robots.txt وسيلة عامة لإخفاء صفحة أو معلومات حساسة. إذا كان هدفك هو التحكم في الفهرسة نفسها، فهناك تقنيات أخرى مثل توجيهات robots المناسبة على مستوى الصفحة.

الأسئلة الشائعة