في مجال الحوسبة ، يحتوي ملف robots.txt على أوامر لروبوتات الزحف لمحرك البحث. يتم استخدام هذا الملف لإصدار أذونات الزحف إلى الروبوتات الخاصة بمحركات البحث وتحديد الصفحات التي يسمح لهم بالزحف اليها وارشفتها دون غيرها لتسهيل حركتهم داخل موقعك وبالتالي تخفيف عدد الطلبات على الموقع.
advertisement
ليس من الضروري أن يكون لديك مثل هذا الملف ، ولكن عندما يكون لديك مشكلة في الزحف ، فهو الخطوة الأولى التي يجب الإنتباه اليها لإصلاح الزحف إلى موقع ويب بواسطة روبوتات محرك البحث ، مثل Google و Bing و Yandex وما إلى ذلك.خاصة اذا كان موقعك جديداً على الويب ،وغالباً يوجد هذا الملف على عنوان URL معين لموقع الويب المرفق به. على سبيل المثال ، https://abhath.net/robots.txt.
كيف يعمل ملف Robots.txt؟
لا تتبع جميع برامج الروبوت التعليمات الواردة في ملف Robots.txt حرفياً. لذلك فهي ليست أداة لضمان أمن الموقع. هذا المستند مخصص لبرامج زحف محركات البحث لإخبارهم بعناوين URL وملفات الوسائط وملفات الموارد المخصصة للزحف. يمكن أن يشير أيضًا إلى مكان وجود خرائط مواقع الموقع. أولاً ، تقوم برامج الزحف بتنزيل ملف Robots.txt لتحليل تعليماته ومعرفة قواعد التفويض المحددة في موقع الويب قبل الاستكشاف. بعد ذلك ، إذا سمح لهم الملف ، يقومون بتحميل عنوان URL إلى جذر الموقع ، مثل https://abhath.net/. من خلال قراءة محتوى هذه الصفحة ، بدأوا في تعيين الروابط الداخلية التي تسمح لهم بزيارة الموقع ، من خلال تطبيق القواعد التي تم اكتشافها مسبقًا في ملف Robots.txt. على سبيل المثال ، من غير المجدي السماح لـ Google بالزحف إلى واجهة لوحة تحكم الموقع من الداخل ،بينما يسمح بإكتشاف وعرض المقالات والصفحات وغيرها من الأمور التي يجب فهرستها .ولذلك يمكن لهذا الملف أن يمنع فهرسة موقع الويب بواسطة محركات البحث.
advertisement
التعليمات التي يجب استخدامها في ملف Robots.txt
advertisement
يعد إنشاء ملف Robots.txt إلزاميًا فقط عندما تريد التحكم في الزحف إلى موقع الويب الخاص بك بواسطة محركات البحث. لكي تفهم العناكب ، يجب أن يحتوي الملف على ثلاثة أنواع من المعلومات:
عليك تحديد وكيل المستخدم الذي تنطبق عليه القواعد. ذلك من Google: googlebot؟ من Bing: bingbot؟ جميع الروبوتات المشار إليها بنجمة: *؟
الإجراء بالسماح “Allow”أو عدم السماح “Disallow” ،بالاستكشاف عند الزحف إلى الموقع.
تحديد العناوين URL المعنية بالقواعد المحددة أعلاه.
مثال للتعليمات المكتوبة على ملف Robots.txt
advertisement
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: http://www.example.com/sitemap.xml
كيفية اضافة ملف Robots.txt في الموقع
لا تأتي مواقع الويب تلقائيًا مع ملف robots.txt لأنه غير مطلوب. بمجرد أن تقرر إنشاء ملف ، قم بتحميل الملف إلى الدليل الجذر لموقع الويب الخاص بك. يعتمد التحميل على بنية ملف موقعك وبيئة استضافة الويب الخاصة بك. تواصل مع موفر الاستضافة للحصول على مساعدة حول كيفية تحميل ملف robots.txt الخاص بك. حيث يجب أن يكون لديك حق الوصول إلى جذر المجال الخاص بك.يمكنك الدخول الى حسابك في الإستضافة الخاصة بموقعك،والذهاب الى جذر المجال الخاص بك ،واتبع ما يأتي:
قم بإنشاء ملف في الجذر الرئيسي وتسميته robots.txt.
ستحتاج إلى التأكد من أن ملف robots.txt الخاص بك هو ملف نصي بترميز UTF-8 . قد تتجاهل Google ومحركات البحث وبرامج الزحف الشائعة الأخرى أحرفًا خارج نطاق UTF-8 ، مما قد يجعل قواعد ملف robots.txt الخاصة بك غير صالحة.
انقر بزر الماوس الأيمن فوق ملف robots.txt ، وانقر فوق عرض / تحرير لفتحه في محرر نصوص.
إذا كنت تستخدم WordPress فأن المكون الإضافي Yoast SEO ، يساعدك في إنشاء ملف الـ robots.txt.
