ملف “robots.txt” ما هو وكيف يعمل ومثال عملي عليه

الحصول على ترتيب جيد في نتائج محركات البحث أمر ليس بتلك السهولة التي تعتقدها، والخطوة الأولى في هذا المجال إغلاق جميع المسائل التقنية ومن ثم البدء في المحتوى.

ومن أجل الحصول على نتائج جيدة، قم بإنشاء ملف ” robots txt”، حيث يجب علينا أن نستخدم أحدث الوسائل والحفاظ على ترتيب الموقع، وإلا فإن فقدان المركز أمر غاية في السهولة.

ويقوم أغلب مشرفي المواقع بإنشاء هذا الملف بأنفسهم، أو يقوموا باللجوء إلى خدمات سيو من مواقع فريلانسر مختلفة للحصول على خدمة إنشاء ملف روبوتس.

ما هو ملف robots.txt؟ وما فائدته؟

يساعد ملف ” robots.txt” على تنظيم سلوك عناكب محركات البحث داخل الموقع، وبشكل خاص فإنه يرسم الطريق لها ويوجهها إلى أين يجب أن تذهب ويمنعها من الذهاب إلى أماكن معينة.

وانطلاقا من هنا، فإنه يجب على مدير الموقع أن ينشأ هذا الملف بالشكل الصحيح استنادا إلى هيكلية الموقع، وعبر هذه المقالة سوف تتعرف على كيفية فعل ذلك، تابعنا.

أين يوجد ملف “robots.txt” لمنصة الوورد برس؟

بشكل عام، لا يوجد مثل هذا الملف بين ملفات “الووردبرس” الأساسية، بل يقوم مشرف الموقع بإنشائه وإضافته إلى ملفات الموقع بشكل يدوي.

ويجب أن يكون مكانه في جذر الموقع أي داخل مجلد “public_html” أي أين توجد جميع ملفات الموقع الرئيسية مباشرة ويجب أن يتم فتحه من خلال الرابط التالي: https://YOUR_SITE/robots.txt

الإنشاء الصحيح لملف “robots.txt“

إن إنشاء الملف ليس بالأمر الصعب بل من الأمور السهلة للغاية، وإنما وضع الأوامر بداخله هي من الأمور التي يجب الوقوف عندها.

• قم بإنشاء ملف نصي وأطلق عليه اسم “robots”
• افتح الملف وقم بتعيين الرميز ” ANSI”.
• انقر على حفظ.

وهكذا يكون قد انتهينا من إنشاء الملف، أليس أمرا غاية في السهولة؟ الآن يكون الملف فارغا تماما ويجب أن نضيف بعض الأوامر، وهو ما سوف نتعرف عليه في الفقرة التالية.

ضبط الأوامر في ملف “robots.txt“

هناك 4 أوامر رئيسية يجب أن تتواجد داخل الملف، وهي:

• “User-agent” –  وهو أمر يعرض القواعد لمختلف محركات البحث (كل واحد على حدى أو كلها مجتمعة).
• “Disalow” – هذا الأمر يحظر على محركات البحث الوصول إلى قسم معين من الموقع (حسب ما تريد أنت).
• “Allow” – على عكس ما سبقه، فهو يسمح لمحركات البحث بالوصول إلى أقسام الموقع (أيضا حسب ما تريد أنت).
• “Sitemap” – يكشف لمحرك البحث رابط خريطة الموقع.

أوامر داخل الملف أصبحت قديمة ولا يتم استخدامها الآن، ولا ننصح أيضا باستخدامها:

• “Host” – يشير هذا الأمر إلى الروابط التي يجب أن تتم أرشفتها من قبل محركات البحث، ولكن الآن أصبحت محركات البحث بنفسها تقوم بالأمر.
• “Crawl-delay” – يحدد وقت تواجد عنكبوت البحث داخل الصفحة.
• ·         “Clean-param” – يحدد تحميل المحتوى المكرر، الآن تقوم محركات البحث بأرشفة كل شيئ وهذا الأمر لم يعد ينفع.

مثال عملي على الأوامر التي يجب أن يحتويها ملف “robots.txt” (يمكنك تطبيقه على موقعك)

من المعلوم أن محركات البحث لا تحب أن يقوم أي شخص بحظر الوصول إلى أجزاء الموقع، حيث يجب عليك أن تحظر الأشياء التي لا ينبغي على محركات البحث أرشفتها 100%، وإليك هذه الأوامرالتي يمكنك أن تضيفها إلى الملف وأن تنام قرير العين.

User-agent: *
Disallow: /wp-
Disallow: */trackback
Disallow: */page
Disallow: /author/*
Disallow: /template.html
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
Allow: *.gif
Allow: *.jpg
Sitemap: https://Your_Domin/sitemap.xml

فك طلامس هذه الأوامر وقراءتها لفهم ماذا يحوي الملف.

إشارة النجمة * بعد أمر “User-agent” تشير إلى أنه يجب على جميع محركات البحث إطاعة واتباع ما يوجد داخل الملف من أوامر.

كما تكلمنا سابق، فإن أمر “Disallow” يحظر محركات البحث أرشفة الأشياء التي نريدها، وهنا قم بحظر عنكبوت البحث من أرشفة جميع الملفات التقنية للموقع، والتي لا يجب على المستخدم العادي الوصول إليها.

بينما خلال الأمر ” Allow” سمحنا لعناكب البحث بأرشفة الصور وملفات التصميم وسكريبت الجافا، وهذا شيئ ضروري لمظهر الموقع.

وفي أمر ” Sitemap” يجب إظهار رابط خريطة الموقع، ويجب أن تغير جملة “Your_Domin” إلى رابط موقعك.

وإلى هنا يكون ملف “robots.txt” جاهزا، وكل ما عليك فعله هو حفظ الملث وتحميله إلى جذر الموقع، وللتأكد من وجوده بشكل صحيح افتح الرابط التالي: https://your-domain/robots.txt ولا تنسى أن تضع رابط موقعك مكان ” your-domain”.

إستخدام الإضافات في إنشاء ملف “robots.txt“

إنشاء الملف باستخدام إضافة “Virtual Robots.txt“

في حال لم تكن تريد إنشاء الملف بشكل يدوي، فإنه يمكنك طلب المساعدة من عدة إضافات، ومن بينها إضافة ” Virtual Robots.txt”، حيث يتم إضافتها بالشكل الطبيعي مثلها مثل أي إضافة عبر القائمة الرئيسية للوردبرس “إضافات” ومن ثم “إضافة جديد” ومن ثم تكتب اسم الإضافة في مربع البحث ومن ثم “تنصيب” وبعدها “تفعيل“، كما موضح في الصورة أدناه:

بعد تفعيل الإضافة، ادخل إلى “إعدادات” ومن ثم ” Virtual Robots.txt”، سوف تشاهد الملف وبداخله أوامر جاهزة، ولكن هنا يجب عليك حذفها ووضع ما عرضناه عليك أعلاه، ومن ثم لا ننسى حفظ الملف.

وهكذا سيتم إنشاء الملف بشكل أتوماتيكي وإضافته إلى موقعك، حيث لا تخف في حال عدم العثور على الملف داخل مجلدات الووردبرس، حيث تقوم الإضافة بإنشاءه بشكل افتراضي ولا يمكن التعديل عليه إلا من داخلها، ولكن محركات البحث يمكنها رؤيته وقراءته.

إنشاء الملف باستخدم الإضافة الشهيرة “Yoast SEO“

بما أن هذه الإضافة موجدة في أغلب المواقع، فلا يوجد داعي لتثبيت إضافات أخرى، حيث تساعدك أيضا في إنشاء ملف “robots.txt“، بكل سهولة ويسر، كل ما عليك فعله التوجه من خلال القائمة الرئيسية إلى “SEO” ومن ثم إلى “Tools” والنقر على خيار “File editor” كما موضح في الصورة أدناه:

ففي حال لم يكن منشأ الملف من قبل سوف تشاهد خيار “إنشاء الملف” انقر عليه وسيتم على الفور إنشاء ملف (وهذه المرة لن يكون الملف افتراضي، بل سيكون موجود ضمن ملفات الووردبرس ويمكنك العثور عليه في جذر الموقع).

والآن كل ما عليك فعله هو نسخ الكود الذي قمنا بنشره أعلاه ونسخه داخل المستطيل وحفظ التغييرات:

الإعدادات الصحيحة لملف “robots.txt” لمن يمتلك متجر إلكتروني على ووكومس

من يمتلك متجرا إلكترونيا على إضافة ” WooCommerce“، هناك أوامر خاصة به يجب إضافتها إلى ملف روبوتس وهي كالتالي:

Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*

حيث يجب عليك إضافة هذا الكود إلى الكود السابق وحفظه فقط.