ملف Robots.txt عبارة عن ملف يطلع محركات البحث على ما يمكن فهرسة
مواقع موقعك على الويب. ما هو دورها بالضبط؟ كيفية إنشائه وكيفية
استخدامه ل سيو seoالخاص بك؟
ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي تم وضعه في جذر موقعك على الويب. يهدف هذا
الملف إلى حظر روبوتات محركات البحث من فهرسة بعض المناطق في موقعك على
الويب.
ملف robots.txt هو واحد من الملفات الأولى التي يتم تحليلها من قبل
العناكب (الروبوتات).
ما هوrobots.txt ؟
يقدم ملف robots.txt تعليمات إلى برامج الروبوت لمحركات البحث التي
تقوم بتحليل موقعك على الويب،
برامج الروبوت (وتسمى أيضا "الوكلاء" أو "العناكب")،
لفهم ملف robots.txt، يمكننا أن نأخذ مثال موقع يتكون من منطقة عامة
للتواصل مع العملاء وشبكة داخلية محفوظة للموظفين. في هذه الحالة، يجب
أن تكون المنطقة العامة في متناول الروبوتات ويجب أن تكون المنطقة التي
يجب أن تظل خاصة يجب حظرها من الوصول.
يسمح هذا الملف أيضاالإشارة إلى محركات عنوان ملف سيتماب للموقع.
يمكن أيضا أن تحظر العلامة الوصفية المسماة "روبوتس" في شفرة هتمل
لصفحة
ويب الفهرسة باستخدام البنية التالية: <ميتا نيم = "روبوتس" كونتنت = "نويندكس">.
أين يمكنني العثور على ملف روبوتس تكست؟
يجب أن يكون ملف robots.txt على مستوى الجذر لموقعك على الويب. إذا كنت
تريد التحقق من وجوده على موقعك، فيجب كتابة شريط عناوين المتصفح:
http://www.adressedevotresite.com/robots.txt.
إذا كان الملف:
حاليا، سيتم عرضه وسوف يمكن الروبوتات من اتباع التعليمات الموجودة في الملف.
ادا كانت الصفحة غائبة، سيتم عرض خطأ 404 وسوف يمكن الروبوتات النظر في أنه لا يوجد محتوى محظور.
يحتوي موقع الويب على ملف واحد للروبوتات ويجب أن يكون اسمه دقيقا
(ملف robots.txt).
كيفية إنشاء ملف robots.txt؟
لإنشاء ملف robots.txt، يجب أن تكون قادرا على الوصول إلى جذر نطاقك.
يمكن إنشاء ملف الروبوتات تكست يدويا أو إنشاؤها بشكل افتراضي
لإنشاء ذلك يدويا، يمكنك من استخدام محرر نص بسيط مثل المفكرة مع احترام في بعض الأحيان:
بناء الجملة والتعليمات،
اسم الملف: robots.txt،
للوصول إلى المجلد الجذر لموقع الويب الخاص بك، يجب أن يكون لديك وصول فتب واحد على الأقل. إذا لم يكن لديك هذا الدخول، فلن تتمكن من إنشائه وستحتاج إلى الاتصال بمضيف الويب أو وكالة الويب.
بنية وتعليمات ملف robots.txt
تستخدم ملفات robots.txt الأوامر أو الأوامر التالية:
وسر-إدجنت: وكلاء المستخدم هم روبوتات محركات البحث، على سبيل المثال جوغليبوت فور غوغل أو بنغبوت ل بنغ.
ديسالو: ديسالو هي التعليمات التي تمنع وكلاء المستخدم من الوصول إلى عنوان url أو المجلد.
السماح: السماح هو تعليمات تسمح لوكيل المستخدم بالوصول إلى عنوانurl في مجلد محظور.
مثال على ملف ROBOTS.TXT:
# ملف لروبوتات الموقع http://www.adressedevotresite.com/
وكيل المستخدم: * (يسمح بالوصول إلى جميع الروبوتات)
ديسالو: / إنترانت / (حظر مجلد إنترانت)
ديسالو: /login.php (ممنوع استكشاف عنوان url http://www.adressedevotresite.com/login.php)
السماح: /*.css؟* (يسمح بالوصول إلى جميع موارد كس)
ملف سيتماب: http://www.adressedevotresite.com/sitemap_index.xml (رابط إلى ملف سيتماب ل سيو)
في المثال أعلاه، ينطبق الأمر يوسر-إدجنت على جميع برامج الزحف من خلال إدراج علامة النجمة (*). يتم استخدام حاد (#) لعرض التعليقات، لا تؤخذ التعليقات في الاعتبار من قبل الروبوتات.
سوف تجد على الموقع http://robots-txt.com/ الموارد المحددة لبعض محركات البحث وبعض كمس.
Robots.txt و سيو
فيما يتعلق بتحسين محركات البحث المحسنة لموقعك على الويب، يتيح ملف robots.txt ملف:
تجنب برامج الروبوت لفهرسة المحتوى المكرر،
لتوفير ملف سيتماب إلى برامج الروبوت لتقديم إرشادات حول عناوين ورل المراد فهرستها.
كيفية اختبار ملف robots.txt؟
لاختبار ملف robots.txt، ما عليك سوى إنشاء موقعك والمصادقة عليه على Google Search Console. بعد إنشاء حسابك، سيتعين عليك النقر على الاستكشاف ثم على أداة اختبار ملف robots.txt.
ملف robots.txt
تعليقات
إرسال تعليق