Robots.txt Generator
منشئ ملف Robots.txt مجاني
قم بإنشاء ملف robots.txt مناسب لموقعك الإلكتروني دون الحاجة لكتابة كود من الصفر.
تساعدك هذه الأداة المجانية على بناء القواعد التي توضح لبرامج زحف محركات البحث الأجزاء التي يمكنها أرشفتها في موقعك والأجزاء التي يجب عليها تخطيها. املأ الخيارات، وقم بتوليد الملف، ثم ارفعه إلى المجلد الرئيسي (Root) لموقعك الإلكتروني.
ما هو ملف Robots.txt؟
ملف Robots.txt هو ملف نصي بسيط يوجد في المجلد الرئيسي لموقعك الإلكتروني (مثال: https://yoursite.com/robots.txt).
عندما تزور محركات البحث مثل جوجل موقعك، فإنها تبحث عن هذا الملف لفهم تعليمات الزحف المقدمة لبرامج الزحف المختلفة.
يمكنك استخدامه في:
- السماح بالزحف إلى الصفحات المهمة
- حظر الأقسام الخاصة أو الخاصة بالمشرفين أو المكررة
- توجيه روبوتات الزحف إلى خريطة موقع XML الخاصة بك
- تقليل عمليات الزحف غير الضرورية على مواقع الويب الكبيرة
إنه لا يخفي الصفحات عن المستخدمين وليس أداة أمان. فهو يوفر فقط تعليمات الزحف التي قد تتبعها برامج زحف محركات البحث المتوافقة.
لماذا قد تحتاج إلى ملف Robots.txt؟
لا يحتاج كل موقع ويب صغير إلى ملف robots.txt معقد، ولكنه يصبح مفيداً عندما:
- لديك صفحات مسؤولي موقع أو صفحات تسجيل دخول لا تريد زحفها
- يولد موقعك العديد من عناوين URL المكررة أو المفلترة
- تريد إدارة الزحف إلى مناطق الاختبار أو التطوير
- تدير موقعاً كبيراً وتريد التحكم في نشاط الزحف
- تستخدم ووردبريس (WordPress) وتريد إدارة الوصول إلى مجلدات نظام معينة
يمكن أن يساعد ملف robots.txt المصمم جيداً محركات البحث على تركيز زحفها على مناطق موقع الويب الخاص بك التي ترغب في وصولهم إليها.
كيفية استخدام هذه الأداة
- اختر السلوك الافتراضي لجميع روبوتات البحث (سماح أو حظر).
- أضف تأخيراً للزحف إذا لزم الأمر (اختياري).
- أدخل رابط خريطة الموقع (Sitemap) إذا كان لديك واحدة.
- حدد محركات بحث معينة إذا كنت تريد قواعد مختلفة.
- أضف أي مجلدات أو مسارات تريد حظرها.
- قم بتوليد الملف.
- انسخ النص واحفظه باسم
robots.txt. - ارفع الملف إلى المجلد الرئيسي لموقعك.
بعد الرفع، افتح الرابط https://yourdomain.com/robots.txt في متصفحك وتأكد من تحميل الملف بشكل صحيح. يمكنك أيضاً استخدام أداة فحص عناوين URL (URL Inspection) في Google Search Console للتحقق مما إذا كان يمكن لجوجل الوصول إلى عناوين URL معينة. تذكر أن ملف robots.txt يتحكم في الزحف ولا يزيل الصفحة مباشرة من نتائج بحث جوجل.
أشياء مهمة يجب تذكرها
- قد يؤدي خطأ بسيط إلى منع زحف الصفحات المهمة.
- احرص دائماً على مراجعة القواعد المولدة مرتين قبل الرفع.
- لا تستخدم أبداً ملف robots.txt لإخفاء المحتوى الحساس. استخدم حماية بكلمة مرور مناسبة أو عناصر التحكم المناسبة لعدم الفهرسة (noindex) بدلاً من ذلك.
- يعمل ملف Robots.txt وخريطة موقع XML معاً ولكنهما يخدمان أغراضاً مختلفة.
- بعد رفع ملف robots.txt جديد، امنح محركات البحث بعض الوقت لتلاحظ التغييرات.
توضيح مبسط للتوجيهات الشائعة
| التوجيه (Directive) | ماذا يفعل |
|---|---|
| User-agent | يحدد روبوت البحث الذي تنطبق عليه القاعدة. |
| Disallow | يحظر زحف صفحة أو مجلد. |
| Allow | يسمح بالوصول إلى صفحة أو مسار، وهو ما يمكن أن يكون مفيداً للاستثناءات. |
| Sitemap | يخبر روبوتات محركات البحث بمكان وجود خريطة موقع XML الخاصة بك. |
| Crawl-delay | يقترح توقفاً مؤقتاً بين طلبات برامج الزحف. قد يختلف دعم هذه الميزة بين محركات البحث. |
أدوات مجانية ذات صلة
- محلل علامات الميتا
- منشئ علامات الميتا
- فحص قوة الدومين (Domain Authority)
- فحص الروابط الخلفية (Backlinks)
- فحص ترتيب الكلمات المفتاحية
ملاحظة
تقوم هذه الأداة بإنشاء ملف robots.txt قياسي بناءً على الخيارات التي تحددها. احرص دائماً على مراجعة الكود النهائي بعناية قبل نشره. يمكن أن تؤدي القواعد غير الصحيحة إلى منع محركات البحث من الوصول إلى المحتوى المهم على موقعك.