robot.text ملف هام جدا احذر ؟؟!!

robot.text ملف هام جدا احذر !!

robots.txt ملف خطر جدا وهام للموقع الالكترونى ..
يمكنك التحكم في الملفات التي يمكن لبرامج الزحف الوصول إليها على موقعك باستخدام ملف robots.txt. يوجد ملف robots.txt في جذر موقعك. لذلك ، بالنسبة للموقع www.example.com .

فإن ملف robots.txt موجود على www.example.com/robots.txt.
ملف robots.txt هو ملف نصي عادي يتبع معيار استبعاد برامج الروبوت.
يتكون ملف robots.txt من قاعدة واحدة أو أكثر. تحظر كل قاعدة أو تسمح بزاحف معين للوصول إلى مسار ملف محدد على النطاق أو النطاق الفرعي حيث يتم استضافة ملف robots.txt.
ما لم تحدد خلاف ذلك في ملف robots.txt ، يُسمح ضمنيًا لجميع الملفات بالزحف.

ما الذى نفهمه من هذا الملف وما الغرض منه :

لا يُسمح لوكيل المستخدم المسمى Googlebot بالزحف إلى أي عنوان URL يبدأ بـ http://example.com/nogooglebot .يُسمح لجميع وكلاء المستخدم الآخرين بالزحف إلى الموقع بأكمله. 

كان من الممكن حذف هذا وستكون النتيجة هي نفسها ؛ السلوك الافتراضي هو السماح لوكلاء المستخدم بالزحف إلى الموقع بأكمله.يوجد ملف Sitemap الخاص بالموقع على http://www.example.com/sitemap.xml.

قواعد التنسيق والموقع:

• يجب تسمية الملف باسم robots.txt.
• يمكن أن يحتوي موقعك على ملف robots.txt واحد فقط.
• يجب وضع ملف robots.txt في جذر مضيف موقع الويب الذي ينطبق عليه. على سبيل المثال ، للتحكم في الزحف على جميع عناوين URL أدناه https://www.example.com/ ، 
• يجب وضع ملف robots.txt على https://www.example.com/robots.txt. لا يمكن وضعها في دليل فرعي (على سبيل المثال ، على https://example.com/pages/robots.txt). 
• إذا لم تكن متأكدًا من كيفية الوصول إلى جذر موقع الويب الخاص بك ، أو كنت بحاجة إلى أذونات للقيام بذلك ، فاتصل بمزود خدمة . 
• استضافة الويب الخاص بك. إذا لم تتمكن من الوصول إلى جذر موقع الويب الخاص بك ، فاستخدم طريقة حظر بديلة مثل العلامات الوصفية.يمكن نشر ملف robots.txt على نطاق فرعي (على سبيل المثال ، https://website.example.com/robots.txt) أو على منافذ غير قياسية (على سبيل المثال ، http://example.com:8181/robots .رسالة قصيرة).
• ينطبق ملف robots.txt فقط على المسارات داخل البروتوكول والمضيف والمنفذ حيث تم نشره. أي أن القواعد في https://example.com/robots.txt تنطبق فقط على الملفات الموجودة في https://example.com/ ، وليس على النطاقات الفرعية مثل https://m.example.com/ أو البروتوكولات البديلة ، مثل http://example.com/.
• يجب أن يكون ملف robots.txt عبارة عن ملف نصي بترميز UTF-8 (والذي يتضمن ASCII). قد يتجاهل Google الأحرف التي ليست جزءًا من نطاق UTF-8 ، مما قد يجعل قواعد robots.txt غير صالحة. 

--------------------------------------

اختبر ترميز ملف robots.txt :

لاختبار ما إذا كان ملف robots.txt الذي تم تحميله حديثًا يمكن الوصول إليه بشكل عام ، افتح نافذة تصفح خاصة (أو ما يعادلها) في متصفحك وانتقل إلى موقع ملف robots.txt. على سبيل المثال ، https://example.com/robots.txt. إذا رأيت محتويات ملف robots.txt ، فأنت جاهز لاختبار الترميز.

تقدم Google خيارين لاختبار ترميز robots.txt: :

أداة اختبار ملف robots.txt في Search Console. 

يمكنك فقط استخدام هذه الأداة لملفات robots.txt التي يمكن الوصول إليها بالفعل على موقعك.إذا كنت مطورًا ، فتحقق من مكتبة Google robots.txt مفتوحة المصدر وأنشئها ، والتي تُستخدم أيضًا في بحث Google. 

يمكنك استخدام هذه الأداة لاختبار ملفات robots.txt محليًا على جهاز الكمبيوتر الخاص بك.


ويمكنك استخراج ملف ROBOT.TXT من خلال المواقع الاتيه :
developers.google.com
seoptimer.com
en.ryte.com



للتعرف ع مواضيع اخرى مرتبطه بكيفيه تحسين الموقع الالكترونى ع محركات البحث