0 تصويتات
في تصنيف تقنية وتكنولوجيا كتبه
ممكن ملف robots.txt  الافتراضي لمدونة بلوجر ومدونة وردبريس

وكيف اوجه العناكب من خلال ملف robots.txt

2 إجابة

0 تصويتات
كتبه
 
أفضل إجابة

إنه ملف robots.txt (يُسمى أيضًا بروتوكول أو معيار استبعاد برامج الروبوت).

يعد هذا الملف النصي الصغير جدًا جزءًا من كل موقع ويب على الإنترنت ، لكن معظم الناس لا يعرفون عنه حتى.

إنه مصمم للعمل مع محركات البحث ، ولكن من المدهش أنه مصدر لعصير تحسين محركات البحث في انتظار فتحه.

لقد رأيت العميل بعد أن ينحني العميل للخلف يحاول تحسين مُحسنات محركات البحث الخاصة به. عندما أخبرهم أنه يمكنهم تحرير ملف نصي صغير ، فإنهم لا يصدقونني تقريبًا.

ومع ذلك ، هناك العديد من الطرق لتحسين مُحسّنات محرّكات البحث ليست صعبة أو تستغرق وقتًا طويلاً ، وهذه واحدة منها.

لست بحاجة إلى أي خبرة فنية للاستفادة من قوة ملف robots.txt. إذا كان بإمكانك العثور على الكود المصدري لموقعك على الويب ، فيمكنك استخدام هذا.

User-agent: Googlebot

Disallow: /nogooglebot/

User-agent: *

Allow: /

Sitemap: http://www.example.com/sitemap.xml

هذا الملف يوجه العناكب لخريطه الموقع ولكن بنفس الوقت يمنع اي عناكب غير عناكب قوقل من الدخول للموقع

بخصوص بلوقر يفضل استخدام 

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search

Disallow: /b

Allow: /

Sitemap: https://www.techprevue.blogspot.com/sitemap.xml

0 تصويتات
كتبه (1.4ألف نقاط)

ملف robots.txt هو مستند نصي يخبر محركات البحث بعدم الزحف إلى أجزاء معينة من موقع الويب وفهرستها أو الصفحات التي يجب تخزينها مؤقتًا (مخزنة محليًا) بواسطة روبوتات محرك البحث. يمكن أن يخبر ملف robots.txt أيضًا برامج الزحف بالمدة التي يجب أن تخزن فيها محتوى موقعك في ذاكرة التخزين المؤقت ،والمكان الذي يجب أن تبدأ الزحف منه على الموقع ،والمزيد.

قبل تقديم Robots Exclusion Standard (Robots.txt) في عام 1994 ،كانت عناكب محركات البحث حرة في الزحف إلى المكان الذي تريده على الويب. كانت المشكلة في ذلك أن بعض المواقع لديها محتوى لم يكن مخصصًا للاستهلاك العام ،لذلك أضاف مالكو المواقع ملفًا يسمى robots.txt إلى دليل جذر موقع الويب الخاص بهم لإخبار العنكبوت بعدم زيارة أدلة أو صفحات معينة على مواقعهم. في الوقت الحاضر ،تحترم معظم برامج الزحف المعيار ،والذي يتيح لك كمسؤول موقع تحكمًا أكثر دقة في ما يتم الزحف إليه وأين يمكن وضعه ،ويمكن أن يكون له العديد من الاستخدامات الأخرى مثل منع الاستعلامات غير المرغوب فيها من الفهرسة

اقرأ المزيد من اسئلة مجتمع حوت نت

0 تصويتات
1 إجابة
0 تصويتات
1 إجابة
0 تصويتات
1 إجابة
كُتب فبراير 23 في تصنيف عالم حواء كتبه داليا
0 تصويتات
1 إجابة
كُتب فبراير 21 في تصنيف عالم حواء كتبه فريدة
0 تصويتات
2 إجابة
0 تصويتات
3 إجابة
0 تصويتات
1 إجابة
...