شرح ملف Robots.txt تحسين ملف الروبوتات على بلوجر

شرح ملف Robots.txt تحسين ملف الروبوتات على بلوجر

الكثير من أصحاب المدونات ليس لهم علم بأهمية ملف robots.txt, رغم أن لديه أهمية بالغة و يلعب دور مهم في أرشفة المواقع, و هذا يجعله يكون واحد من الملفات التي لا غنى عنها و من الواجب أن يتوفر عليه كل مدون.

لذلك العديد من المدونين لا يجرؤن على الإقتراب من هذا الملف خوفا من القيام بتغيرات تؤثر على مدوناتهم بشكل سلبي. لكن في هذه الدرس المكتوب سوف نزيل الغموض على هذا الملف.

شرح ملف Robots.txt، تحسين ملف الروبوتات على بلوجر

ما هو ملف  Robot.txt ؟
robots.txt هو ملف يقوم بإعطاء توصيات و توجيهات للعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه و ما لا يمكنهم الدخول إليه, يستعمل ملف robots.txt غالبا من أجل منع محركات البحث من أرشفة أشياء غير نافعة للمستخدم ,  صفحات أو اقسام لا نريد أرشفتها و كذلك لتفادي المحتوى المتكرر في محركات البحث.

#كيفية تعديل ملف Robot txt الأفضل على منصة بلوجر:

الخطوات التي يجب عليك اتباعها لي انشاء ملف Robots.txt :

أولا فتح لوحة تحكم بلوجر الخاص بك.

ثانيا انتقل إلى  إعدادات >  تفضيلات البحث  >  برامج الزحف والفهرسة  >  ملف robots.txt مخصص  > تحرير>ثم تحديد نعم.

ثالثا لصق كود robots.txt أدناه في نص المحتوى.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blogtecharabs.blogspot.com/posts/default?orderby=UPDATED

فهم كود robots.txt  قبل تهيئته ثم إضافاته لبلوجر:

User-agent: Mediapartners-Google

هذا كود هو لإعلانات Google Adsense و هو يساعد في تقديم إعلانات أفضل في مدونتك، و لا أنصح بحذفه إذا كنت تستعمل Google Adsense.

Disallow: /search

هذا كود هو لمنع زحف العناكب لفئة معينة من مدونتك مثل: 

http://myblogger.blogspot.com/search/label/ex

بإختصار لمنع زحف العناكب لقسم أوصفحة أو موضوع معين أنسخ رابط  القسم أو الصفحة أو الموضوع أمسح رابط المدونة الرئيسي هكذا،

Disallow:/search/label/seo

Disallow: /p/contact-us.html

Disallow: /2015/02/2015-script-seo.html

/  :Allow

هو عكس كود السابق فهو يشير لعناكب بزحف لجزء معين من مدونة، و علامة "/" تعني صفحة الرئيسية أي أرشفة صفحة الرئيسية لمدونة.

إذا كانت مدونتك على نطاق بلوجر سيكون رابط Sitemap على الشكل التالي:

Sitemap: http://blogtecharabs.blogspot.com/posts/default?orderby=UPDATED

مع تغيير http://blogtecharabs.blogspot.com/ برابط مدونتك.

ملحوطة: الكود سابق سيرسل لعناكب البحث عن أحدث 25 تدوينة فقط، و لزيادة عدد تدوينات المرسلة أستبدله بكود التالي:

Sitemap: http://blogtecharabs.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

هذا الكود سيعمل على إرسال أحدث 500 تدوينة في مدونتك، وإذا كان عندك أكثر من 500 تدوينة يمكنك إستعمال خارطتين معا لموقع بشكل تالي:

Sitemap: http://blogtecharabs.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://blogtecharabs.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

 إذا كانت مدونتك على نطاق مدفوع سيكون رابط Sitemap على الشكل التالي:

Sitemap: http://www.ouaziki-info.xyz/sitemap.xml

مع تغيير http://www.ouaziki-info.xyz/ برابط مدونتك.

رابعا ثم أنقر على زر حفظ التغييرات.

تابع الشرح بالصور

بعد إضافتك لملف robots.txt ستتمكن من حصول أرشفة أفضل في محركات البحث بإذن الله.

أتمنا أن يكون قد أعجبك الموضوع, 

المصدر