بسم الله الرحمن الرحيم

السلام عليكم



ملف robots.txt هو ملف مهم جدا بالنسبه للمواقع وهو عباره عن ملف يتحكم بمحركات البحث وكيف تدخل الموقع والتحكم بصلاحية بعض الملفات التي لا تريد ان يتم ارشفتها وايضا التحكم بالملفات التي تريد ارشفتها حيث بعض اصحاب المواقع لديهم بعض الاقسام في الموقع او المنتدى لا يريدون ارشفتها بسبب المحتوى المتكرر او اي سبب اخر او تكون اقسام خاصه وايضا لملف robots.txt فائده ثانية وهي تقليل استهلاك الباندويث للموقع ، بما انه سوف نقوم بحجب بعض الاقسام من الارشفه اي لا تستطيع دخولها عناكب البحث وسوف اقوم بشرح هذا الملف بشكل كامل وكيفيه انشاء الملف ورفعه في الموقع



اولا انشاء ملف robots.txt

يمكن انشاء هذا الملف بواسطه المفكره او اي برنامج تحرير نصوص ، سوف نحفظ الملف بهذا الاسم robots.txt ، ثم نكتب في داخل الملف العبارات التالية وسيتم شرحها بصوره مفصله



اولا
كود:

---

الكود:

User-agent: *

---

كود توجية محركات البحث الى موقعك وقد وضعت علامه النجمه والتي تدل على توجية كافه محركات البحث الى موقعك مثل ياهو و bing و كوكل وغيرها بدل ان نكتب عناكب كل موقع فوضعنا النجمه للتسهيل
ثانيا
كود:

---

الكود:

Disallow:

---

وهذا الكود يقوم بمنع محركات البحث بأرشفه بعض الملفات التي يتم تحديدها لاسباب معينة مثلا اقسام خاصه في المنتدى او اي شيء

ولمنع الارشفه على بعض الملفات نكتبها بهذا الشكل
كود:

---

الكود:

Disallow: /vb/قسم معين

Disallow: /vb/sds

Disallow: /fdfdsda

Disallow: /343

Disallow: /vb/admin

---

وغيرها من الملفات التي لا نرغب بأرشفتها

ثالثا
كود:

---

الكود:

Allow:

---

هذا الكود يسمح لعناكب البحث بدخول مجلدات معينة يعني نحدد له المجلدات المسموح دخول عناكب البحث لها لائرشفتها
مثلا نحدد له الدخول لمجلدات الموقع التالية ويتم تغيرها حسب كل موقع
كود:

---

الكود:

Allow: /vb

Allow: /up

Allow: /iraq

---

ويمكن كتابه ما نشاء من الملفات المسووح دخولها

رابعا
كود:

---

الكود:

Sitemap:

---

وهو خاص بالخرائط لتوجية عناكب البحث للموقع بصوره اسرع وهناك العديد من المواقع تقوم بعمل خرائط لموقعك وصيغه ملف الخريطه هو XML او txt او gz، وعند عمل الخريطه ترفع الى الموقع ونضع مسارها في ملف robots ويمكن عمل اكثر من ملف sitemap ورفعه ووضع رابطه داخل ملف robots.txt

بعد الانتهاء نقوم برفع المف الى دليل الدليل الرئيسي للموقع يعني في ملف Public_html او www حسب الاستضافه فيكون رابطه www.000000.com/robots.txt الـ 000000 هو رابط موقعك



بعض الملاحظات المهمه
اولا
بالنسبه للمنتديات نقوم بأضافه هذه الاسطر للملف
كود:

---

الكود:

Disallow: /vb/announcement.php

Disallow: /vb/calendar.php

Disallow: /vb/cron.php

Disallow: /vb/editpost.php

Disallow: /vb/faq.php

Disallow: /vb/joinrequests.php

Disallow: /vb/login.php

Disallow: /vb/misc.php

Disallow: /vb/moderator.php

Disallow: /vb/newreply.php

Disallow: /vb/newthread.php

Disallow: /vb/online.php

Disallow: /vb/attachment.php

Disallow: /vb/private.php

Disallow: /vb/profile.php

Disallow: /vb/register.php

Disallow: /vb/search.php

Disallow: /vb/sendmessage.php

Disallow: /vb/showgroups.php

Disallow: /vb/showpost.php

Disallow: /vb/subscription.php

Disallow: /vb/subscriptions.php

Disallow: /vb/threadrate.php

Disallow: /vb/usercp.php

Disallow: /vb/payments.php

Disallow: /vb/memberlist.php

Disallow: /vb/image.php

Disallow: /vb/images/

---

ونغير ملف الصوره حسب ملف الاستايل

ثانيا
يمكن الاستغناء عن Allow: والاكتفاء بكتابه Disallow: لكن الافضل كتابه Allow: لجعل الارشفه افضل واسرع

ثالثا
يحتوي ملف robots.txt على ضرر معين ويمكن معالجته بسهوله ، حيث ملف robots.txt يقوم بعرض مجلدات الموقع عند كتابتها من قبلنا المسموح بها والمحضوره ولو اردنا ان نقوم باخفاء بعض المجلدات الخاصه والتي لا نري اي شخص يدخلها لا نقوم بكتابتها داخل ملف robots.txt بل نضع عليها جدار ناري لحمايتها

رابعا
التأكد من ملف robots.txt بأنه خالي من الاخطاء
لجعل الارشفه بصوره صحية وجلب العناكب الى مواقعنا ، بعد اعداد ملف robots.txt نقوم بفحصه من الاخطاء عن طريق الموقع التالي ( اضغط هنا ) بعد الدخول الى الموقع نضع رابط الموقع www.000000.com/robots.txt الـ 000000 هو رابط موقعك داخل المستطيل ونضغط على Check robots.txt وسيتم فحص الملف من الاخطاء

م/ن للفائدة

يسلموووعلى الموضوع
لك منى كل الشكر والتقدير
لمجهودك المتميز والمبدع
يعطيك العافية ولاحرمنا جديدك
دمت بهذا العطاء المتميز
راجين دوام تواصلك العطر
دمت بكل الخير
فيض ودى