آیا شما تا به حال اسم robot.txt را شنیده اید؟ اگر تا به حال اسم robot.txt را شنیده اید و اطلاعات کمی در مورد آن دارید حتما این مطلب را در مورد کاربرد robot.txt در سئو سایت را حتما مطالعه کنید.
robots.txt چیست؟
موتورهای جستجو گر مانند گوگل،بینگ برای اینکه بتوانند سایت ها را رتبه بندی کنند و ایندکس کنند از روبات ها spider , robot و یا crawler معروف هستند و این روبوت ها نسبت به قوی بودن و آپدیت کردن سایت ها به سایت سر می زنند استفاده می کنند این فایل در روت سایت شما هست که جلوی خزیده شدن ربات های گوگل به این صفحات میشود .
کاربرد robots.txt در سایت
خوب حالا میریم سراغ اصل ماجرا خوب حالا کار این robot.txt چی هست؟ برای اینکه بتوانیم سئو سایت رو بالاتر ببریم و سایت رو بهینه سازی کنیم باید این فایل را ویرایش کنیم باید با دستورات زیر به روبوت های گوگل بگوییم که دسترسی به این بخش سایت ما رو ندارد مثلا ایندکس پوشه قالب شما نیازی نیست که روبوت ها آن بخش را ایندکس کنند خودتان تا می توانید این کار را انجام ندهید ما در ساین وب این کار با تخصصی که داریم و برنامه نویسی سایت شما این کار را انجام می دهیم.
ساختار فایل robots.txt
برای اینکه بتوانید به robot.txt دستور بدهید که به کجای شما طراحی سایت شما دسترسی نداشته باشد یا داشته باشد باید از Disallow استفاده کرد یک نمونه کد robot.txt
چند نمونه کد برای robots.txt
این دوخط زیر باعث میشه که جلوی ایندکس شدن همه ی صفحات توسط روبوت های گوگل گرفته بشه .
User-agent: googlebot
Disallow: /
یا مثلا می خواهید آدرسی از سایت خود را از دسترس روبوت ها خارج کنید
User-agent: Googlebot
Disallow: /no-robot/blocked.html
یا مثلا می خواهید به یک پوشه سایت شما دسترسی نداشته باشند
User-agent: Googlebot
Disallow: /no-robot/
یک روبوت فایل استاندارد برای سایت های وردپرسی
User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
یک فایل روبوت استاندارد برای سایت های جوملایی
User-agent: *
Disallow: /component
ثبت robots.txt در گوگل وب مستر
اول به وب مستر وارد می شوید از پوشه crawel زیر منو robots.txt Tester را کلیک می کنید
و کدهای خود را داخل ادیتور قرار داده و دکمه submit را میزنید
می توانید از شکل زیر هم استفاده کنید
با اشتراک گذاری این مطلب در شبکه های اجتماعی و نظر دادن در مورد این مطلب ما رو در جهت انتشار مطالب در مورد طراحی سایت و طراحی وب سایت یاری کنید
موفق و پیروز باشید
پرسش و پاسخ 0
بحث درباره این مقاله را شما آغاز کنید!
ارسال دیدگاه