کاربرد robot.txt در سئو وبسایت

کاربرد robots.txt در طراحی سایت را حتما مطالعه کنید تا اطلاعات خوبی در مورد robots.txt در طراحی سایت خود داشته باشید

  • نوشته شده توسط : رضا رجب پور
  • دسته بندی :مقالات
  • بازدید: 2691
کاربرد robot.txt در سئو وبسایت
Rate this blog

کاربرد robot.txt در طراحی سایت

آیا شما تا به حال اسم robot.txt را شنیده اید؟ اگر تا به حال اسم robot.txt را شنیده اید و اطلاعات کمی در مورد آن دارید حتما این مطلب را در مورد کاربرد robot.txt در سئو سایت را حتما مطالعه کنید.

robots.txt چیست؟

موتورهای جستجو گر مانند گوگل،بینگ برای اینکه بتوانند سایت ها را رتبه بندی کنند و ایندکس کنند از روبات ها spider , robot و یا crawler معروف هستند و این روبوت ها نسبت به قوی بودن و آپدیت کردن سایت ها به سایت سر می زنند استفاده می کنند این فایل در روت سایت شما هست که جلوی خزیده شدن ربات های گوگل به این صفحات میشود .

کاربرد robots.txt در سایت

خوب حالا میریم سراغ اصل ماجرا خوب حالا کار این robot.txt چی هست؟ برای اینکه بتوانیم سئو سایت رو بالاتر ببریم و سایت رو بهینه سازی کنیم باید این فایل را ویرایش کنیم باید با دستورات زیر به روبوت های گوگل بگوییم که دسترسی به این بخش سایت ما رو ندارد مثلا ایندکس پوشه قالب شما نیازی نیست که روبوت ها آن بخش را ایندکس کنند خودتان تا می توانید این کار را انجام ندهید ما در ساین وب این کار با تخصصی که داریم و برنامه نویسی سایت شما این کار را انجام می دهیم.

ساختار فایل robots.txt

برای اینکه بتوانید به robot.txt دستور بدهید که به کجای شما طراحی سایت شما دسترسی نداشته باشد یا داشته باشد باید از Disallow استفاده کرد یک نمونه کد robot.txt

چند نمونه کد برای robots.txt

این دوخط زیر باعث میشه که جلوی ایندکس شدن همه ی صفحات توسط روبوت های گوگل گرفته بشه .

User-agent: googlebot
Disallow: /

یا مثلا می خواهید آدرسی از سایت خود را از دسترس روبوت ها خارج کنید

User-agent: Googlebot

Disallow: /no-robot/blocked.html

یا مثلا می خواهید به یک پوشه سایت شما دسترسی نداشته باشند

User-agent: Googlebot

Disallow: /no-robot/

یک روبوت فایل استاندارد برای سایت های وردپرسی

User-agent: *

Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-

یک فایل روبوت استاندارد برای سایت های جوملایی

User-agent: *
Disallow: /component

ثبت robots.txt در گوگل وب مستر

اول به وب مستر وارد می شوید از پوشه crawel زیر منو robots.txt Tester را کلیک می کنید

و کدهای خود را داخل ادیتور قرار داده و دکمه submit را میزنید

می توانید از شکل زیر هم استفاده کنید

معرفی robots.txt به گوگل وب مستر

با اشتراک گذاری این مطلب در شبکه های اجتماعی و نظر دادن در مورد این مطلب ما رو در جهت انتشار مطالب در مورد طراحی سایت و طراحی وب سایت یاری کنید

موفق و پیروز باشید

مقالات مرتبط

پیشنهاد می کنیم این مطالب هم مطالعه کنید

چک لیست سئو

چک لیست سئو ۲۰۲۲ و هر آنچه که باید در مورد آن بدانید

برای این که بتوانید در سال ۲۰۲۱ صفحات سایت خودتان را به رتبه‌های بالای گوگل بیاورید، باید چک لیست سئو…

قبل از شروع طراحی سایت به این نکات توجه کنید

قبل از شروع طراحی سایت به این نکات توجه کنید

قبل از شروع طراحی سایت به این نکات توجه کنید | شروع کار طراحی سایت | مشاوره طراحی سایت

آیا تگ alt در بهینه سازی سایت تاثیر دارد

آیا تگ alt در بهینه سازی سایت تاثیر دارد ؟

اضافه کردن تگ alt برای سئو خیلی مفید هست ولی برای رنک سایت زیاد تاثیری ندارد.این مقاله را در مورد…

پرسش و پاسخ 0

بحث درباره این مقاله را شما آغاز کنید!

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

مشاوره رایگان تلفنی