آموزش بهینه کردن فایل Robots.txt برای سئو

با درود خدمت کاربران عزیز پروان وب امروز آموزش بهینه کردن فایل Robots.txt برای سئو را برای شما دوستان آماده کرده ایم که می خوایم  Robots.txt را در امر بهینه تقویت کنیم این فایل در واقع بر سئوی کلی سایت اثر میذاره و کارش اینه که با موتورهای جستجو ارتباط برقرار میکنه و به اونها میفهمونه که کدوم بخش های سایتتون رو باید ایندکس کنن.

آیا وجود فایل Robots.txt ضروریه؟

نبود این فایل، مانعی برای ایندکس کردن و خزش مورتوهای جستجو در سایت شما نیست، اما همون طور که گفتم وجود این فایل میتونه کمک موثری به بهبود سئوی کلی سایت شما بکنه.بنابراین پیشنهاد من اینه که حتماً این فایل رو بسازین. اگه میخواین نقشه ی xml سایتتون رو به موتورهای جستجو بفرستین، این همون جایی هست که مورتوهای جستجو به دنبال نقشه ی سایت شما می گردن، مگر اینکه اون رو در Google Webmaster Tools مشخص نکرده باشین.

چطور باید از فایل Robots.txt استفاده کنیم؟

اولین خط که user agent نامیده میشه، در واقع نام ربات جستجویی هست که شما باهاش ارتباط برقرار می کنین، مثلا ربات گوگل (Googlebot)، ربات بینگ (Bingbot) و برای شامل کردن تمام ربات ها هم می تونین، علامت * رو در مقابلش قرار بدین. خطوط بعدی ساختارهای مجاز و غیرمجاز برای ایندکس شدن رو نشون میدن، یعنی شما می تونین مشخص کنین ربات، مجازه کدوم شاخه ها رو ایندکس کنه و کدوم شاخه ها رو مجاز نیست. فایل زیر یه نمونه از فایل robots.txt هست که تمام ربات های جستجوگر رو فراخوانی میکنه و در ضمن به شاخه ی آپلود تصاویر رو برای ایندکس شدن مجاز میدونه و دو شاخه ی دیگه رو غیرمجاز میدونه.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

افزودن نقشه ی XML سایت به فایل robots.txt

اگر از پلاگین هایی مثل WordPress SEO by Yoast و … برای تولید نقشه ی سایتتون استفاده می کنین، این پلاگین ها، به صورت اتوماتیک، نقشه ی سایتتون رو به فایل robots.txt اضافه خواهد کرد. اما اگه پلاگین موفق به انجام این کار نشد، شما اینکار رو باید به صورت دستی انجام بدین، یعنی همون آدرسی که توی پلاگین برای نقشه ی سایت گذاشته شده رو باید استفاده کنین. کدهای زیر یه نمونه رو نشون میدن.

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

موفق باشید