بهینه سازی robots.txt برای سئو سایت

فایل Robots.txt چطور بر سئو سایت شما تاثیر میگذارد و چرا تا این اندازه اهمیت دارد؟ در واقع این فایل نقش مهمی را در SEO کلی سایت شما دارد و شما قطعا به این فایل نیاز خواهید داشت . در ادامه دلایل الزام وجود این فایل را بیان خواهم کرد.

اهمیت فایل Robots.txt :

نداشتن فایل robots.txt باعث جلوگیری از امدن موتورهای جستجو به داخل سایت شما میشود.به همین دلیل به شما پیشنهاد میکنم که این فایل را ایجاد کنید.

فایل robots.txt کجا است؟ و چگونه یک فایل robots.txt ایجاد کنیم؟

فایل robots.txt معمولا در پوشه root است که با استفاده از پنل مدیریت فایل و یا FTPمیتوانید به ان دسترسی داشته باشید و مانند هر فایل متنی دیگر با یک  ویرایشگر متنی ساده مانند Notepad آن را باز کنید.

برای ایجاد فایل robots.txt در دایرکتوری root سایت کافیست بر روی کامپیوتر خود یک فایل متنی با عنوان robots.txt. ایجاد و ذخیره کنید و آن را در پوشه root سایت خود آپلود کنید.

نحوه استفاده از فایل robots.txt؟

فرمت کلی فایل robots.txt بسیار ساده است. خط اول آن معمولا نام یک عامل کاربری است. عامل کاربری در واقع نام ربات جستجوی شماست که در حال تلاش برای برقراری ارتباط می باشد. به عنوان مثال، گوگل و یا Bingbot که برای دستور دادن به همه رباتها می توانید از علامت *  استفاده کنید.

در خط های بعدی بخش هایی که میخواهید ایندکس شوند و یا قسمت هایی را که نمیخواهید اجازه دهید تاایندکس شوند را مشخص میکنید.

نمونه ای از یک فایل robots.txt :

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html

در مثال بالا در خط دوم به تمامی ربات ها دستور ایندکس کردن تصاویر اپلود شده در دایرکتوری داده شده و در خط های بعدی دستور ایندکس نکردن افزونه ها و فایل های readme را داده ام.

بهینه سازی فایل robots.txt

گوگل به مدیران سایت ها توصیه میکند تا از فایل robots.txt برای مخفی کردن محتوای بی کیفیت استفاده کنند .البته جلوگیری از ایندکس شدن دسته ها، تاریخ، و  آرشیو ها خیلی کار جالبی نیست اما اگر شما بخواهید از ایندکس شدن و یا دنبال شدن آرشیو های خود جلوگیری کنید میتوانید با استفاده از افزونه های وردپرسی این کار را انجام دهید. اما نیازی نیست صفحه ورود، مدیریت دایرکتوری، یا صفحه ثبت نام  را به فایل robots.txt خود اضافه کنید.

به شما توصیه میکنم که اجازه ندهید فایل readme ایندکس شود زیرا اگر کسی بخواهد ورژن وردپرس شما را بداند به راحتی میتواند به آن دسترسی داشته باشد.پس بهتر است که این فایل ایندکس نشود.

از طرف دیگر اگر کسی با ورژن خاصی از وردپرس در حال اجرای پرسجو های مخرب باشد با ایندکس نشدن این فایل از حملات احتمالی این افراد جلوگیری خواهد شد.

همچنین می توانید از ایندکس شدن دایرکتوری افزونه های خود برای امنیت بیشتر جلوگیری کنید. و از حملات افرادی که ممکن است به دنبال پلاگین های خاص آسیب پذیر برای سوء استفاده باشد جلوگیری کنید.

اضافه کردن نقشه XML سایت خود به فایل Robots.txt

اگر شما از پلاگین SEO Yoast  و یا پلاگین های دیگر برای تولید نقشه XML سایت خود استفاده کرده اید به طور خودکار خطوط مربوط به نقشه سایت خود را به فایل robots.txt اضافه کنید.

اما اگر نتوانستید به طور خودکار نقشه سایت خود را اضافه کنید میتوانید به صورت دستی اینکار را انجام دهید.

مانند خطوط زیر:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

یک فایل robots.txt ایده آل چگونه باید باشد؟

خیلی از سایت های مشهور از robots.txt های ساده ای استفاده میکنند .

مانند :

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

مثال زیر نمونه فایل robots.txt  سایت خودمان ( منبع : www.wpbeginner.com ) می باشد .

User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/

Sitemap: https://www.wpbeginner.com/post-sitemap.xml
Sitemap: https://www.wpbeginner.com/page-sitemap.xml
Sitemap: https://www.wpbeginner.com/deals-sitemap.xml
Sitemap: https://www.wpbeginner.com/hosting-sitemap.xml

در این مقاله به ضرورت فایل robots.txt اشاره کردم و چگونگی ایجاد و بهینه سازی آن را توضیح دادم و همچنین موارد امنیتی که بهتر است رعایت شود را ذکر کردم . امیدوارم که برایتان مفید واقع شود.