افزایش سئو وردپرس با بهینه سازی robots.txt

با سلام خدمت دوستان عزیز وردپرسی!

در این مقاله با شما همراه هستیم تا در رابطه با فایل robots.txt که در روت هاست شما قرار دارد به بحث و بررسی بپردازیم و با بهینه سازی آن سئوی سایت وردپرسی خود را افزایش دهیم، پس اگر شما هم به دنبال افزایش سئوی سایت خود هستید تا انتها با ما همراه باشید.

robots.txt چیست و چه کاربردی دارد؟

موتورهای جستجو همانند گوگل ، یاهو و بینگ برای برای یافتن و ایندکس کردن صفحات مختلف وب از روبات های جستجو که به spider , robot و یا crawler معروف هستند استفاده می‌کنند . این روبوت‌ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات رو بدست می‌آورند و آنها رو به موتور جستجوی مربوطه ارسال می‌کنند . معمولا بر اساس اینکه یک سایت چند مدت به چند مدت آپدیت میشود تعداد دفعاتی که این روبات‌های جستجوگر در روز به سایت مراجعه می‌کنند نیز متفاوت است.

صفحات موجود در سایت‌های مختلف از لحاظ امنیتی و درجه حساسیت متفاوت هستند و شاید شما دوست نداشته باشید بعضی از صفحات (مثل صفحات مدیریتی و ادمین سایت) در موتورهای جستجو ایندکس شوند و آدرس آنها از طریق موتورهای جستجو در دسترس عموم قرار بگیرند. برای اینکه به موتورهای جستجو اجازه دهیم چه صفحات یا فولدرهایی در سایت را پیمایش و ایندکس کنند و اینکه چه صفحاتی رو ایندکس نکنند می‌توانید از یک فایل با نام robot.txt در ایندکس هاستینگ سایت خود و یا در پوشه‌ای خاص استفاده کنید تا به موتورهای جستجو اجازه دهید در چه جاهایی مجازید تا به پیمایش صفحات بپردازید.

آموزش ساخت فایل robots.txt

برای اینکه بخواهیم فایل robots.txt را ایجاد کنیم کافی است تا به روت هاست خود رفته و یک فایل با فرمت txt. و با نام robots ایجاد نماییم. این فایل را شما می‌توانید هم از طریق رایانه خود ایجاد کرده و آپلود نمایید و هم اینکه اگر از سی پنل استفاده می‌کنید از بخش new file آن را در هاست بسازید.

آموزش استفاده از robots.txt

کار با این فایل بسیار آسان بوده و می‌توانید به راحتی آن را مدیریت نموده و آدرس‌های مجاز و غیر مجاز را در آن وارد کنید. دستور user-agent در اول این فایل در واقه نام ربات جستجوگر شما در موتورهایی همچون گوگل، بین‌باشد که در تلاش برای برقراری ارتباط با موتور جستجو خواهد بود.

در خط بعدی این فایل از دستورات allow و disallow استفاده می‌کنیم، که همانطور که از نام آنها مشخص است از allow برای اجازه دادن به موتور جستجو و از disallow برای اجازه ندادن استفاده می‌شود.

نمونه‌ای از فایل ساخته شده

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

کد بالا نمونه‎ای از فایل robots.txt می‌باشد، همانطور که می‌بینید در این ربات به پوشه رسانه‌های وردپرس اجازه داده‌ایم تا توسط موتور جستجو خزش شده و ایندکس شوند و به دایرکتوری پلاگین‌ها و فایل readme.html که در روت هاست قرار دارد این اجازه را سلب کرده‌ایم.

افزودن آدرس XML در فایل روبات

برای اینکه نقشه سایت را در این فایل اضافه کنیم تا موتورهای جستجو از طریق نقشه سایت بتوانند با ساختار بهینه‎تری سایت را مورد خزش و بررسی قرار دهند کافی است تا مطابق زیر آدرس نقشه سایت را در آن وارد کنیم.

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

اگر نقشه سایت ندارید و از افزونه سئو وردپرس استفاده می‌کنید می‌توانید با مراجعه به بخش سئو> نقشه‌های XML سایت آن را فعال کرده و آدرس موجود را کپی کرده و در فایل robots.txt مطابق کدهای بالا قرار دهید.

منبع: wpbeginner