در این آموزش، توضیح می‌دهیم که فایل robots.txt چیست، چرا باید رتبه‌بندی جستجوی خود را بهبود بخشید، و چگونه آن را ویرایش کنید و آن را در Google ثبت کنید.
فایل robots.txt وردپرس چیست و آیا باید نگران آن باشم؟
فایل robots.txt فایلی در سایت شما است که به شما این امکان را می دهد که موتورهای جستجو به فایل ها و پوشه های خاص شما دسترسی نداشته باشند. می توانید از آن برای جلوگیری از خزیدن ربات های گوگل (و سایر موتورهای جستجو) در صفحات خاصی در سایت خود استفاده کنید. در اینجا یک نمونه از فایل است:
بنابراین چگونه عدم دسترسی به موتورهای جستجو باعث بهبود سئو شما می شود؟ به نظر خلاف واقع می رسد…
این کار به این صورت است: هر چه تعداد صفحات سایت شما بیشتر باشد، گوگل صفحات بیشتری را برای خزیدن مجبور می کند.
به عنوان مثال، اگر صفحات دسته بندی و تگ زیادی در وبلاگ خود دارید، این صفحات بی کیفیت هستند و نیازی به خزیدن توسط موتورهای جستجو ندارند. آنها فقط سهم خزیدن سایت شما را مصرف می کنند (تعداد صفحات اختصاص داده شده که گوگل در هر زمان در سایت شما می خزد).
سهم یا بودجه خزیدن مهم است زیرا تعیین می کند که گوگل با چه سرعتی تغییرات سایت شما را دریافت می کند و بنابراین سرعت رتبه شما را تعیین می کند. به خصوص می تواند به سئوی سایت شما کمک کند!
فقط مراقب باشید که این کار را به درستی انجام دهید، زیرا اگر درست انجام نشود می تواند علاوه بر اینکه سود نمیرساند متواند به سئو شما آسیب هم برساند.
اگر در یک جایگاه بسیار رقابتی با یک سایت بزرگ هستید، یا اگر به تازگی اولین وبلاگ خود را راه اندازی کرده اید، ایجاد لینک برای محتوای خود و انتشار تعداد زیادی مقاله با کیفیت بالا اولویت های بزرگ تری هستند.
نحوه بهینه سازی فایل robots.txt وردپرس برای سئوی بهتر
اکنون، بیایید در مورد چگونگی ایجاد و بهینه سازی فایل robots.txt وردپرس بحث کنیم.
Robots.txt معمولاً در پوشه روت سایت شما قرار دارد. برای مشاهده آن باید با استفاده از یک سرویس گیرنده FTP یا با استفاده از cPanel خود به سایت خود متصل شوید. این فقط یک فایل متنی معمولی است که می توانید آن را با Notepad باز کنید.
اگر فایل robots.txt در دایرکتوری روت سایت خود ندارید، می توانید آن را ایجاد کنید. تنها کاری که باید انجام دهید این است که یک فایل با فرمت txt جدید در رایانه خود ایجاد کرده و آن را به عنوان robots.txt ذخیره کنید. سپس، فقط آن را در پوشه روت سایت خود آپلود کنید.
یک فایل robots.txt ایده آل چگونه به نظر می رسد؟
فرمت فایل robots.txt واقعا ساده است. خط اول معمولاً یک عامل کاربر را نام می برد. عامل کاربر نام ربات جستجویی است که می‌خواهید با آن ارتباط برقرار کنید. مثلا Googlebot یا Bingbot. می توانید از ستاره * برای آموزش همه ربات ها استفاده کنید.
خط بعدی با دستورالعمل‌های Allow یا Disallow برای موتورهای جستجو دنبال می‌شود، بنابراین آنها می‌دانند که کدام بخش‌ها را می‌خواهید ایندکس کنند و کدام بخش‌ها را نمی‌خواهید ایندکس شوند.
در اینجا یک مثال است:
*:User-AgentAllow: /?display=wide/Allow: /wp-content/uploadsDisallow: /readme.html/Disallow: /refer Sitemap: http://www.codeinwp.com/post-sitemap.xmlSitemap: http://www.codeinwp.com/page-sitemap.xmlSitemap: http://www.codeinwp.com/deals-sitemap.xmlSitemap: http://www.codeinwp.com/hosting-sitemap.xmlتوجه داشته باشید که اگر از افزونه‌ای مانند Yoast یا All in One SEO استفاده می‌کنید، ممکن است نیازی به اضافه کردن بخش sitemap نداشته باشید، زیرا آنها سعی می‌کنند این کار را به صورت خودکار انجام دهند. در صورت عدم موفقیت، می توانید آن را به صورت دستی مانند مثال بالا اضافه کنید.
چه چیزی را disallow یا noindex کنم؟
در دستورالعمل‌های وب‌مستر گوگل، آنها به مدیران وب‌سایت توصیه می‌کنند که از فایل robots.txt خود برای مخفی کردن محتوای بی‌کیفیت استفاده نکنند. بنابراین، استفاده از فایل robots.txt برای جلوگیری از ایندکس کردن دسته، تاریخ و سایر صفحات آرشیو توسط Google ممکن است انتخاب عاقلانه ای نباشد.
به یاد داشته باشید، هدف robots.txt این است که به ربات ها آموزش دهد که با محتوایی که در سایت شما می خزند چه کنند. این مانع از خزیدن آنها در وب سایت شما نمی شود.
همچنین، نیازی به اضافه کردن صفحه ورود به سیستم وردپرس، دایرکتوری مدیریت یا صفحه ثبت نام به robots.txt ندارید، زیرا صفحات ورود و ثبت نام دارای برچسب noindex به طور خودکار توسط وردپرس اضافه شده است.
با این حال، توصیه می کنیم که فایل readme.html را در فایل robots.txt خود مجاز نکنید. این فایل می تواند توسط افراد مختلف که سعی بر متوجه شدن نسخه وردپرس دارند استفاده شود. زیرا که ، می‌توانند به راحتی با مرور فایل به آن دسترسی پیدا کند. بعلاوه، قرار دادن تگ disallow می تواند حملات مخرب را مسدود کند.
چگونه فایل robots.txt وردپرس خود را به گوگل ارسال کنم؟
پس از به‌روزرسانی یا ایجاد فایل robots.txt، میتوانید آن را با استفاده از گوگل سرچ کنسول به Google ارسال کنید. با این حال، توصیه می کنم ابتدا آن را با استفاده از ابزار Google’s robots.txt گوگل آزمایش کنید.
اگر نسخه ای را که در اینجا ایجاد کرده اید نمی بینید، باید فایل robots.txt که ایجاد کرده اید را دوباره در سایت وردپرس خود آپلود کنید. شما می توانید این کار را با استفاده از Yoast SEO انجام دهید.
در این آموزش نحوه بهینه سازی فایل Robots.txt وردپرس برای سئوی بهتر را توضیح دادیم. امیدواریم این مقاله آموزشی برای شما مفید بوده باشد، برای دیدن باقی آموزش ها میتوانید وارد منوی پشتیبانی بخش آموزش ها شوید، در صورتی که درباره این آموزش به مشکل یا سوالی برخورد کردید، میتوانید آن را در بخش دیدگاه بیان کنید.
آموزش های مرتبط:
