آنچه در این آموزش خواهید آموخت:
چرا باید از robot.txt استفاده کرد؟
دستورات قابل استفاده در فایل robot.txt
robot.txt چیست؟
فایل robot.txt یکی از فایل های مهم برای سئو سایت میباشد. همانطور که میدانید ربات های جستجوی گوگل نقش بسیار مهمی در نمایش سایت به کاربر دارند. این فایل برای گزارش صفحات سایت به موتور های جستجو جهت نمایش و یا عدم نمایش صفحات وب سایت است.
این فایل قابل دسترسی و ویرایش است. شما میتوانید با بهینه سازی آن نقش به سزایی در بالا رفتن رتبه سایت خود داشته باشید. بطوری که دسترسی ربات ها را به یکسری از صفحات محدود کنید تا از ایندکس شدن آنها و ایجاد تاثیر منفی در سئو جلوگیری کنید.
robot.txt یک فایل متنی است که که با میتوانید دستورات خود را در آن وارد کنید. این فایل در روت اصلی هاست قرار میگیرد بطوری که با وارد کرد آدرس سایت خود و نام این فایل میتوانید به آن دسترسی داشته باشید. مثال www.yourwebsite.ir/robots.txt
نحوه کار فایل robot.txt
موتورهای جستجو مانند گوگل قبل از کرول صفحات برای پیدا کردن محتوا ابتدا فایل robot.txt را بررسی و طبق دستورات موجود شروع به ایندکس صفحات برای نمایش آنها به کاربر میکنند.
کاربرد فایل robot.txt
1. جلوگیری از ایندکس شدن صفحات خاصی از سایت
2. جلوگیری از overload شدن یا بار زیاد سرور با درنظر گرفتن تاخیر کرول موتورهای جستجو
3. پنهان کردن بخش هایی از سایت از دسترس کاربران
4. ممانعت از نمایش نتایج جستجوهای داخلی در نتایج عمومی موتورهای جستجو
5. عدم انتشار محتوای تکرای در صفحه نتایج جستجوها
6. تعیین مسیر قرارگیری نقشه سایت
اشکال عدم وجود فایل robot.txt
عدم وجود این فایل در هاست سایت شما باعث میشود تا ربات های جستجو به تمام صفحات عمومی وبسایت شما دسترسی داشته باشند و بتوانند آنها را ایندکس کنند.
دقت کنید که اگر در آپلود این فایل مشکلی وجود داشته باشد مانند دستورات نادرست و یا فرمت غیراستاندارد‚ موتور های جستجو به تمام صفحات دسترسی خواهند داشت و میتوانند آنها را ایندکس کنند چرا که این ربات ها تنها دستورات صحیح این فایل را دریافت میکنند.
چرا باید از robot.txt استفاده کرد؟
1. مدیریت دسترسی موتورهای جستجو
یکی از مهم ترین دلایل استفاده از فایل robot.txt برای محدود کردن دسترسی ربات های جستجو به برخی از صفحات سایت است که امکان ایندکس کردن این صفحات توسط موتورهای جستجو نیز وجود دارد.
2. مدیریت لینک ها
یکی دیگر از فواید استفاده از فایل robot.txt امکان مخفی کردن لینک هایی که میخواهید آن ها را از دید کاربران و یا موتورهای جستجو پنهان کنید‚ است.
دقت کنید که عمل مخفی سازی آدرس یا URL Cloacking اگر بدرستی انجام نشود منجر به نقض قوانین میشود و در نهایت توسط گوگل جریمه خواهید شد.
3. افت عملکرد بهینه سایت درصورت عدم استفاده از فایل robot.txt
سایت های بزرگ و پربازدید روزانه بسیار مورد بررسی موتورهای جستجو قرار میگیرند. زمانی که سایت شما سرعت بارگذاری بالا و عملکرد بهینه ای داشته باشد بررسی و ایندکس توسط موتورهای جستجو بهتر صورت میگیرد.
دستورات قابل استفاده در فایل robot.txt
در این بخش تعدادی از مهم ترین دستورات فایل robot.txt را برای شما توضیح خواهیم داد.
User-Agent:
با این دستور میتوانید ربات هایی را که میخواهید حق دسترسی سایت را داشته باشند اضافه کنید.
اگر دستور User-Agent:* را وارد کنید به این معناست که تمامی موتورهای جستجو اجازه دسترسی به صفحات سایت را دارند.
اما اگر تمایل به محدود کردن این دسترسی دارید میتوانید نام دقیق ربات را بجای علامت * وارد کنید تا اطلاعات سایت فقط توسط ربات مشخص شده قابل دسترسی باشد. برای مثال در دستور زیر تنها ربات گوگل اجازه دسترسی به سایت را خواهد داشت.
User-Agent: Googlebot
Allow , Disallow:
با استفاده از این دو دستور میتوان تعیین کرد که ربات های مجاز به دسترسی سایت که در مرحله قبل نام بردید چه قسمت هایی از سایت شما را میتوانند بررسی و ایندکس کنند. در این دستور Allow مجاز بودن دسترسی و Disallow غیرمجاز بودن آن را بیان میکند. این دستورات را میتوانید مانند مثال زیر بکار ببرید و قسمت های مدنظر را بجای علامت * وارد کنید.
Allow: /*/
Disallow: /*/
Crawl-Delay:
این دستور مقدار زمان تاخیر ربات موتورهای جستجو را تعیین میکند تا به مقدار مشخص شده صبر کنند. برای استفاده از این دستور برای ربات گوگل باید این قابلیت را از کنسول جستجوی گوگل فعال کنید. این عمل با کاهش درخواست های پی در پی ربات ها‚ ایندکس شدن را آسان میکند. مثال:
Crawl-delay: 10
این دستور به ربات موتورهای جستجو اعلام میکند که بعد از هر ایندکس 10 ثانیه صبر کرده و سپس برای ایندکس بعدی اقدام کنند.
نکته: دقت کنید که این کار تعداد صفحات مورد بررسی و ایندکس روزانه را کاهش میدهد و برای سایت های بزرگ با محتوای زیاد مناسب نیست.
Sitemap:
با استفاده از این دستور میتوانید مسیر فایل XML نقشه سایت خود را به موتورهای جستجو نشان دهید. برای استفاده از این دستور بجای مقدار * در مثال آدرس دقیق نقشه سایت خود را وارد کنید.
* :Sitemap
Noindex:
دستور Disallow برای مسیر ها و دستور Noindex برای صفحات خاص استفاده میشود. بطوری که ربات اجازه دسترسی به آن صفحه را دارد اما امکان انتشار محتوای آن در نتایج را ندارد.
نکته: ویرایش فایل robot.txt نیاز به تخصص و اطلاعات سئو دارد زیرا با تنظیم نادرست این فایل ممکن است باعث تاثیر منفی در سئو و امنیت سایت شود. پس قبل از ویرایش با متخصص در این زمینه صحبت کنید و یا اطلاعات کافی را کسب کنید.
