Robots.txt چیست و چگونه کار می کند؟
امروزه از خزندگان موتورهای جستجو (کرالر – Crawler)، به عنوانی ربات هایی هوشمند یاد می شود که توانایی سر زدن به تمام صفحات وب در سراسر دنیای پهناور اینترنت را دارند و موتورهای جستجو همچون گوگل با استفاده از آنها قادر به جمع آوری اطلاعات سایت ها می باشند.
Robots.txt
صاحبان سایت ها با استفاده از این فایل قادر خواهند بود تا سطح دسترسی ربات ها به سایت خود را مشخص و معین نمایند و یا حتی در صورت وجود موارد حساس در سایت، می توانند از دسترسی ربات ها به آن صفحه جلوگیری نمایند.
هنگامی که ربات ها وارد سایت شما می شوند، در ابتدا و قبل از هرچیزی به سراغ آدرس فایل ربات سایت شما خواهند رفت. (بطور مثال به آدرس زیر توجه نمایید.)
http://www.domain.com/robots.txt
سپس بعد از رجوع به آدرس فوق، فایل ربات را چک می نماید و در اولین اقدام، به دستور زیر بر خواهد خورد.
User-agent: *
Disallow: /
با استفاده از عبارت User-agent: می توان دستورات را برای ربات های خاص معین نمود که در عبارت فوق، بخاطر وجود *، دستورات برای همه ربات ها یکسان تعریف می گردد.
قسمت Disallow:/ مربوط به آدرس فایل مورد نظر می باشد که نمی خواهیم ربات ها به آنها دسترسی داشته باشند که در صورت نیاز ادرس مورد نظر خود را می بایست روبروی آن قرار دهید. به عنوان مثال به آدرس زیر توجه فرمایید
Disallow: /foldername
نحوه ساخت یک فایل robots.txt
در ابتدا می بایست که یک فایل notepad را باز کرده و عباراتی را که در ابتدا به آنها اشاره شد را وارد نمود. قابل توجه است که در صورتی که تنظیماتی خاصی مورد نظرتان می باشد می توانید به آنها اضافه نمایید و سپس در انتها آن را با عنوان robots.txt ذخیره نمایید. نمونه کد رایجی که اکثر سایت های وردپرسی آنرا لحاظ می کنند بصورت زیر می باشد.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
بعد از ایجاد فایل، نوبت آن رسیده است که فایل مورد تنظیم دسترسی ربات سایت خود را در روت اصلی فضای هاست قرار دهید.
در این مرحله به قسمت مدیریت فایل هاست خود رفته، سپس در قسمت root هاست (در بالاترین سطح دایرکتوری سرور سایت)، فایل robots.txt که آماده کرده اید را آپلود نمایید. بعد از بارگذاری فایل در هاست می بایست آنرا در حساب Google Webmaster Tools خود اضافه نمایید.
اضافه نمودن robots.txt در کنسول جستجوی گوگل (گوگل وب مستر تولز)
برای این منظور ابتدا به حساب کاربری خود در گوگل وب مستر رفته و در کنسول جستجو با استفاده از منوی Crawl، بر روی گزینه robots.txt Tester کلیک کرده و در قسمت که باز می شود، کدهای مربوط به دسترسی را که فایل robots قرار داده اید در قسمت مربوطه وارد و سپس submit کنید.
