تعداد بازدید از سایت و ترافیک دریافتی امروزه به یکی از مهمترین دغدغه های طراحان وب سایت و افرادی که سئو وب‌سایت را انجام میدهند تبدیل شده است. برای جذب بازدید کننده بیشتر و کسب درآمد از وب سایت خود، لازم است تنظیماتی را جهت معرفی سایت به موتورهای جستجو انجام دهید.فایل robots.txt یک فایل متنی است که با قراردادن آن می توان ورود موتورهای جستجو به سایت کنترل کرد. در این مقاله شما را با فایل robots.txt بیشتر آشنا خواهیم کرد.
فایل robots.txt چیست؟
فایل robots.txt یک فایل متنی است که به موتورهای جستجو اعلام میکند که کدام قسمت های وب سایت برای موتورهای جستجو قابل دسترس است و کدام قسمت ها نیست.به عبارت دیگر فایل robots.txt زمانی استفاده میشود که شخص نمیخواهد صفحات، فایل ها و یا فولدرهایی از سایتش توسط موتورهای جستجو ایندکس و بررسی شود.
فایل robots.txt یک فایل متنی ساده است که در ریشه سایت یعنی در فولدر wwwroot و یا public_html قرار خواهد گرفت به صورتی که از طریق لینک زیر قابل مشاهده باشد:
http://www.yoursite/robots.txt
این فایل را میتوان با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود.
استفاده از این فایل ضروری نیست ولی با توجه به اینکه اکثر ربات های جستجوگر این فایل را از سرور شما درخواست میکنند، بهتر است یک فایل خالی با این نام در ریشه سایت خود قرار دهید.
وب سایت هایی که از این فایل استفاده میکنند در رتبه بهتری در پیج رنک قرار می گیرند. این فایل علاوه بر بهینه سازی باعث ایجاد امنیت بیشتر در برابر حملات خواهد شد.
نحوه ایجاد فایل Robots.txt :
به راحتی میتوانید فایلی با این نام را در داخل پوشه روت هاست خود ایجاد کنید و کدهای مورد نظر را در آن وارد نمایید. دقت کنید که نام این فایل تماما با حروف کوچک باشد.
نمونه کد زیر مثالی از محتویات این فایل میباشد:
User-agent: *
Disallow: /image/
User-agent: مشخص کننده نوع روباتی است که نباید به صفحه دسترسی داشته باشد.
Disallow: نشاندهنده آدرس صفحه ای است که میخواهید از دید روبات ها پنهان بماند.
* به معنی تمام ربات های جستجوگر میباشد.
دقت کنید که لازم است در پایان نام فولدر ها از کاراکتر / استفاده شود.
با ورود دستور بالا رباتهای جستجوگر دیگر محتوای فولدر image را بررسی نکرده و در نتایج جستجو نمایش نخواهند داد.
جهت مشاهده نمونه های استفاده از این فایل به لینک زیر مراجعه کنید:
http://www.robotstxt.org/robotstxt.html
برای ایجاد و تست این فایل میتوانید از google webmasters tools استفاده کنید. گوگل وب مستر تولز ابزاری با عنوان robots.txt testing tool ارائه داده است که به شما کمک میکند فایل robots.txt را به آسانی ایجاد و تست کنید.
این ابزار در بخش crawl گوگل وب مستر تولز قابل مشاهده میباشد. در این قسمت شما میتوانید فایلی که با عنوان robots.txt وجود دارد را بررسی کنید، اطلاعات این فایل را تغییر داده و یا توسط این ابزار آنها را چک کنید. توجه کنید که پس از اعمال تغییرات لازم است فایل تغییر یافته را در سرور خود آپلود نمایید تا تاثیرات آن در سایت شما ظاهر شود.
تدوین و گردآوری: حبیبه سورانی
