سایت شما میتواند تنها یک فایل robots.txt داشته باشد. فایل robots.txt باید در ریشه میزبان وب سایتی باشد که برای آن اعمال میشود. به عنوان مثال، برای کنترل خزیدن در همه URL های زیر https://www.example.com/، فایل robots.txt باید در https://www.example.com/robots.txt قرار گیرد.