Robots.txt Generator

Search Engine Optimization

Robots.txt Generator


Default - All Robots are:  
    
Crawl-Delay:
    
Sitemap: (leave blank if you don't have) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Restricted Directories: The path is relative to root and must contain a trailing slash "/"
 
 
 
 
 
 
   



Now, Create 'robots.txt' file at your root directory. Copy above text and paste into the text file.


About Robots.txt Generator

¿Qué es Robots.txt Generator?
Robots.txt Generator genera un archivo que es muy opuesto al sitemap que indica las páginas a incluir, por lo tanto, la sintaxis de robots.txt es de gran importancia para cualquier sitio web. Siempre que un motor de búsqueda rastrea cualquier sitio web, siempre busca primero el archivo robots.txt que se encuentra en el nivel raíz del dominio. Una vez identificado, crawler leerá el archivo e identificará los archivos y directorios que pueden estar bloqueados.

¿Por qué debe usted utilizar nuestra herramienta del generador de Robots.txt?
Es una herramienta muy útil que ha hecho las vidas de muchos webmasters más fáciles ayudándoles hacer sus Web site Googlebot amistoso. Es una herramienta generadora de archivos robot.txt que puede generar el archivo requerido realizando la tarea difícil en poco tiempo y por absolutamente gratis. Nuestra herramienta viene con una interfaz fácil de usar que le ofrece las opciones para incluir o excluir las cosas en el archivo robots.txt.

¿Cómo usar nuestra herramienta de Robots.txt generador?
Utilizando nuestra increíble herramienta, puede generar el archivo robots.txt para su sitio web siguiendo estos sencillos y sencillos pasos:

De forma predeterminada, todos los robots tienen permiso para acceder a los archivos de su sitio, puede elegir los robots que desea permitir o rechazar el acceso.
Elija retardo de rastreo que indica cuánto retraso debe haber en los rastreos, lo que le permite elegir entre su duración de retardo preferida de 5 a 120 segundos. Está configurado como 'no delay' por defecto.
Si ya existe un sitemap para su sitio web, puede pegarlo en el cuadro de texto. Por otro lado, puede dejarlo en blanco, si no lo tiene.
Se ofrece una lista de robots de búsqueda, puede seleccionar los que desea rastrear su sitio y puede rechazar los robots que no desea rastrear sus archivos.
El último paso es restringir los directorios. La ruta debe contener una barra diagonal "/", ya que la ruta de acceso es relativa a la raíz.
Al final, cuando hayas terminado de generar el archivo robots.txt de Googlebot con la ayuda de nuestra herramienta Generador de robots de .txt, ahora puedes subirlo al directorio raíz del sitio web.
Si desea explorar nuestra herramienta amigable antes de usarla, entonces siéntase libre de jugar con ella y generar un ejemplo de robot.txt.