Robots.txt Generator
Generador de Robots.txt Gratuito
Crea un archivo robots.txt adecuado para tu sitio web sin necesidad de escribir código desde cero.
Esta herramienta gratuita te ayuda a crear las reglas que indican a los robots de los motores de búsqueda qué partes de tu sitio pueden rastrear y qué áreas deben omitir. Rellena las opciones, genera el archivo y súbelo al directorio raíz de tu sitio web.
¿Qué es un archivo robots.txt?
Robots.txt es un archivo de texto simple que se encuentra en la carpeta raíz de tu sitio web (ejemplo: https://tusitio.com/robots.txt).
Cuando los motores de búsqueda como Google visitan tu sitio, buscan este archivo para comprender las instrucciones de rastreo proporcionadas para los diferentes bots.
Puedes usarlo para:
- Permitir el rastreo de páginas importantes
- Bloquear secciones privadas, de administración o duplicadas
- Indicar a los bots la ubicación de tu sitemap XML
- Reducir el rastreo innecesario en sitios web grandes
No oculta páginas a los usuarios y no es una herramienta de seguridad. Solo proporciona instrucciones de rastreo que los bots de los motores de búsqueda compatibles pueden seguir.
Por qué podrías necesitar un archivo Robots.txt
No todos los sitios web pequeños necesitan un archivo robots.txt complejo, pero resulta útil cuando:
- Tienes páginas de administración o inicio de sesión que no deseas que se rastreen
- Tu sitio genera muchas URL duplicadas o filtradas
- Quieres gestionar el rastreo de áreas de prueba o de desarrollo (staging)
- Tienes un sitio grande y quieres gestionar la actividad de rastreo
- Usas WordPress y quieres gestionar el acceso a ciertas carpetas del sistema
Un archivo robots.txt bien redactado puede ayudar a los motores de búsqueda a centrar su rastreo en las áreas de tu sitio web a las que deseas que accedan.
Cómo usar este generador
- Elige el comportamiento predeterminado para todos los robots (permitir o no permitir).
- Añade un retraso de rastreo (crawl-delay) si es necesario (opcional).
- Introduce la URL de tu sitemap si tienes uno.
- Selecciona motores de búsqueda específicos si deseas reglas diferentes.
- Añade cualquier directorio o ruta que desees bloquear.
- Genera el archivo.
- Copia el texto y guárdalo como
robots.txt. - Sube el archivo a la raíz de tu sitio web.
Después de subirlo, abre https://tudominio.com/robots.txt en tu navegador y comprueba que el archivo se carga correctamente. También puedes utilizar la herramienta de Inspección de URL de Google Search Console para verificar si se puede acceder a URL específicas desde Google. Recuerda que robots.txt controla el rastreo y no elimina directamente una página de los resultados de búsqueda de Google.
Cosas importantes que debes recordar
- Un pequeño error puede bloquear el rastreo de páginas importantes.
- Revisa siempre con atención las reglas generadas antes de subirlas.
- Nunca utilices robots.txt para ocultar contenido sensible. En su lugar, utiliza una protección por contraseña adecuada o los controles noindex correspondientes.
- Los archivos robots.txt y los sitemaps XML funcionan juntos pero tienen propósitos diferentes.
- Después de subir un nuevo robots.txt, dale a los motores de búsqueda un tiempo para que noten los cambios.
Directivas comunes explicadas de forma sencilla
| Directiva | Qué hace |
|---|---|
| User-agent | Especifica a qué bot se aplica la regla. |
| Disallow | Bloquea el rastreo de una página o carpeta. |
| Allow | Permite el acceso a una página o ruta, lo cual puede ser útil para excepciones. |
| Sitemap | Indica a los bots de los motores de búsqueda dónde se encuentra tu sitemap XML. |
| Crawl-delay | Sugiere una pausa entre las solicitudes del rastreador. La compatibilidad puede variar entre los motores de búsqueda. |
Herramientas gratuitas relacionadas
- Analizador de Etiquetas Meta
- Generador de Etiquetas Meta
- Comprobador de Autoridad de Dominio
- Comprobador de Enlaces Externos
- Comprobador de Posición de Palabras Clave
Nota
Este generador crea un archivo robots.txt estándar basado en las opciones que selecciones. Revisa siempre el código final con atención antes de publicarlo. Unas reglas incorrectas pueden impedir que los motores de búsqueda accedan a contenido importante en tu sitio.