Robots.txt Generator
Generatore di Robots.txt Gratuito
Crea un file robots.txt corretto per il tuo sito web senza scrivere codice da zero.
Questo strumento gratuito ti aiuta a costruire le regole che dicono ai bot dei motori di ricerca quali parti del tuo sito possono essere esplorate e quali aree dovrebbero essere saltate. Compila le opzioni, genera il file e caricalo nella directory principale del tuo sito web’s.
Cos'è un file robots.txt?
Robots.txt è un semplice file di testo che si trova nella cartella principale del tuo sito web (esempio: https://yoursite.com/robots.txt).
Quando i motori di ricerca come Google visitano il tuo sito, cercano questo file per comprendere le istruzioni di scansione fornite per i diversi bot.
Puoi usarlo per:
- Consentire la scansione di pagine importanti
- Bloccare sezioni private, di amministrazione o duplicate
- Indicare ai bot la tua Sitemap XML
- Ridurre le scansioni non necessarie su siti web di grandi dimensioni
Non nasconde le pagine agli utenti e non è uno strumento di sicurezza. Fornisce solo istruzioni di scansione che i bot dei motori di ricerca conformi possono seguire.
Perché potresti aver bisogno di un file Robots.txt
Non tutti i piccoli siti web hanno bisogno di un robots.txt complesso, ma diventa utile quando:
- Hai pagine di amministrazione o di login che non vuoi vengano scansionate
- Il tuo sito genera molti URL duplicati o filtrati
- Vuoi gestire la scansione di aree di test o di staging
- Gestisci un sito di grandi dimensioni e vuoi gestire l'attività di scansione
- Usi WordPress e vuoi gestire l'accesso a determinate cartelle di sistema
Un file robots.txt ben scritto può aiutare i motori di ricerca a concentrare la loro scansione sulle aree del tuo sito web a cui desideri che accedano.
Come usare questo generatore
- Scegli il comportamento predefinito per tutti i robot (consenti o nega).
- Aggiungi un ritardo di scansione (crawl-delay) se necessario (facoltativo).
- Inserisci l'URL della tua sitemap se ne hai una.
- Seleziona motori di ricerca specifici se desideri regole differenti.
- Aggiungi eventuali directory o percorsi che desideri bloccare.
- Genera il file.
- Copia il testo e salvalo come
robots.txt. - Carica il file nella root del tuo sito web.
Dopo il caricamento, apri https://yourdomain.com/robots.txt nel tuo browser e verifica che il file si carichi correttamente. Puoi anche utilizzare lo strumento Controllo URL di Google Search Console per verificare se URL specifici sono accessibili da Google. Ricorda che robots.txt controlla la scansione e non rimuove direttamente una pagina dai risultati di ricerca di Google.
Cose importanti da ricordare
- Un piccolo errore può impedire la scansione di pagine importanti.
- Controlla sempre due volte le regole generate prima del caricamento.
- Non usare mai robots.txt per nascondere contenuti sensibili. Utilizza invece un'adeguata protezione tramite password o opportuni controlli noindex.
- Robots.txt e Sitemap XML lavorano insieme ma hanno scopi diversi.
- Dopo aver caricato un nuovo robots.txt, dai ai motori di ricerca un po' di tempo per notare le modifiche.
Direttive comuni spiegate in modo semplice
| Direttiva | Cosa fa |
|---|---|
| User-agent | Specifica a quale bot si applica la regola. |
| Disallow | Blocca la scansione di una pagina o di una cartella. |
| Allow | Permette l'accesso a una pagina o a un percorso, il che può essere utile per le eccezioni. |
| Sitemap | Comunica ai bot dei motori di ricerca dove si trova la tua sitemap XML. |
| Crawl-delay | Suggerisce una pausa tra le richieste del crawler. Il supporto può variare tra i diversi motori di ricerca. |
Strumenti gratuiti correlati
- Analizzatore di Meta Tag
- Generatore di Meta Tag
- Controllo Domain Authority
- Controllo Backlink
- Controllo Posizione Parole Chiave
Nota
Questo generatore crea un file robots.txt standard basato sulle opzioni selezionate. Esamina sempre attentamente il codice finale prima di pubblicarlo. Regole errate possono impedire ai motori di ricerca di accedere a contenuti importanti sul tuo sito.