Generatore robots.txt

Costruisci il file robots.txt del tuo sito: scegli lo user-agent, aggiungi regole Allow e Disallow, indica la sitemap e scarica il file pronto.


      

      
      
    


    
🔒 Tutto avviene nel tuo browser: nessun dato viene inviato a un server.

  


  

    
A cosa serve il file robots.txt

    
Il robots.txt va caricato nella radice del sito (es. https://www.tuosito.it/robots.txt)
    e dice ai crawler dei motori di ricerca quali percorsi possono visitare. La direttiva
    Disallow chiede di non scansionare un percorso, Allow crea un'eccezione
    dentro una cartella bloccata (es. blocchi /admin/ ma consenti /admin/pubblico/). Attenzione:
    il robots.txt limita la scansione, non l'indicizzazione — una pagina bloccata può comunque
    apparire su Google se altri siti la linkano; per escluderla davvero serve il meta tag noindex.

    
Le regole più usate in pratica

    
Quasi tutti i siti bloccano le aree riservate come /wp-admin/ o /admin/, i carrelli e le
    pagine di ricerca interna con parametri, che sprecano crawl budget. La riga
    Sitemap: con l'URL completo aiuta Google e Bing a trovare subito tutte le pagine.
    Ricorda che i percorsi distinguono maiuscole e minuscole e che ogni blocco di regole vale
    per lo user-agent dichiarato sopra di esso: con * ti rivolgi a tutti i bot.