User-agent: * Disallow: / # # E' stato disattivato il crawling sui siti di sviluppo # Per vedere il file robots.txt effettivo va inserita # una riga come la seguente nel file di configurazione # del VirtualHost corrispondente : # # AliasMatch ^/_robots.txt /path/reale/del/vhost/robots.txt # # Cosi' facendo il file robots diventa visibile all'url : # # http://url.del.vhost/_robots.txt #