Questo file va messo nella root del sito.
Ad esempio http://www.nomesito.it/robots.txt
Con questo file si possono escludere cartelle o file dall’indicizzazione.
Molte voci di corridoio dicono che allo spider di google piace trovare questo file, ma queste voci non sono verificate.
Il file è composto da questi campi:
User-agent:
Disallow:
Nel campo User-agent devi mettere il nome dello spider.
Con il simbolo * ti stai riferendo a tutti gli spider.
Nel campo Disallow dirai cosa non vuoi che lo spider prelevi.
Per comunicare a tutti gli spider che non ci sono file che vuoi che non prelevino il file robot si presenta così:
User-agent: *
Disallow:
Dire a google di non prendere il file hello.htm:
User-agent: googlebot
Disallow: /helloo.htm
Direi a google di non prendere niente nella cartella hello:
User-agent: googlebot
Disallow: /hello/
Le imprese, possono godere di forti agevolazioni e sconti in riferimento al noleggio auto. In…
Quando si parla di moda, oggi più che mai, si affronta un argomento e si…
Continua con grande successo la messa in onda serale di Un posto al sole. Le…
Le previsioni dell'oroscopo del 12 ottobre vedono gli Scorpione un po' intransigenti. I Gemelli, invece,…
Da poco è tornato l'appuntamento con Casa Chi, il format online in cui vengono effettuate…
E' da poco terminata una nuova puntata di Uomini e donne e anche oggi largo…