Il meta tag "robots" ha lo scopo di indicare allo spider quali pagine indicizzare e quali invece dovranno essere saltati. Se vuoi che il tuo sito sia interamente indicizzato lo puoi comunicare ai motori con questo tag. Ma non ti aspettare che ti seguano con obbedienza, punta sui contenuti e ricorda di creare una mappa del sito.
Questi tag non sono seguiti da tutti gli spider, alcuni, per diverse ragioni, li ignorano completamente. Per ogni evenienza istruisci comunque i spider, definendo il meta tag robots almeno nella home page e nella mappa del sito.
Alcuni esempi:
meta name="robots" content="index,follow"
meta name="robots" content="noindex,follow"
meta name="robots" content="index,nofollow"
meta name="robots" content="noindex,nofollow"
Prima di decidere quale caso scegliere esaminiamo il significato di questi termini:
"index"- Indica al robot (o spider) del motore, che questa pagina potrà essere indicizzata. In altre parole, si consente al motore di ricerca di inserire questa pagina nel suo database.
"noindex"- Usando questo tag si informa il robot che la pagina corrente non dovrà essere indicizzata. Questa pagina, quindi, non apparirà nei motori di ricerca.
"follow"- Quando si usa questo tag, si comunca la motore che lo spider deve, se vuole, seguire i link in questa pagina, per indicizzare anche quelle successive.
"nofollow"- L'opposto del caso di prima, questo indicherà al motore che dopo l'indicizzazione della pagina corrente non deve seguire altri link, non deve quindi indicizzare altre pagine.
Dove inserirlo?
Il tag "robots" dovrà essere usato entro il contenuto del head, tra i tag <head> e </head> della pagina come in questo esempio:
Altri tag meta robots
Google aggiunge il contenuto delle pagine indicizzate al suo database durante la sua navigazione tra le pagine. Il contenuto salvato è chiamata la versione Cache, e può essere visualizzato cliccando sul link Contenuto Cache. Se non vuoi che il contenuto sia salvato nel database di google usa questo tag:
Questo non imperdità a Google di indicizzare la tua pagina, evita solo di salvare un contenuto che forse ritieni non opportuno a presentare in versioni non aggiornati. Se non vuoi indicizzare la pagina per nulla allora dovrai comunque usare il tag "noindex".
Un altra altrenativa alla procedura si sopra è quella di comunicare in modo mirato con lo spider di google o altro agente. Questo consentirà agli atlri motori di archiviare i dati ma non a google.
Uso errato del meta tag robots
Spesso si incontra sulle home page dei siti il Google tag. E' un piccolo tag inutile, che secondo alcuni aiuta Google ad incidizzare un sito. Appare di solito nella sintassi (meta name="googlebot" content="index,follow"). Alcuni webmaster ritengono che indicando il "googlebot" il loro sito sarà indicizzato in modo più veloce. Ma secondo le informazioni ufficiali di Google questo tag non è utilizzato dal loro spider, potrai quindi usare i tag noindex, nofollow, o noarchive quando NON vuoi che google indicizzi, segua i link o archivi le tue pagine. Per il resto, l'impostazione di default di Google è quello di indicizzare, seguire i link e archiviare tutto che non sia altrimenti specificato.
Un altro tag strano il "Revisit-After"
(meta name="revisit-after" content="90 days")
(meta name="revisit-after" content="15 days")
Anche questo è uno dei tag apparsi probabilmente dai webmaster stessi più che dai progettisti dei motori di ricerca. E non crederai mica che uno spider abbia il bisogno che gli si dica quando tornare? La maggior parte dei siti non ha mai usato questo tag e pure sono indicizzati con cadenza regolare. Ma se vuoi usalo. Evita solo di inseire periodi troppo brevi. Chiedere di tornare ogni due giorni sul tuo sito forse è troppo anche per uno spider.
Questi tag non sono seguiti da tutti gli spider, alcuni, per diverse ragioni, li ignorano completamente. Per ogni evenienza istruisci comunque i spider, definendo il meta tag robots almeno nella home page e nella mappa del sito.
Alcuni esempi:
meta name="robots" content="index,follow"
meta name="robots" content="noindex,follow"
meta name="robots" content="index,nofollow"
meta name="robots" content="noindex,nofollow"
Prima di decidere quale caso scegliere esaminiamo il significato di questi termini:
"index"- Indica al robot (o spider) del motore, che questa pagina potrà essere indicizzata. In altre parole, si consente al motore di ricerca di inserire questa pagina nel suo database.
"noindex"- Usando questo tag si informa il robot che la pagina corrente non dovrà essere indicizzata. Questa pagina, quindi, non apparirà nei motori di ricerca.
"follow"- Quando si usa questo tag, si comunca la motore che lo spider deve, se vuole, seguire i link in questa pagina, per indicizzare anche quelle successive.
"nofollow"- L'opposto del caso di prima, questo indicherà al motore che dopo l'indicizzazione della pagina corrente non deve seguire altri link, non deve quindi indicizzare altre pagine.
Dove inserirlo?
Il tag "robots" dovrà essere usato entro il contenuto del head, tra i tag <head> e </head> della pagina come in questo esempio:
Codice:
Perfavore,
Entra
oppure
Registrati
per vedere i codici!
Altri tag meta robots
Google aggiunge il contenuto delle pagine indicizzate al suo database durante la sua navigazione tra le pagine. Il contenuto salvato è chiamata la versione Cache, e può essere visualizzato cliccando sul link Contenuto Cache. Se non vuoi che il contenuto sia salvato nel database di google usa questo tag:
Codice:
Perfavore,
Entra
oppure
Registrati
per vedere i codici!
Un altra altrenativa alla procedura si sopra è quella di comunicare in modo mirato con lo spider di google o altro agente. Questo consentirà agli atlri motori di archiviare i dati ma non a google.
Codice:
Perfavore,
Entra
oppure
Registrati
per vedere i codici!
Spesso si incontra sulle home page dei siti il Google tag. E' un piccolo tag inutile, che secondo alcuni aiuta Google ad incidizzare un sito. Appare di solito nella sintassi (meta name="googlebot" content="index,follow"). Alcuni webmaster ritengono che indicando il "googlebot" il loro sito sarà indicizzato in modo più veloce. Ma secondo le informazioni ufficiali di Google questo tag non è utilizzato dal loro spider, potrai quindi usare i tag noindex, nofollow, o noarchive quando NON vuoi che google indicizzi, segua i link o archivi le tue pagine. Per il resto, l'impostazione di default di Google è quello di indicizzare, seguire i link e archiviare tutto che non sia altrimenti specificato.
Un altro tag strano il "Revisit-After"
(meta name="revisit-after" content="90 days")
(meta name="revisit-after" content="15 days")
Anche questo è uno dei tag apparsi probabilmente dai webmaster stessi più che dai progettisti dei motori di ricerca. E non crederai mica che uno spider abbia il bisogno che gli si dica quando tornare? La maggior parte dei siti non ha mai usato questo tag e pure sono indicizzati con cadenza regolare. Ma se vuoi usalo. Evita solo di inseire periodi troppo brevi. Chiedere di tornare ogni due giorni sul tuo sito forse è troppo anche per uno spider.