“Il meta tag robots consente di controllare in maniera granulare a livello di pagina il modo in cui una singola pagina deve essere indicizzata e mostrata agli utenti nei risultati della Ricerca Google”. (da Specifiche relative al meta tag Robots)

John Mueller di Google ha risposto a una domanda su Reddit riguardante il meta tag Robots comunemente utilizzato e su cosa accadrebbe se mancasse.

La risposta di Mueller, anche se ha senso ed è documentata, potrebbe ancora sorprendere molti editori e consulentiSEO.

Meta tag Robots

Un meta tag robots è un codice HTML che indica ai robot dei motori di ricerca come eseguire la scansione, indicizzare e visualizzare il contenuto di una pagina.

L’elemento meta HTML comunica i metadati. I metadati sono informazioni che un crawler come Googlebot può leggere.

Esistono molti tipi di metaelementi come l’elemento “meta description”, ma l’elemento Meta Robots è diverso in quanto può controllare i crawler dei motori di ricerca.

Le informazioni comunicate dal meta tag robots sono delle direttive, il che significa che i robot crawler sono obbligati ad obbedire alle istruzioni contenute.

Ci sono molte indicazioni da seguire attraverso il meta robots, ma il seguente meta tag è rilevante per la domanda a cui ha risposto John Mueller.

Il meta tag noindex, no follow:

<meta name="robots" content="noindex, nofollow">

Il meta tag sopra indica ai crawler dei motori di ricerca di non indicizzare il contenuto della pagina web e di non seguire alcun collegamento.

Uno dei meta tag più comuni è questo, che comanda ai motori di ricerca di indicizzare il contenuto e seguire tutti i link:

<meta name="robots" content="index, follow">

Sebbene il meta tag sopra sia comune, vi sono numerosi malintesi al riguardo. C’è una linea di ragionamento secondo cui, poiché Google supporta nofollow, deve implicare che Google supporti la direttiva follow.

Ho trovato numerosi siti autorevoli che affermano che Google utilizzi il meta tag robots index, follow. In realtà non è così che Google utilizza queste direttive, come chiarisce John Mueller nella sua risposta.

Qual è l’effetto di tralasciare il tag index?

La persona su Reddit ha posto la seguente domanda:

“Sono un po’ confuso con un sito web su cui sto lavorando. Ecco come appaiono i meta snippet sulla maggior parte dei siti web su cui lavoro: <meta name='robots' content='index, follow ….

Ma sul sito web in questione manca il tag ‘index’.

La mia domanda è: qual è l’effetto del fatto che nel sito manchi il tag ‘index’.”

John Mueller ha risposto:

“Il meta tag ‘index’ robots non ha alcuna funzione (almeno su Google) – è completamente ignorato. Anche ‘follow’.

Google documenta in queste pagine i meta tag che hanno funizioni: https://developers.google.com/search/docs/crawling-indexing/special-tags e https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag per documentare i meta tag che hanno funzioni.

Puoi usare qualsiasi altra cosa, verrà ignorata. E’ un’opzione, se vuoi depistare la gente.”

Perché Google ignora l’index e il follow dei robot?

Il semplice motivo per cui Google ignora l’index dei robot e il meta tag follow è perché index e follow sono le impostazioni predefinite.

Indicizzare e seguire i collegamenti è ciò che fanno i robot dei motori di ricerca, non è necessario che gli venga detto di indicizzare il contenuto e seguire i collegamenti perché questo è il loro scopo.

La documentazione di Google sui tag robot consiglia:

“I valori predefiniti sono index, follow e non è necessario specificarli.”

L’elenco completo delle direttive valide per Google è qui: Regole di indicizzazione e pubblicazione valide.

Se il meta robot che desideri utilizzare non è elencato lì, Googlebot lo ignorerà”.

Index, Follow sono completamente inutili?

Quando si tratta di Googlebot, è uno spreco di spazio HTML. È documentato e ufficiale.

Bing tratta l’index, follow in modo simile, ma con una leggera differenza, come descritto nella documentazione ufficiale di Bing per i meta tag.

Questo è ciò che dice la documentazione di Bing sulla direttiva ‘index‘:

“Per impostazione predefinita assumiamo”index”, ma se necessario puoi utilizzarlo per dichiarare esplicitamente che possiamo indicizzare la pagina.”

E questo è ciò che dice della direttiva ‘follow‘:

“Per impostazione predefinita assumiamo “follow”, ma puoi dichiarare esplicitamente “follow” se lo desideri.”

Nei miei 15 anni di lavoro nel campo della SEO, creando siti web, ottimizzandoli e classificandoli, ho sempre considerato una buona politica dare ai bot ciò che si aspettano e cercare di non dare loro nulla di inaspettato.

Quindi, se una meta istruzione non è necessaria, il mio impulso sarebbe quello di tralasciarla perché lo scopo dell’ottimizzazione è rendere il più semplice possibile per i motori di ricerca l’indicizzazione e la comprensione del contenuto, il che significa eliminare tutto ciò che potrebbe funzionare contro quell’obiettivo.

In questo caso, è molto probabile che non avrà alcun effetto in un modo o nell’altro.

Tutto normale direte voi, peccato che a creare confusione siano alcuni editori che utilizzano questo meta tag robots:

<meta name="robots" content="noindex, follow">

Alcuni siti avvisano che se la pagina non è indicizzata, l’uso della direttiva “follow” obbliga il motore di ricerca a seguire i collegamenti.

Questo non è vero se esiste una direttiva “noindex” per il semplice motivo che Google non può seguire un collegamento su una pagina che non è indicizzata. Se non è nell’indice, i collegamenti su quelle pagine non sono nell’indice.

(Potrebbe interessarti: “Google Maps: più privacy sugli spostamenti. Quale l’impatto sul marketing?”)

Fonti articolo:
searchenginejournal.com/google-explains-the-index-follow-meta-tag/
reddit.com/r/TechSEO/comments/1944d8k/questions_about_index_tag/?rdt=54457
developers.google.com
semrush.com

Fonte immagini: Freepik con licenza