Robots.txt su WordPress: Come crearlo al meglio

Configurare il robots.txt su wordpress può essere utilissimo se vuoi iniziare il tuo viaggio nel mondo dell’ottimizzazione dei motori di ricerca, definita anche come Seo, vediamo insieme come configurarlo e caricarlo sul nostro sito wordpress. Partiamo definendo, secondo wikipedia, cosa sia il robots.txt:

“Il protocollo di esclusione robot (in inglese Robots Exclusion Standard) indica, nel gergo di internet e più in generale del web, le regole indicate dai gestori di un sito web ai crawler che lo visitano, chiedendo di applicare restrizioni di analisi sulle pagine del sito. Esse sono contenute nel file robots.txt, ideato nel giugno 1994 con il consenso dei membri della robots mailing list (robots-request@nexor.co.uk). In questo momento non esiste un vero e proprio standard per il protocollo robots.”

Come possiamo notare dalla descrizione presente in wikipedia il file robots.txt è un file che viene utilizzato per indicare ai bot (i crawler di Google e altri motori di ricerca sono dei software che si occupano di scansionare le pagine web) dei motori di ricerca quali sono i file e i contenuti da analizzare.

Come creare un file Robots.txt

Creare un file robots.txt non è complesso, per farlo ti basterà usare notepad ++, o un qualsiasi editor di testo, e imparare il lessico dei robots, nulla di troppo complicato. Vediamo insieme un file basilare di robots.txt, il più semplice e funzionale che si possa utilizzare su WordPress.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
  • User-agent: con questa regola stiamo comunicando ai robot di Google, i crawler prima citati. Nel mondo del web ce ne sono moltissimi, la maggior parte dei motori di ricerca ne ha molteplici, ma tutti, più o meno, seguono le stesse logiche dichiarate in questo file. I bot presenti nel mondo del web sono tanti, Google, ad esempio, dispone di un Googlebot per la ricerca di articoli e news, ma anche di un Googlebot che si occupa dell’indicizzazione delle sole immagini.
    Nel nostro esempio stiamo comunicando a tutti i bot senza fare differenze.
  • Disallow: Con questa stringa stiamo dicendo ai bot di non analizzare la pagina corrispondente al link o alla cartella che abbiamo inserito. Nel nostro esempio stiamo dicendo ai bot di non scannerizzare tutto quello che è presente sotto la voce “wp-admin”. Se lasciassimo il campo vuoto dichiareremo al bot di scannerizzare tutto il sito, usando il segno “/” vieteremo al robot l’analisi di tutto il sito (cosa sbagliatissima nel caso volessimo apparire nei motori di ricerca).Esempi:
    User-Agent: *
    Disallow:
    

    I bot scannerizzeranno tutto il sito.

    User-Agent: *
    Disallow: /
    

    Con questo robots.txt negheremo ai bot l’accesso al sito.

  • Allow: Con questo comando indichiamo ai bot che possono analizzare una pagina o una sotto-cartella, nonostante la cartella padre non sia resa disponibile all’analisi. Nel nostro caso stiamo dicendo di poter accedere al file admin-ajax.php nonostante gli abbiamo richiesto di non indicizzare la cartella wp-admin (che è quella in cui risiede il nostro file).

I file robots.txt sono tutti file pubblici, potrai quindi leggere quelli dei siti più famosi e vedere come hanno settato il loro robots.txt per poter migliorare la tua configurazione, per farlo ti basterà digitare dopo il dominio “/robots.txt”.

Per un risultato ancora maggiore per l’ottimizzazione seo consiglio di inserire la sitemap all’interno del vostro file robots.txt su wordpress, per farlo basterà scrivere Sitemap: vosrtosito.it/nomesitemap.xml

Un file completo che possa essere utile per il vostro sito wordpress è il seguente:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.nomesito.it/sitemap_index.xml

Come configurare il Robots.txt su wordpress con Yoast Seo

Uno dei modi più facili e veloci per configurare il Robots.txt è quello di usare il plugin di wordpress Yoast Seo. Una volta effettuato l’accesso al pannello di WordPress recati nelle impostazioni di Yoast e clicca sulla voce Strumenti. Sulla pagina che ti si compare davanti clicca su File Editor.

file editor yoast seoAdesso avrai di fronte due fogli di testo, uno relativo all’htaccess, che non useremo in questa occasione, ed un relativo al robots.txt, proprio quello che ci serve in questo momento. Adesso non dovrai far altro che compilare il file robots.txt su wordpress e salvare le modifiche apportate.

robots txt yoast seoSe non sapete come configurare il vostro robots.txt potete usare la versione basilare scritta poco sopra, utile nella maggior parte delle evenienze.

N.B. nelle ultime versioni Yoast ha eliminato questa funzione, purtroppo dovrete usare forzatamente la prossima.

Come configurare il Robots.txt su wordpress con Filezilla

Per caricare il file robots.txt sul nostro server con l’ausilio di Filezilla ci basterà creare il file con un editor di testo, scrivere il robots.txt secondo le nostre esigenze, potete usare anche quello che trovate sopra, e salvare sul desktop del nostro pc.

Ora non dovremo far altro che scaricare Filezilla e connetterci al nostro server, una volta fatto questo procedimento dovrete inserire il file robots.txt nella root del vostro sito (la root del sito è la cartella principale, quella dove ci sono tutti i file di installazione di wordpress e le cartelle come wp-content, wp-admin e wp-includes) trascinando il file dalla finestra sinistra (il vostro pc) alla finestra di destra (il vostro server).

Robots.txt con FTP
N.B. Se non sapete cosa sia Filezilla e come collegarvi al vostro server seguite la guida scritta qui: WordPress FTP.

Il gioco è fatto, con questa piccola operazioni adesso anche i bot dei motori di ricerca ameranno il vostro sito!

Come testare e visionare il vostro file Robots.txt

Se volete testare la qualità e la bontà del file che avete appena creato vi consiglio un tool molto semplice e veloce Robots.txt Tester vi permette di testare il vostro file semplicemente incollando l’url completo nell’apposito campo.

Cosi potrete scoprire velocemente possibili errori di scrittura, di logica o di sintassi che impediscono al vostro file di funzionare a dovere. Testa subito il tuo file con questo tool!

, ,