{"id":1202,"date":"2018-12-10T11:00:57","date_gmt":"2018-12-10T10:00:57","guid":{"rendered":"https:\/\/www.eugigufo.net\/it\/?page_id=1202"},"modified":"2024-10-01T13:58:26","modified_gmt":"2024-10-01T11:58:26","slug":"paragrafo14","status":"publish","type":"page","link":"https:\/\/eugigufo.net\/it\/inerario\/paragrafo14\/","title":{"rendered":"\u00a7\u00a014. Come creare un\u00a0buon robots.txt"},"content":{"rendered":"

[Visualizza l’indice<\/a>]<\/p>\n

1. Come creare un file robots.txt<\/a>
\n2. Qual è il contenuto minimo del file robots.txt<\/a>
\n3. Le impostazioni corrette del file robots.txt<\/a>
\n4. La sintassi del file robots.txt<\/a>
\n5. Come verificare il funzionamento del file robots.txt<\/a>
\n6. È meglio un robots.txt generico o dedicato?<\/a>
\n7. La direttiva Disallow vista in dettaglio<\/a>
\n8. La direttiva Allow vista in dettaglio<\/a>
\n9. Le direttive Allow e Disallow con i parametri di valore vuoto<\/a>
\n10. La direttiva sitemap<\/a>
\n11. La direttiva Clean-param<\/a>
\n12. La direttiva Crawl-delay<\/a>
\n13. I commenti nel file robots.txt<\/a>
\n14. L’esempio di un file robots.txt completo<\/a><\/div>\n

\nDiamo pure per scontato che tutti sappiano che cosa sia un file robots.txt (in sostanza, regola la comparsa o meno delle pagine del sito tra i risultati di ricerca sui cosiddetti «motori» di ricerca) e perché è importante farlo bene (per escludere dai risultati di ricerca le pagine tecniche e quelle con i contenuti privati e\/o non significanti, migliorando il posizionamento di quelle importanti).
\nL’obbiettivo del presente paragrafo è fornire alcuni consigli sulla creazione di un file robots.txt realmente efficace. Evitiamo le lungaggini manualistiche e andiamo per punti.<\/p>\n

<\/a>1. Come creare un file robots.txt<\/b>
\nApriamo un qualsiasi editor di testo (gli utenti di Windows si troveranno benissimo con il Blocco note presente su tutti i computer) e salviamo un file vuoto con il nome robots e l’estensione .txt (infatti, è un semplice file di testo, non uno script).<\/p>\n

Attenzione: al 99,99% il vostro sito ha già questo file (si trova nella root, quindi il suo indirizzo è nomesito.it\/robots.txt). Seguendo i consigli di questo paragrafo potete modificarlo o sostituirlo con la vostra versione.<\/p><\/blockquote>\n

\nI più pigri possono utilizzare uno dei numerosissimi servizi online per generare un file robots.txt in automatico. Allo stesso tempo bisogna ricordare che il file creato manualmente rispecchierà in modo più preciso le vostre preferenze circa il rapporto del sito con i motori di ricerca. L’interpretazione del file generato online e la sua correzione, invece, possono portare alle sviste tragiche per il vostro successo su internet. In ogni caso, il file robots.txt può essere aggiornato e perfezionato manualmente in qualsiasi momento.<\/p>\n

<\/a>2. Qual è il contenuto minimo del file robots.txt<\/b>
\nIl contenuto minimo indispensabile di un file robots.txt è quello che autorizza l’indicizzazione del 100% del sito. Questo significa che tutti i file caricati – anche quelli non utilizzati sulle pagine del sito – potranno uscire tra i risultati delle ricerche.
\nTale contenuto minimo è:<\/p>\n

\nUser-agent: *\nAllow: \/\n<\/pre>\n
\nSe, invece, volessimo vietare l’indicizzazione dell’intero sito, il contenuto minimo del file robots.txt diventa questo:<\/p>\n
\nUser-agent: *\nDisallow: \/\n<\/pre>\n
<\/a>3. Le impostazioni corrette del file robots.txt<\/b>
\nLa prima cosa che dobbiamo sapere del file robots.txt è: le istruzioni in esso contenute sono solo delle istruzioni e non delle barriere insuperabili. I meccanismi – robots – dei motori di ricerca di qualità (come, per esempio, Google o Yandex) seguono fedelmente le istruzioni contenute nei file robots.txt, mentre gli altri potrebbero anche ignorarle.
\nMa questo non significa che non dobbiamo impegnarci. Dobbiamo dunque comprendere bene le regole, la sintassi e le direttive del file robots.txt.
\nUn buon file robots.txt inizia con la direttiva User-agent che indica al quale robot sono rivolte le direttive elencate nelle righe che la seguono.
\nGli esempi del User-agent nel file robots.txt:<\/p>\n
\n# Indica le direttive a tutti i robot contemporaneamente\nUser-agent: *\n\n# Indica le direttive a tutti i robot del Google\nUser-agent: Googlebot\n\n# Indica le direttive a tutti i robot del Yandex\nUser-agent: Yandex\n\n# Indica le direttive solo al robot principale del Yandex\nUser-agent: YandexBot\n<\/pre>\n
\nDel codice appena riportato è importantissimo capire due cose. In primo luogo, vediamo che in un file robots.txt possono essere indicati più User-agent (uno generico e uno per ogni «motore» di ricerca al quale vogliamo dare delle istruzioni). In secondo luogo, vediamo che a ogni «motore» di ricerca vengono fornite solo le istruzioni elencate per il User-agent con il suo nome (quindi potremmo anche dare istruzioni diverse ai «motori» diversi).
\nFacciamo un esempio pratico:<\/p>\n
\n# Sara utilizzata da tutti i robot del Google\nUser-agent: Googlebot\nDisallow: \/*utm_\n\n# Sara utilizzata da tutti i robot del Yandex\nUser-agent: Yandex\nDisallow: \/*utm_\n\n# Sara utilizzata da tutti i robot tranne quelli di Google e Yandex\nUser-agent: *\nAllow: \/*utm_\n<\/pre>\n
\nLa direttiva User-agent si limita a «richiamare l’attenzione» del rispettivo robot del «motore» di ricerca, mentre le direttive seguenti danno le istruzioni concrete da eseguire. Nell’ultimo esempio la direttiva «Disallow» (diniego) ha il valore «*utm_». In tal modo escludiamo dai risultati di ricerca tutte le pagine con i parametri UTM.
\nSempre dall’ultimo esempio possiamo imparare che nel file robots.txt le istruzioni per ogni robot (cioè gli User-agent) vanno raggruppati in blocchi divisi con una riga vuota l’uno dall’altro (è una regola obbligatoria!). Un blocco può contenere le istruzioni per un solo robot oppure le regole comuni a tutti i robot (in questo ultimo caso il valore del User-agent è «*»).
\nUn’altra cosa importante è il rispetto dell’ordine corretto delle direttive «Disallow» (diniego) e «Allow» (permesso, quindi il contrario della precedente). Facciamo subito un esempio pratico:<\/p>\n
\nUser-agent: *\nDisallow: \/blog\nAllow: \/blog\/page\n<\/pre>\n
\nNell’esempio appena riportato abbiamo negato a tutti i robot (si veda «*») l’indicizzazione (la visualizzazione tra i risultati) di tutte le pagine il cui indirizzo inizia con «\/blog» (quindi l’indirizzo nomesito.it\/blog non comparirà tra i risultati). Allo stesso tempo abbiamo consentito l’indicizzazione delle pagine i cui indirizzi iniziamo con il percorso «\/blog\/page». L’ordine di indicazione del diniego e del permesso deve essere proprio quello: vietare tutta la sezione e poi autorizzare quelle sue parti che secondo noi possono essere trovate dai terzi.
\nPrima di procedere dobbiamo vedere le nozioni essenziali sulla sintassi del file robots.txt.<\/p>\n
<\/a>4. La sintassi del file robots.txt<\/b>
\nPer creare un file robots.txt interpretabile in modo corretto dai robot di ricerca, bisogna seguire una serie di semplicissime regole:
\n1. Ogni direttiva inizia da una riga nuova;
\n2. Non iniziare una riga con uno spazio [vuoto];
\n3. Il parametro di una direttiva deve essere tutto sulla stessa riga;
\n4. I parametri delle direttive non devono essere racchiuse tra le virgolette;
\n5. I parametri delle direttive non richiedono il punto e virgola di chiusura;
\n6. Le istruzioni in un file robots.txt hanno il formato [Nome_direttiva]:[spazio_non_obbligatorio][valore][spazio_non_obbligatorio]
\n7. I commenti sono possibili nel file robots.txt, ma devono iniziare con il simbolo «#»;
\n8. Una riga vuota è considerata come il segno della fine della direttiva User-agent;
\n9. La direttiva «Disallow: » (cioè con il valore vuoto) equivale a «Allow: \/» (cioè autorizzare tutto);
\n10. Per ogni direttiva «Allow» o «Disallow» può essere indicato solo un parametro;
\n11. Il nome del file robots.txt deve contenere solo le lettere minuscole;
\n12. È fortemente consigliato di evitare le maiuscole nei nomi delle direttive (tranne la prima lettera) e nei parametri: il file robots.txt non fa la differenza tra le maiuscole e le minuscole, ma i nomi dei file e delle directory spesso sì;
\n13. Se il parametro di una direttiva è una directory, quest’ultima deve essere preceduta da uno slash «\/», per esempio: Disallow: \/category
\n14. I file robots.txt troppo pesanti (più di 32 KB) vengono interpretati come completamente permissivi, quindi equivalenti a «Disallow: » (di conseguenza, evitate di metterci delle direttive inutili, meglio averne poche ma realmente necessarie);
\n15. Il file robots.txt inaccessibile o assente viene considerato completamente permissivo;
\n16. Il file robots.txt vuoto viene considerato completamente permissivo;
\n17. Nel caso della indicazione di più direttive «User-agent» non divise tra loro da una riga vuota, solo la prima «User-agent» viene interpretata, mentre quelle seguenti andranno ignorate (l’unica eccezione è il robot del russo Yandex);
\n18. L’uso dei simboli appartenenti agli alfabeti nazionali non è ammissibile (quindi niente vocali accentate italiane).<\/p>\n
<\/a>5. Come verificare il funzionamento del file robots.txt<\/b>
\nPrima di tutto il file robots.txt va creato, salvato e caricato nella root del sito. Successivamente, accertata la sua presenza all’indirizzo nomesito.it\/robots.txt, è possibile servirsi degli strumenti di controllo disponibili su internet. Io ne indico solo due:
\n– lo strumento di controllo di Google: https:\/\/www.google.com\/webmasters\/tools\/siteoverview?hl=it<\/a>
\n– lo strumento di controllo di Yandex (molte cose si capiscono anche senza la conoscenza del russo): http:\/\/webmaster.yandex.ru\/robots.xml<\/a><\/p>\n
<\/a>6. È meglio un robots.txt generico o dedicato?<\/b>
\nLe persone esperte hanno osservato che i file robots.txt dedicati (cioè con i «User-agent: Googlebot», «User-agent: Yandex» etc anche quando i loro contenuti sono identici) funzionano meglio del solo generico «User-agent: *». Non si conosce una spiegazione razionale di questo fenomeno. Probabilmente, anche ai grossi siti piace essere chiamati per nome.<\/p>\n
<\/a>7. La direttiva Disallow vista in dettaglio<\/b>
\nDisallow è la direttiva più frequentemente utilizzata nei file robots.txt. Essa può essere utilizzata per il diniego della indicizzazione dei siti interi o delle loro parti singole (che altrimenti sarebbero indicizzati per default, senza la necessita della direttiva Allow).
\nAbbiamo già visto che il diniego della indicizzazione generica dell’intero sito va fatta nel seguente modo:<\/p>\n
\nUser-agent: *\nDisallow: \/\n<\/pre>\n
\nNei parametri della Direttiva Disallow è ammissibile l’uso dei simboli speciali «*» e «$». Vediamoli molto brevemente:
\n* – il simbolo indica un insieme illimitato di simboli di ogni genere. Così, per esempio, al parametro \/page* corrispondono \/page, \/page1, \/page-ciao-mario, \/page-che-ne-so etc. Allo stesso tempo è importante ricordare che non è necessario mettere il simbolo * alla fine di ogni parametro, ma solo quando a un inizio comune a più parametri possibili seguono, appunto, le diverse varianti. Mentre queste due direttive saranno interpretate allo stesso modo:<\/p>\n
\nUser-agent: Googlebot\nDisallow: \/page\n\nUser-agent: Googlebot\nDisallow: \/page*\n<\/pre>\n
\n$ – il simbolo indica la precisa corrispondenza del parametro alla pagina che si vuole escludere dai risultati di ricerca. Se, per esempio, volessimo negare l’indicizzazione della pagina \/page ma non delle pagine \/page, \/page1, \/page-ciao-mario, \/page-che-ne-so etc la direttiva dovrà essere fatta in questo modo:<\/p>\n
\nUser-agent: Googlebot\nDisallow: \/page$\n<\/pre>\n
<\/a>8. La direttiva Allow vista in dettaglio<\/b>
\nAllow è la direttiva permissiva, l’opposto della appena vista direttiva Disallow. La direttiva Allow funziona secondo la stessa logica e sintassi della Disallow.
\nFacciamo solo un esempio pratico. Immaginiamo di voler vietare l’indicizzazione di tutto il sito tranne quelle sue pagine i cui indirizzi iniziano con \/page.
\nEcco la direttiva:<\/p>\n
\nUser-agent: *\nDisallow: \/\nAllow: \/page\n<\/pre>\n
<\/a>9. Le direttive Allow e Disallow con i parametri di valore vuoto<\/b>
\nLa direttiva Allow senza alcun parametro vieta l’indicizzazione dell’intero sito:<\/p>\n
\nUser-agent: *\nAllow:\n<\/pre>\n
\nLo stesso fa un esempio che abbiamo già visto in precedenza:<\/p>\n
\nUser-agent: *\nDisallow: \/\n<\/pre>\n
\nLa direttiva Disallow senza alcun parametro non vieta alcunché e quindi autorizza l’indicizzazione dell’intero sito:<\/p>\n
\nUser-agent: *\nDisallow:\n<\/pre>\n
\nLo stesso fa un esempio che abbiamo visto in precedenza:<\/p>\n
\nUser-agent: *\nAllow: \/\n<\/pre>\n
<\/a>10. La direttiva sitemap<\/b>
\nLe due scuole di pensiero esistenti cercano di imporci due opinioni opposte sulla opportunità o meno di far indicizzare la mappa del sito. Il mio compito non è quello di appoggiare una delle due. Mi limito a dire che per negare l’indicizzazione dovete utilizzare la direttiva Disallow, mentre per farla indicizzare utilizzate la direttiva apposita Sitemap:<\/p>\n
\nUser-agent: *\nDisallow: \/page\nSitemap: http:\/\/www.mysite.ru\/sitemap.xml\n<\/pre>\n
<\/a>11. La direttiva Clean-param<\/b>
\nLa direttiva Clean-param permette di escludere dalla indicizzazione le pagine con i parametri dinamici. Tali pagine potrebbero avere gli URL diversi tra loro ma i contenuti identici. Pensate agli articoli raggruppati per tag, categorie e date: è abbastanza facile che su più pagine compaiano gli stessi testi. Quindi la stessa pagina potrebbe essere disponibile a più indirizzi. Molti di quei indirizzi sono dinamici e noi li escludiamo dalla indicizzazione con l’aiuto della direttiva Clean-param.
\nLa sintassi della direttiva Clean-param è:<\/p>\n
\nClean-param: parm1[&parm2&parm3&parm4&..&parmn] [Percorso]\n<\/pre>\n
\nImmaginiamo di avere una pagina con l’URL www.nomesito.it\/page.html?&parm1=1&parm2=2&parm3=3
\nQuindi nel nostro file robots.txt la direttiva Clean-param avrà questo parametro:<\/p>\n
\nClean-param: parm1&parm2&parm3 \/page.html # solo per page.html\n<\/pre>\n
\nMa, se serve, possiamo fare anche così:<\/p>\n
\nClean-param: parm1&parm2&parm3 \/ # per tutte le pagine\n<\/pre>\n
<\/a>12. La direttiva Crawl-delay<\/b>
\nLa direttiva Crawl-delay permette di ridurre il carico sul nostro server qualora i robot «visitassero» troppo spesso il nostro server. Tale direttiva è utile prevalentemente nel caso dei siti con una alta quantità delle pagine.
\nQuindi ipotizziamo di voler chiedere ai «motori» di ricerca di scaricare le pagine del nostro sito non più spesso di una volta in – per esempio – tre secondi. La direttiva sarà fatta così:<\/p>\n
\nUser-agent: Googlebot\nDisallow: \/page\nCrawl-delay: 3\n<\/pre>\n
\nOvviamente il numero dei secondi può essere cambiato.<\/p>\n
<\/a>13. I commenti nel file robots.txt<\/b>
\nNel file robots.txt i commenti devono iniziare con il simbolo «#». Tutto ciò che è scritto da quel simbolo fino al termine della riga è considerato un commento e viene dunque ignorato dai robot di ricerca.
\nVediamo un esempio pratico dei possibili modi corretti di scrivere i commenti nel file robots.txt:<\/p>\n
\nUser-agent: *\n# Il commento puo' iniziare all'inizio di una riga nuova\nDisallow: \/page # oppure essere la continuazione della riga con una direttiva\n# I robot\n# ignorano\n# i commenti\n<\/pre>\n
<\/a>14. L’esempio di un file robots.txt completo<\/b>
\nUn esempio di un file robots.txt completo è impossibile da fare. Infatti, il file deve rispecchiare le necessità concrete dell’amministratore del sito e corrispondere alla organizzazione di quest’ultimo.
\nSpero che questo paragrafo vi sia d’aiuto nella creazione di un robots.txt ottimale.<\/p>\n","protected":false},"excerpt":{"rendered":"
Il paragrafo dell\u2019\u201cInerario\u201d dedicato alla costruzione di un file robots.txt corretto e ottimale.
\nQuesto paragrafo sar\u00e0 utile agli amministratori dei siti web, ai backend developers e agli addetti al SEO.<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":452,"menu_order":14,"comment_status":"open","ping_status":"closed","template":"inerarioart.php","meta":{"footnotes":""},"class_list":["post-1202","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/pages\/1202","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/comments?post=1202"}],"version-history":[{"count":0,"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/pages\/1202\/revisions"}],"up":[{"embeddable":true,"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/pages\/452"}],"wp:attachment":[{"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/media?parent=1202"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}