{"id":1217,"date":"2018-12-17T11:00:50","date_gmt":"2018-12-17T10:00:50","guid":{"rendered":"https:\/\/www.eugigufo.net\/it\/?page_id=1217"},"modified":"2024-10-01T13:58:26","modified_gmt":"2024-10-01T11:58:26","slug":"paragrafo15","status":"publish","type":"page","link":"https:\/\/eugigufo.net\/it\/inerario\/paragrafo15\/","title":{"rendered":"\u00a7\u00a015. Come creare un\u00a0buon robots.txt per WordPress"},"content":{"rendered":"

Come ben sanno molti di voi, un file robots.txt di qualità ha una notevole importanza per la popolarità della maggioranza dei siti web. Nel paragrafo precedente<\/a> abbiamo visto i principi generali per la creazione di un buon robots.txt.
\nMolti di voi sanno però altrettanto bene che un sito web basato su un CMS ci aggiunge delle difficoltà in più nella creazione del robots.txt realmente efficiente. Le difficoltà consistono nel dover vietare l’indicizzazione di una molteplicità di pagine generate automaticamente dal CMS (nel nostro specifico caso il WordPress) che ripetono i contenuti delle pagine originali create dagli amministratori del sito. Si tratta quindi delle pagine-doppioni sulle quali i contenuti vengono richiamati e visualizzati perché selezionati per categoria, tag, data, anno, mese etc. Eliminando tutti i doppioni dai risultati di ricerca sui «motori» (Google e altri) facciamo aumentare l’affidabilità del sito e la quantità delle visite alle sue pagine originali.
\nInoltre, per motivi di sicurezza conviene eliminare dai risultati di ricerca tutte le pagine che riguardano l’amministrazione del nostro sito.
\nVediamo subito un esempio pratico di un file robots.txt scritto appositamente per un sito costruito su WordPress. Ecco il suo testo minimo indispensabile (l’unica cosa che dovrete necessariamente cambiare è l’indirizzo del sito all’ultima riga):<\/p>\n

\nUser-agent: * # la direttiva per i robots diversi da quelli di Google e Yandex\nDisallow: \/cgi-bin # una directory del vostro spazio web\nDisallow: \/? # tutti i parametri della ricerca sulla home\nDisallow: \/wp- # tutti i file di WP: \/wp-json\/, \/wp-includes, \/wp-content\/plugins\nDisallow: \/wp\/ # nel caso della eventuale esistenza del sottocatalogo \/wp\/ dove e installata la CMS\nDisallow: *?s= # ricerca\nDisallow: *&s= # ricerca\nDisallow: \/search\/ # risultati ricerca\nDisallow: \/author\/ # archivio autori\nDisallow: \/users\/ # archivio autori\nDisallow: *\/trackback # tutti i trackback nei commenti\nDisallow: *\/feed # tutti i feed\nDisallow: *\/rss # i feed via rss\nDisallow: *\/embed # tutti gli elementi incorporati\nDisallow: *\/wlwmanifest.xml # il file xml del Windows Live Writer (se non lo utilizzate, eliminate la direttiva)\nDisallow: \/xmlrpc.php # il file  WordPress API\nDisallow: *utm= # i link con i parametri utm\nDisallow: *openstat= # i link con i parametri openstat\nAllow: *\/uploads # la directory con i file uploads\n\nUser-agent: GoogleBot # la direttiva per Google (evito di ripetere i commenti identici)\nDisallow: \/cgi-bin\nDisallow: \/?\nDisallow: \/wp-\nDisallow: \/wp\/\nDisallow: *?s=\nDisallow: *&s=\nDisallow: \/search\/\nDisallow: \/author\/\nDisallow: \/users\/\nDisallow: *\/trackback\nDisallow: *\/feed\nDisallow: *\/rss\nDisallow: *\/embed\nDisallow: *\/wlwmanifest.xml\nDisallow: \/xmlrpc.php\nDisallow: *utm=\nDisallow: *openstat=\nAllow: *\/uploads\nAllow: \/*\/*.js # gli script js dentro alla \/wp- (\/*\/ \u2014 per la priorita)\nAllow: \/*\/*.css # i file css dentro alla \/wp- (\/*\/ \u2014 per la priorita)\nAllow: \/wp-*.png # le immagini nei plugin, cartella cache etc\nAllow: \/wp-*.jpg # le immagini nei plugin, cartella cache etc\nAllow: \/wp-*.jpeg # le immagini nei plugin, cartella cache etc\nAllow: \/wp-*.gif # le immagini nei plugin, cartella cache etc\nAllow: \/wp-admin\/admin-ajax.php # utilizzata dai plugin per non bloccare JS e CSS\n\nUser-agent: Yandex # la direttiva per Yandex.ru (non ripeto i commenti in quanto sarebbero uguali ai precedenti)\nDisallow: \/cgi-bin\nDisallow: \/?\nDisallow: \/wp-\nDisallow: \/wp\/\nDisallow: *?s=\nDisallow: *&s=\nDisallow: \/search\/\nDisallow: \/author\/\nDisallow: \/users\/\nDisallow: *\/trackback\nDisallow: *\/feed\nDisallow: *\/rss\nDisallow: *\/embed\nDisallow: *\/wlwmanifest.xml\nDisallow: \/xmlrpc.php\nAllow: *\/uploads\nAllow: \/*\/*.js\nAllow: \/*\/*.css\nAllow: \/wp-*.png\nAllow: \/wp-*.jpg\nAllow: \/wp-*.jpeg\nAllow: \/wp-*.gif\nAllow: \/wp-admin\/admin-ajax.php\n\n# Non dimenticatevi di indicare il file Sitemap (senza indicarlo per ogni User-agent\nSitemap: http:\/\/nomesito.it\/sitemap.xml\n<\/pre>\n
\nCome potete vedere, il significato di ogni direttiva è spiegato dal relativo commento (come ben sapete, nei file robots.txt i commenti iniziano con il simbolo #).
\nAlla fine della lista di istruzioni per ogni User-agent potete eventualmente aggiungere tutte le direttive che ritenete necessarie secondo le vostre esigenze. Infatti, una volta dichiarate tutte le istruzioni rese necessarie dalle particolarità tecniche del WordPress, si passa a stabilire le regole — questa volta sulla indicizzazione o non delle pagine del sito — di carattere più ampio già descritte nel paragrafo precedente.
\nInoltre, come ho già scritto, è consigliato non far indicizzare le pagine-doppioni, quali gli archivi (creati secondo vari possibili criteri) e i raggruppamenti per categorie e tag. A tal fine dobbiamo aggiungere nell’esempio appena riportato le seguenti righe:<\/p>\n
\nDisallow: \/tag # le pagine dei tag\nDisallow: \/category # le pagine delle categorie\nDisallow: \/archive # lepagine degli archivi\n<\/pre>\n
\nPotete metterle in ogni blocco User-agent dopo la riga Disallow: \/users\/
\nA questo punto mi restano da aggiungere solo tre precisazioni:
\n1. Il percorso della mappa del sito (Sitemap) va indicato solo una volta in tutto il file robots.txt.
\n2. A causa della evoluzione dei meccanismi di Google e altri «motori» di ricerca, non ha più senso vietare l’indicizzazione delle cartelle wp-content, cache, plugins e themes. Ma anche se lo fate, non succede nulla di grave.
\n3. Evitate di inventare delle regole particolari troppo strane. Per esempio, la direttiva Disallow: \/10 nasconderà non solo i vari archivi con le date, ma anche gli articoli con i nomi del tipo «10 consigli su come conquistare le ragazze cinesi» (se l’URL è stato generato dal nome dell’articolo).
\nEcco, ora penso di avervi fornito tutte le informazioni essenziali.
\nP.S.: ovviamente, il file robots.txt deve essere caricato nella root.<\/p>\n","protected":false},"excerpt":{"rendered":"
Il paragrafo dell\u2019\u201cInerario\u201d che spiega come va fatto un buon file robots.txt per i siti costruiti con il WordPress.
\nQuesto paragrafo potrebbe essere utile ai web developers e agli addetti al SEO.<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":452,"menu_order":15,"comment_status":"open","ping_status":"closed","template":"inerarioart.php","meta":{"footnotes":""},"class_list":["post-1217","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/pages\/1217","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/comments?post=1217"}],"version-history":[{"count":0,"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/pages\/1217\/revisions"}],"up":[{"embeddable":true,"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/pages\/452"}],"wp:attachment":[{"href":"https:\/\/eugigufo.net\/it\/wp-json\/wp\/v2\/media?parent=1217"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}