Venerdì 30 ottobre OpenAI, Google, Microsoft e Anthropic, le aziende che sviluppano ChatGPT, Gemini, Copilot e Claude, hanno annunciato che rispetteranno una stessa indicazione con cui i siti internet potranno chiedere di non essere usati per addestrare i modelli di intelligenza artificiale. Addestrare un modello significa insegnargli a scrivere e a rispondere a partire da grandi quantità di testi. L'indicazione è una riga del robots.txt, il file di testo con cui da più di trent'anni i siti dicono ai programmi automatici che li visitano quali pagine possono leggere.
Finora un sito che voleva sottrarsi all'addestramento doveva nominare nel file, uno per uno, i programmi di ciascuna azienda (GPTBot per OpenAI, ClaudeBot per Anthropic, Google-Extended per Google), e tenere l'elenco aggiornato ogni volta che ne arrivava uno nuovo. Con Microsoft serviva invece un'etichetta in ogni pagina, che valeva anche per le risposte di Copilot. La nuova riga semplificherà molto questo lavoro, ma non avrà lo stesso effetto con tutte le aziende: con Google, a differenza delle altre, toglierà il sito anche dalle risposte di Gemini.
Come funziona la riga comune nel robots.txt #
La proposta è stata presentata a un gruppo di lavoro dell'Internet Engineering Task Force (IETF), l'organizzazione che scrive gli standard tecnici di internet, che da oltre un anno discute come i siti possano dichiarare le loro scelte sull'uso dei contenuti da parte delle AI. Il testo è di Kevin Kelley, un dipendente di Anthropic, che lo ha presentato al gruppo con un messaggio il giorno dell'annuncio. Per ora è una bozza firmata da una persona sola, non uno standard approvato.
La riga sfrutta le regole che il robots.txt ha già. Nel file ogni regola comincia con il nome
del programma a cui si rivolge, e la riga comune nomina un destinatario che non esiste,
__usage_ai-training, con due trattini bassi in testa perché nessuno lo scambi per un
programma vero. La riga che la segue dice dove vale il rifiuto: su tutto il sito, oppure
soltanto su una cartella, per esempio quella degli articoli. In questo modo i programmi che
non la conoscono la saltano, come fanno con qualsiasi nome che non li riguarda,
e il resto del file continua a funzionare come prima.
L'indicazione è comunque una richiesta, non un blocco: un programma che non la rispetta può leggere il sito come prima. Vale per i testi raccolti mentre è nel file, e non toglie niente da quello che i modelli hanno già imparato. Una regola rivolta a tutti i programmi, invece, non vale come rifiuto: finché non aggiunge la nuova riga, un sito non ha detto né sì né no all'addestramento.
Perché con Google la riga toglie il sito web anche dalle risposte di Gemini #
La differenza fra le aziende dipende da cosa intendono per addestramento. Google ha spiegato che leggerà la riga comune come se il sito avesse rifiutato Google-Extended, il nome con cui già oggi si dice di no alle sue AI. Google-Extended però non riguarda solo l'addestramento: nella documentazione di Google vale anche per le risposte di Gemini costruite sulle pagine del web (in inglese grounding), quelle che citano un sito con un link. Un sito che la aggiunge, quindi, non sarà più citato nemmeno in quelle risposte.
L'annuncio di Google lo ammette solo indirettamente, quando scrive che i siti che autorizzano Google-Extended in modo esplicito «possono apparire nelle risposte e ricevere clic» dalle app di Gemini. Per restare nelle risposte di Gemini, un sito con la nuova riga dovrà aggiungere una regola che autorizzi Google-Extended, e con quella regola acconsentirà anche all'addestramento dei modelli di Google: con Google l'addestramento e le citazioni si accettano o si rifiutano insieme.
Microsoft ha fatto una scelta diversa e separerà addestramento e citazioni. La riga varrà solo per l'addestramento. Per le risposte di Copilot e di Bing, il motore di ricerca di Microsoft, servirà un'altra indicazione in ogni pagina, così che un sito possa negare i suoi testi all'addestramento e restare fra le fonti di Copilot. Anche OpenAI e Anthropic tengono separati i due usi, perché la ricerca di ChatGPT e quella di Claude si affidano a programmi diversi da quelli che raccolgono testi per l'addestramento.
La nuova riga, invece, non toccherà i risultati di ricerca di Google e Bing. Google ha scritto che Google-Extended non incide sulla presenza di un sito né sulla sua posizione, e Microsoft che le nuove indicazioni non cambiano la presenza nei risultati di Bing, aggiungendo però che nessuna scelta «garantisce inclusione, traffico o pagamenti». L'articolo su cosa rischia chi blocca i bot AI racconta quanto possa costare sparire dalle risposte dei chatbot.
Da quando le aziende leggeranno la nuova riga #
Per ora nessuna delle quattro aziende ha detto di leggerla già. Microsoft è l'unica ad aver dato una data, il 1° febbraio 2027; Google parla dell'inizio del 2027 e OpenAI dei «prossimi mesi», mentre Anthropic, ha scritto Kelley, ha cominciato a lavorarci. Le aziende si sono quindi impegnate a rispettare una bozza prima che diventi uno standard. Google ha ricordato che il codice di buone pratiche europeo sui modelli di AI per finalità generali indica il robots.txt come uno dei modi principali con cui un sito dichiara le sue scelte.
Non è chiaro se aderiranno altre aziende che addestrano modelli, come Apple o Meta, la società di Facebook e Instagram. Per i siti, intanto, cambia poco fino al 2027: le regole già scritte per GPTBot, ClaudeBot o Google-Extended continueranno a valere anche dopo, come hanno precisato OpenAI, Google e Anthropic.
Cosa controllare nel robots.txt del tuo sito web #
Per aprire il file nel browser, come una pagina qualsiasi, aggiungi /robots.txt
all'indirizzo del sito: tuosito.it/robots.txt. Se trovi Disallow: / sotto GPTBot o
ClaudeBot, il sito rifiuta già l'addestramento a OpenAI o ad Anthropic. Se lo trovi sotto
Google-Extended, il sito è già fuori dalle risposte di Gemini.
Se decidi di rifiutare l'addestramento, le due righe della nuova indicazione vanno aggiunte
in fondo al file, dopo tutte quelle che ci sono già. Prendi per esempio un robots.txt che
chiede a tutti i programmi di non leggere la cartella dell'area riservata, /admin/:
User-Agent: *
Disallow: /admin/
L'asterisco vuol dire "tutti i programmi", e la riga sotto indica la cartella da non leggere. Con le due righe nuove in fondo, il file diventa così:
User-Agent: *
Disallow: /admin/
User-Agent: __usage_ai-training
Disallow: /
Tutti i programmi continuano a leggere il sito, tranne l'area riservata. Il Disallow: /,
che vieta l'intero sito, riguarda soltanto l'addestramento.
L'errore da evitare è incollare le due righe in testa al file, subito sotto
User-Agent: *:
User-Agent: *
User-Agent: __usage_ai-training
Disallow: /
Disallow: /admin/
Due righe User-Agent una sotto l'altra formano un gruppo solo, come stabilisce lo
standard del file, e le righe
Disallow che seguono valgono per tutto il gruppo. Il gruppo resta uno anche se fra le due
righe User-Agent lasci una riga vuota. Il divieto pensato per l'addestramento vale quindi anche per
l'asterisco, cioè per tutti i programmi. Fra questi c'è quello con cui Google cerca le
pagine da mostrare nei risultati di ricerca, e con il file sbagliato smette di leggerle.
Due strumenti che interpretano il robots.txt danno lo stesso risultato.
Prima di toccare il file, queste sono le domande da girare a chi gestisce il sito:
- A quali aziende il nostro robots.txt nega già l'addestramento?
- Vogliamo restare nelle risposte di Gemini? Se sì, con la nuova riga serve anche una regola che autorizzi Google-Extended, e quindi l'addestramento di Google.
- Usiamo le etichette NoArchive o NoCache per tenere il sito fuori da Copilot? Quando Microsoft troverà la nuova riga, dal 1° febbraio 2027, smetterà di leggerle, e il sito tornerà nelle risposte di Copilot se non ha la nuova indicazione in ogni pagina.
- Cloudflare aggiunge righe al nostro robots.txt? Cloudflare, l'azienda che protegge molti siti dagli attacchi, può mettere le sue regole sui bot in testa al file, come racconta l'articolo sui bot AI: la nuova riga va comunque in fondo, dopo tutte le altre.
Se vuoi capire cosa conviene al tuo sito, puoi scrivermi: guardo il file con te e ti dico cosa cambierà con ciascuna azienda.
Domande frequenti #
Come si blocca l'addestramento delle AI con il robots.txt? #
Aggiungi in fondo al file robots.txt, dopo le regole esistenti, la riga comune annunciata da
OpenAI, Google, Microsoft e Anthropic, seguita da Disallow: /. È una richiesta e non un
blocco: le quattro aziende si sono impegnate a rispettarla, Microsoft dal 1° febbraio 2027 e
Google dall'inizio del 2027. Le regole già scritte per i programmi delle singole aziende
continuano a valere.
Rifiutare l'addestramento delle AI toglie il sito da Google? #
No. La riga non tocca la presenza nei risultati di ricerca di Google o di Bing. Con Google però toglierà il sito dalle risposte di Gemini, a meno che il file non dia il permesso alle AI di Google in modo esplicito.
Posso rifiutare l'addestramento e restare nelle risposte di ChatGPT e Copilot? #
Sì. OpenAI cerca le pagine per ChatGPT con un programma diverso da quello che raccoglie i testi per l'addestramento, e Microsoft prevede per le risposte di Copilot un'indicazione a parte, da inserire in ogni pagina. Con Google invece addestramento e risposte di Gemini dipendono dalla stessa regola.
La riga comune cancella i testi già usati per addestrare i modelli? #
No. Vale per i testi che le aziende raccolgono mentre la riga è nel file, e non toglie niente da quello che i modelli hanno già imparato.
Da quando le aziende rispetteranno la riga del robots.txt contro l'addestramento? #
Microsoft ha indicato il 1° febbraio 2027 e Google l'inizio del 2027. OpenAI parla dei prossimi mesi, e Anthropic ha cominciato a lavorarci senza dare una data.
