Il 15 ottobre Cloudflare, l'azienda statunitense che secondo W3Techs protegge un sito web su quattro, ha pubblicato insieme a OpenAI i primi risultati di una prova cominciata a luglio. Nella prova, Cloudflare avvisa il programma di ricerca di ChatGPT quando una pagina di uno dei siti che protegge è nuova o è cambiata. La prova riguarda finora una piccola parte della rete di Cloudflare, circa l'1 per cento, e secondo le due aziende ChatGPT ha già trovato centinaia di milioni di pagine che prima non conosceva.
Per chi ha un sito la notizia conta perché ChatGPT, quando cerca sul web per rispondere a una domanda, cita e linka di solito le pagine del suo indice, cioè l'elenco di quelle che conosce. Se il programma di ricerca non arriva a una pagina, quella pagina difficilmente comparirà nelle risposte. Per questo conviene sapere, prima di tutto, se il tuo sito lo lascia entrare.
Come farsi trovare da ChatGPT: il controllo da fare sul tuo sito web #
Puoi fare da solo la verifica più utile. Quasi tutti i siti hanno un file, robots.txt, che
indica ai programmi automatici quali pagine possono leggere: aprilo scrivendo l'indirizzo del tuo
sito seguito da /robots.txt, per esempio tuosito.it/robots.txt. Poi cerca due parole,
"OAI-SearchBot" e "GPTBot", che sono i nomi dei due programmi di OpenAI.
Il primo cerca le pagine da citare e linkare nelle risposte di ChatGPT, il secondo
raccoglie testi per addestrare i modelli, e la documentazione di
OpenAI li tratta in modo separato. Se sotto
"OAI-SearchBot" c'è la riga Disallow: /, il tuo sito ha chiesto di restare fuori dalle
risposte di ricerca di ChatGPT. Se la riga è solo sotto "GPTBot", ha rifiutato
l'addestramento ma resta nella ricerca: di solito è la scelta più sensata.
Se non trovi nessuna delle due parole, cerca la riga User-agent: * seguita da
Disallow: /: significa che il sito chiude la porta a tutti i programmi, compresi quelli
di Google. Se manca anche quella, il file non ferma OpenAI. Se cambi il file, OpenAI
può impiegare circa un giorno a tenerne conto.
Le altre aziende funzionano allo stesso modo. Anthropic, che sviluppa Claude, separa Claude-SearchBot, che cerca le pagine, da ClaudeBot, che raccoglie testi per l'addestramento; Google usa la parola Google-Extended per chi non vuole che i suoi testi servano a Gemini, senza toccare la presenza nella ricerca. Se non vuoi leggere il file a mano, Citebeam, l'estensione gratuita per Chrome che ho sviluppato, fa lo stesso controllo bot per bot e ti dice cosa sistemare.
Il file però non è l'unico filtro. Se il sito è protetto da Cloudflare, anche le impostazioni di Cloudflare possono fermare i programmi delle aziende di intelligenza artificiale. Dal 15 settembre Cloudflare propone a ogni sito nuovo di lasciar entrare i programmi di ricerca. Secondo i dati di Cloudflare, meno dell'1 per cento dei siti li blocca, mentre il 17 per cento rifiuta l'addestramento. Perché convenga quasi sempre lasciar passare la ricerca lo spiega l'articolo su come bloccare i bot AI.
Come ChatGPT trova le pagine, e perché alcune restano fuori #
I motori di ricerca trovano le pagine con programmi automatici, i crawler, che leggono il web passando da un link all'altro. È un metodo lento con le pagine che pochi altri siti linkano: Cloudflare fa l'esempio del manuale di una lavatrice, dei requisiti aggiornati per il passaporto o del menu di un ristorante, pagine molto utili a chi le cerca anche se quasi nessuno le collega.
Questi programmi, poi, sprecano molto lavoro. Già a luglio Cloudflare stimava che oltre la metà delle visite dei programmi automatici considerati affidabili tornasse su pagine che non erano cambiate. La prova con OpenAI nasce da qui: invece di aspettare che il programma di ricerca di ChatGPT arrivi a una pagina per caso, è Cloudflare ad avvisarlo, perché vede passare le visite dei siti che protegge.
La prova di Cloudflare e OpenAI: cosa arriva a ChatGPT, e cosa no #
Dalle visite Cloudflare ricava dei segnali: quali pagine sono nuove o cambiate, quali non esistono più, quali rimandano sempre alla pagina principale e quali sono copie di altre. Con questi segnali il programma di OpenAI evita le pagine inutili e torna su quelle cambiate, ma è OpenAI a decidere, da sola, se una pagina merita di entrare nel suo indice.
Cloudflare non trasmette il testo delle pagine, e i suoi segnali non servono ad addestrare i modelli. Il segnale, poi, non sostituisce la visita: per leggere la pagina il programma di ricerca deve comunque andare sul sito e rispettare il file robots.txt. La documentazione di OpenAI aggiunge una sfumatura: se un sito lascia entrare sia il programma di ricerca sia quello per l'addestramento, OpenAI può usare la stessa lettura per tutti e due gli scopi.
Non è chiaro, però, come siano stati scelti i siti di quell'1 per cento. A luglio Cloudflare parlava di segnali che i clienti «hanno scelto di condividere», ma nessuna pagina ufficiale spiega come un sito possa entrare nella prova o uscirne. Il post non dice nemmeno quale programma di OpenAI riceva i segnali: con ogni probabilità è quello di ricerca, ma non è scritto.
Le domande aperte, e cosa promette Google #
Una critica riguarda il ruolo di Cloudflare, che vende ai siti gli strumenti per bloccare i programmi delle AI e intanto ne aiuta uno solo. A luglio il sito di tecnologia The Next Web aveva scritto che Cloudflare era «da entrambe le parti». Già il 1° luglio Cloudflare aveva presentato l'iniziativa come neutrale, aperta a ogni motore di ricerca che rispetti le regole, e contava di aprirla ad altri entro la fine dell'anno: il post di ottobre non torna sull'argomento.
La domanda più importante, per chi ha un sito, è se tutto questo porti visite. Cloudflare scrive che sarà la fase successiva a misurarlo. Lo stesso giorno Google ha annunciato più link nelle risposte AI del suo motore di ricerca, AI Overview e AI Mode, disponibili in Italia dal 2025. Non ha detto quando le novità arriveranno qui, né ha dato dati sui clic. Gli unici numeri disponibili vengono dal Pew Research Center, un istituto di ricerca statunitense, che a marzo 2025 ha seguito la navigazione di 900 adulti negli Stati Uniti: chi vedeva un riassunto AI cliccava su un risultato nell'8 per cento delle ricerche, chi non lo vedeva nel 15. Sia OpenAI sia Google promettono più spazio ai siti, ma nessuna delle due ha ancora detto quante visite portino.
Cosa chiedere a chi gestisce il sito web #
Dopo aver guardato il file robots.txt, fai queste domande a chi gestisce il sito:
- Il sito è protetto da Cloudflare, e con quali impostazioni per i programmi delle AI? La ricerca dovrebbe essere permessa; l'addestramento è una scelta tua.
- La mappa del sito (sitemap) è aggiornata? È il file che elenca le pagine del sito: i motori di ricerca lo leggono per trovare quelle nuove.
- Le pagine nuove sono linkate da quelle che esistono già? I programmi di ricerca seguono i link, e una pagina che nessuno linka è più difficile da trovare.
- Cloudflare avvisa i motori di ricerca quando una pagina cambia? È una funzione gratuita, Crawler Hints, che va attivata a mano. Oggi informa Bing e gli altri motori che usano lo stesso sistema di avviso, IndexNow, ma non OpenAI.
Se non sai da dove partire, scrivimi: controllo come il tuo sito si presenta ai motori di ricerca e alle AI, e ti dico cosa conviene cambiare.
Domande frequenti #
Cosa fa Cloudflare per ChatGPT? #
In una prova cominciata a luglio su circa l'1 per cento della sua rete, Cloudflare avvisa il programma di ricerca di OpenAI quando una pagina di un sito che protegge è nuova, cambiata o non esiste più. Secondo le due aziende, ChatGPT ha così trovato centinaia di milioni di pagine che non conosceva.
Come farsi trovare da ChatGPT? #
Il tuo sito deve lasciar entrare il programma con cui ChatGPT cerca le pagine: controlla il file robots.txt e, se il sito è protetto da Cloudflare, le sue impostazioni sui programmi delle AI. Poi servono una mappa del sito aggiornata e pagine nuove linkate da quelle che esistono già.
Come farsi trovare dalle AI? #
OpenAI, Anthropic e Google, le aziende di ChatGPT, Claude e Gemini, hanno programmi separati per la ricerca e per l'addestramento, e conviene lasciar passare almeno quelli di ricerca. Le pagine devono poi essere raggiungibili e collegate fra loro.
Cloudflare condivide i contenuti del mio sito con OpenAI? #
No. Cloudflare trasmette a OpenAI solo dei segnali sulle pagine, per esempio quali sono nuove o cambiate, non il loro testo, e i segnali non servono ad addestrare i modelli. Per leggere una pagina il programma di OpenAI deve comunque visitarla e rispettare il file robots.txt.
Il mio sito fa parte della prova di Cloudflare e OpenAI? #
Per ora nessuno lo dice. La prova riguarda circa l'1 per cento della rete di Cloudflare, ma né Cloudflare né OpenAI hanno spiegato come siano stati scelti i siti, né come un sito possa entrare o uscire.
Che differenza c'è fra il programma di ricerca e quello di addestramento di ChatGPT? #
Il programma di ricerca trova le pagine da citare e linkare nelle risposte di ChatGPT, quello di addestramento raccoglie testi per insegnare ai modelli a scrivere. Puoi gestirli separatamente nel file robots.txt, rifiutando l'addestramento e restando nella ricerca.
Le risposte AI di Google portano visite ai siti? #
Meno dei risultati normali. Secondo il Pew Research Center, chi vede un riassunto AI clicca su un risultato nell'8 per cento delle ricerche, contro il 15 per cento di chi non lo vede. Google non pubblica dati sui clic.
Fonti #
- Cloudflare, Cloudflare e OpenAI: i primi risultati
- Cloudflare, Una ricerca AI più efficiente
- Cloudflare, Le nuove impostazioni per i programmi delle AI
- OpenAI, I programmi di OpenAI che visitano i siti
- Pew Research Center, I clic sui link quando c'è un riassunto AI
