Temi l’intelligenza ertificiale e non vuoi che ChatGPT analizzi il tuo sito web alla ricerca di informazioni da dare in pasto ai propri utenti, vorresti vietare l’accesso al crawler di OpenAI, ma non sai come fare? Non preoccuparti, ti aiuto io! Qui ti farò vedere come bloccare il crawler di ChatGPT (OpenAI).
I modelli alla base di ChatGPT sono istruiti da OpenAI grazie alle informazioni raccolte online tramite il crawler messo a punto proprio a tale scopo. Fortunatamente, se non vuoi che il tuo lavoro venga analizzato e “scippato”, puoi fare in modo di bloccare il Bot furbetto, modificando il file robots.txt presente nella root principale del tuo sito web.
GPTBot: il crawler di OpenAI
Se ti stai chiedendo quale sia il crawler che analizza i siti web per conto di OpenAI, eccoti la risposta: “GPTBot”. Questo bot analizza i siti web alla ricerca di informaizoni, escluse quelle che richiedono un accesso con paywall (Sistema che consente l’accesso a determinati contenuti di un sito Internet solo a pagamento), quelle che contengono informazioni di identificazione personale o con testo in violazione delle policy di OpenAI.
Come bloccare il crawler di ChatGPT (OpenAI)
Consentendo l’accesso al Bot, permetterai a OpenAI di istruire i propri modelli GPT per renderli più accurati e sicuri, ma non a tutti potrebbe piacere questa libera concessione. Se invece vuoi impedire che questo avvenga, non ti resta che bloccare GPTBot tramite il file robots.txt in questo modo:
Non devi far altro che accedere la tuo file robots.txt (ti basterà andare nel tuo cPanel, poi in “Gestione file” ed infine nella root principale del tuo sito web) e inserire quanto segue:
User-agent: GPTBot
Disallow: /
Se invece vuoi impedire al Bot di accedere a determinate directory o pagine, modifica le istruzioni in questo modo:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
o
User-agent: GPTBot
Disallow: /prova-2.html
Anche il noto sito web di Salvatore Aranzulla (Aranzulla.it), ha impostato il blocco del Crawler di ChatGPT (che puoi vedere all’indirizzo: https://www.aranzulla.it/robots.txt) in questo modo:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
Inoltre le richieste di GPTBot ai siti Web sono generate da indirizzi IP specifici che trovi qui: https://openai.com/gptbot-ranges.txt
Invece ilmanifesto.it ha deciso di fare la lotta alle informazioni raccolte senza alcun consenso dai Bot AI in questo modo:
User-agent: ia_archiver
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-Web
Disallow: /
ChatGPT: Problema etico?
Se per alcuni bloccare il Bot di OpenAI è sbagliato perché impedisce lo sviluppo di tali modelli di intelligenza artificiale e ne pregiudica la sicurezza, per altri “rubare” informazioni altrui e poi magari monetizzarle senza citare neanche le fonti, è qualcosa di enormemente sbagliato e pericoloso! In questo caso bloccare accesso al proprio sito web è una forma di protesta e protezione del proprio lavoro.
Bene, ti ho fatto vedere come bloccare il crawler di ChatGPT (OpenAI). Spero di esserti stato di aiuto, ciao e alla prossima! Leggi anche: come condividere una conversazione di ChatGPT.
