Il New York Times ha bloccato il web crawler di OpenAI, GPTBot, per evitare l'addestramento di modelli AI e valuta possibili azioni legali.
Google sta implementando l'intelligenza artificiale per migliorare il modo in cui i suoi crawler interpretano i file robots.txt, ottimizzando la scansione dei siti web.
