Web-Crawler von ChatGPT kann nun blockiert werden

Nicht jeder Webseitenbetreiber ist begeistert wenn KI’s wie ChatGPT die eigenen Inhalte als Lernmaterial verwendet. Darum bietet OpenAI ab sofort die Möglichkeit den Web-Crawler von ChatGPT mittels Robots-Text Datei auszuschließen. Dadurch ist es dem Bot nicht mehr möglich die eigenen Webseiteninhalte als Trainingmaterial zu verwenden.

Um den Bot zu blockieren müsst ihr eine robots.txt Datei mit dem folgenden Inhalt in das Hauptverzeichnis eurer Webseite ablegen:

User-agent: GPTBot
Disallow: / 

Der Crawler wird anschließend nicht mehr auf eure Webseite zugreifen, frühere Besuche bleiben allerdings davon unberührt. Alternativ bleibt euch auch die Möglichkeit die entsprechenden IP-Adressen des ChatGPT Web-Crawlers zu blockieren.