Crawler für Training von GPT ausschließen: OpenAI stellt Code für robots.txt vor
Verfasst: 8. Aug 2023, 16:30
https://www.heise.de/news/Crawler-fuer- ... 37417.html
Wer seine Webseite nicht für das Training von GPT von OpenAI zur Verfügung stellen möchte, kann den Crawler über die robots.txt ausschließenFür das Training von KI-Chatbots wie ChatGPT wird das Internet durchpflügt. Wer Inhalte davon ausschließen will, kann das nun über Code in der robots.txt tun.