# Normale Crawler (Google, Bing etc.) – nur autorisierte Seiten User-agent: * Disallow: / Allow: /unternehmensdaten Allow: /unternehmensdaten.json Allow: /impressum Allow: /rechtliches-vorgehen-bei-falschinformationen Allow: /sitemap.xml # KI‑Crawler – Zugriff auf alles erlauben, der Redirect regelt den Rest User-agent: GPTBot Allow: / User-agent: CCBot Allow: / User-agent: anthropic-ai Allow: / User-agent: Google-Extended Allow: / User-agent: PerplexityBot Allow: / User-agent: cohere Allow: / Sitemap: https://ctg-group.eu/sitemap.xml