# Beeshopping – alle Crawler willkommen (klassische Suche + KI-Assistenten).
User-agent: *
Allow: /
# Ergebnisseiten (personalisiert, noindex, nicht in der Sitemap) nicht crawlen.
# Pro Markt das lokalisierte „ergebnisse"-Segment — synchron zu src/i18n/routes.ts halten.
Disallow: /de/ergebnisse
Disallow: /us/results
Disallow: /uk/results
Disallow: /ca/results
Disallow: /es/resultados
Disallow: /fr/resultats
Disallow: /it/risultati
Disallow: /nl/resultaten
Disallow: /pl/wyniki
Disallow: /se/resultat

# KI-/LLM-Crawler ausdrücklich erlaubt (wir WOLLEN gefunden & zitiert werden).
# WICHTIG (RFC 9309): Ein Crawler wertet NUR seine spezifischste User-agent-Gruppe aus und
# ignoriert die *-Gruppe komplett. Die KI-Bots teilen sich daher EINE Gruppe (mehrere
# User-agent-Zeilen) mit denselben Disallow-Regeln — sonst würden sie /ergebnisse crawlen.
# OpenAI (ChatGPT-Training / -Suche / On-Demand-Abruf)
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
# Google (Gemini / AI Overviews – getrennt vom normalen Googlebot)
User-agent: Google-Extended
# Anthropic (Claude)
User-agent: ClaudeBot
User-agent: anthropic-ai
# Perplexity
User-agent: PerplexityBot
# Apple Intelligence
User-agent: Applebot-Extended
# Common Crawl (Datenbasis vieler LLMs)
User-agent: CCBot
Allow: /
Disallow: /de/ergebnisse
Disallow: /us/results
Disallow: /uk/results
Disallow: /ca/results
Disallow: /es/resultados
Disallow: /fr/resultats
Disallow: /it/risultati
Disallow: /nl/resultaten
Disallow: /pl/wyniki
Disallow: /se/resultat

Sitemap: https://beeshopping.de/sitemap.xml