Pourquoi le pattern robots.txt 2026 PROEMA bloque-t-il GPTBot mais autorise OAI-SearchBot ?

Parce qu'OpenAI utilise deux user-agents distincts pour deux usages distincts : GPTBot aspire pour entraîner les modèles, OAI-SearchBot aspire pour répondre en temps réel dans ChatGPT-Search. Bloquer le premier protège votre PI ; autoriser le second vous rend citable.

Pourquoi le pattern robots.txt 2026 PROEMA bloque-t-il GPTBot mais autorise OAI-SearchBot, côté méthode ?

OpenAI a publié dès août 2023 la séparation : GPTBot = data acquisition pour fine-tuning, OAI-SearchBot = retrieval live pour ChatGPT Search, ChatGPT-User = exécution agentique d'un plugin pour un utilisateur (source : developers.openai.com/api/docs/bots). Anthropic suit la même logique : ClaudeBot (training) vs Claude-Web / Claude-User (retrieval, source : support.anthropic.com). Google a séparé Google-Extended (training Gemini) de Googlebot (search). Cette séparation n'est pas symbolique, elle est explicitement documentée et respectée selon les vérifications menées par AppearOnAI, NoHacks et Mersel en 2025-2026.

Le compromis stratégique du pattern 2026

« Bloquez tous les bots IA et vous disparaissez de ChatGPT-Search, de Perplexity et de Claude, c'est la conséquence stratégique qu'il faut avoir en tête », souligne Lorenzo Eeman, fondateur de PROEMA. Si vous autorisez tout, vous nourrissez gratuitement le training des concurrents. Le pattern PROEMA 2026 (Allow: OAI-SearchBot, PerplexityBot, Bingbot, Applebot, MistralAI-User ; Disallow: GPTBot, ClaudeBot, Google-Extended, ClaudeBot, anthropic-ai) est la position médiane : visibilité retrieval maximale, leakage training minimal. Doctrine reprise par une part croissante des médias premium européens (FT, NYT, Le Monde, Reuters ont publiquement décrit leur configuration similaire en 2024-2025).

Les pièges à ne pas commettre

Premier piège : Bingbot crawl est partagé avec Copilot (Microsoft a confirmé en 2024 que Copilot utilise l'index Bing en backend), donc le bloquer revient à sortir de Microsoft Search ET de Copilot d'un coup. Deuxième piège : oublier les user-agents émergents (Applebot-Extended pour Apple Intelligence, MistralAI-User pour Le Chat, Meta-ExternalAgent pour Meta AI), la liste à jour compte 24+ user-agents IA identifiables en 2026 selon les recensements AppearOnAI et NoHacks. Troisième piège : un robots.txt mal formaté (espace après :, casse incohérente sur les noms d'agents), certains crawlers stricts ignorent silencieusement la directive. PROEMA livre le pattern 2026 dans tous ses Forfaits Optim avec audit mensuel.