À quoi sert le fichier robots.txt ?
Le robots.txt, placé à la racine du site, indique aux robots quelles parties ils peuvent explorer. Il sert à éviter l'indexation de zones privées et à signaler l'emplacement du sitemap.
Faut-il autoriser les robots des IA ?
Pour être cité par les IA génératives (ChatGPT, Perplexity, Claude…), autorisez explicitement leurs robots : GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended. C'est l'option « Autoriser les robots IA » ci-dessus.
Questions fréquentes
Où placer le fichier robots.txt ?
À la racine du domaine : https://votre-site.com/robots.txt.
Disallow empêche-t-il l'indexation ?
Pas toujours. Pour empêcher l'indexation d'une page, utilisez plutôt la balise noindex.