Bots y rastreadores de IA: user agents, rangos de IP y robots.txt
Qué bots leen tu sitio para la búsqueda con IA, para entrenar modelos o porque un usuario lo pidió, y cómo permitir o bloquear cada uno. Todos los datos salen de la documentación del propio dueño del bot, con enlace y la fecha de nuestra última comprobación.
| Bot | Empresa | Para qué sirve | Respeta robots.txt |
|---|---|---|---|
| OAI-SearchBotRastreador de OpenAI para la búsqueda de ChatGPT | OpenAI | Búsqueda con IA | Sí |
| ChatGPT-UserAgente de ChatGPT que abre páginas para el usuario | OpenAI | Visitas a petición del usuario | Puede ignorarlo |
| GPTBotRastreador de OpenAI para entrenar sus modelos de IA | OpenAI | Entrenamiento de modelos | Sí |
| OAI-AdsBotVerificador de OpenAI para anuncios en ChatGPT | OpenAI | Revisión de anuncios | No se indica |
| Claude-SearchBotRastreador de Anthropic para la búsqueda de Claude | Anthropic | Búsqueda con IA | Sí |
| Claude-UserAgente de Claude que abre páginas para el usuario | Anthropic | Visitas a petición del usuario | Sí |
| ClaudeBotRastreador de Anthropic para entrenar los modelos Claude | Anthropic | Entrenamiento de modelos | Sí |
| PerplexityBotRastreador de Perplexity para su buscador | Perplexity | Búsqueda con IA | Sí |
| Perplexity-UserAgente de Perplexity que abre páginas para el usuario | Perplexity | Visitas a petición del usuario | Puede ignorarlo |
| DuckAssistBotRastreador de DuckDuckGo para respuestas con IA | DuckDuckGo | Búsqueda con IA | Sí |
| Google-ExtendedToken de Google en robots.txt para el entrenamiento de Gemini | Entrenamiento de modelos | Solo token | |
| Applebot-ExtendedToken de Apple en robots.txt para el entrenamiento de IA | Apple | Entrenamiento de modelos | Solo token |
| CCBotRastreador de Common Crawl para su archivo abierto de la web | Common Crawl | Entrenamiento de modelos | Sí |
| meta-externalagentRastreador de Meta para entrenar IA e indexar contenido | Meta | Entrenamiento de modelos | Sí |
| AmazonbotRastreador de Amazon para sus productos y modelos de IA | Amazon | Entrenamiento de modelos | Sí |
| GooglebotRastreador principal de la Búsqueda de Google | Buscador clásico | Sí | |
| BingbotRastreador estándar de Microsoft Bing | Microsoft | Buscador clásico | Sí |
| ApplebotRastreador de Apple para Siri, Spotlight y Safari | Apple | Buscador clásico | Sí |
Cada semana comparamos este directorio con las páginas oficiales y las listas de IP. Última comprobación: 13 nov 2026.
Bytespider (ByteDance) no está en la lista: ByteDance no tiene una página oficial sobre su rastreador, y solo publicamos lo que documenta el propio dueño.
Revisa tu sitio
Comprueba si tu robots.txt y tu cortafuegos dejan pasar a GPTBot, ClaudeBot, PerplexityBot, junto con todos los demás bots de IA de este directorio. Gratis y sin registro.
Revisar mi sitio