meta-externalagent (Meta)
Entrenamiento de modelos · Versión actual 1.1
Qué es
Meta-ExternalAgent rastrea la web para usos como entrenar modelos fundacionales de IA o mejorar productos indexando contenido directamente. Meta pide gestionarlo con robots.txt. La búsqueda de Meta AI usa otro rastreador, Meta-WebIndexer.
Documentación oficial: developers.facebook.com · comprobado el 13 nov 2026
User agent de meta-externalagent
meta-externalagent/1.1 (+/documentation/sharing/webmasters/web-crawlers)meta-externalagent/1.1Documentación oficial: developers.facebook.com/docs/sharing/webmasters/web-crawlers · comprobado el 13 nov 2026
Bloquear o permitir meta-externalagent en robots.txt
Pon estas líneas al principio del archivo robots.txt en la raíz de tu sitio (example.com/robots.txt). Cada subdominio necesita su propio archivo.
User-agent: meta-externalagent
Disallow: /
User-agent: meta-externalagent
Allow: /
# repite aquí las líneas Disallow de tu grupo User-agent: *
Si meta-externalagent no aparece en robots.txt, ya sigue tus reglas de User-agent: * y no hace falta nada más. Un grupo propio sustituye por completo al grupo * para este bot: si lo añades, repite en él tus líneas Disallow generales.
- Meta indica que sus rastreadores pueden guardar robots.txt en caché hasta 24 horas.
Rangos de IP de meta-externalagent
Meta no publica una lista de IP para meta-externalagent.
¿Respeta robots.txt y Crawl-delay?
robots.txt: sí, meta-externalagent lo respeta según su dueño.
“In order to block these crawlers, add a disallow for the relevant crawler to robots.txt.” — documentación de Meta
Crawl-delay: la documentación del dueño no lo menciona para meta-externalagent, así que no cuentes con él.
¿Conviene bloquear meta-externalagent?
Es una decisión legítima. Al bloquear meta-externalagent excluyes tu contenido de este uso, y la búsqueda y las respuestas de IA que dependen de otros bots no se ven afectadas. Si quieres que los modelos de IA usen tu contenido, déjalo abierto.
Revisa tu sitio
Comprueba si tu robots.txt y tu cortafuegos dejan pasar a meta-externalagent, junto con todos los demás bots de IA de este directorio. Gratis y sin registro.
Preguntas
¿Cuál es el user agent de meta-externalagent?+
Meta lo documenta así: meta-externalagent/1.1 (+/documentation/sharing/webmasters/web-crawlers)
¿Cómo bloqueo meta-externalagent en robots.txt?+
Añade un grupo para él en el robots.txt de la raíz de tu sitio: «User-agent: meta-externalagent» seguido de «Disallow: /».
¿Qué direcciones IP usa meta-externalagent?+
Meta no publica una lista de IP para meta-externalagent.
¿meta-externalagent respeta robots.txt?+
robots.txt: sí, meta-externalagent lo respeta según su dueño.