Configurar el robots.txt de WordPress

Última revisión: 24 de noviembre de 2020

El fichero de robots.txt que ha de estar en la carpeta raíz del hostname de la instalación (aunque tu WordPress esté en una carpeta), es un fichero que no viene por defecto en WordPress, aunque si lo llamas el sistema genera uno sencillo, y que deberías crear.

Este fichero de texto lo que hace es decirle a los robots de búsqueda (como GoogleBot, BingBot, YandexBot, Slurp!…) qué deben y qué no deben analizar de tu sitio.

¿Qué deberíamos bloquear de WordPress en este fichero? En principio nada. Hoy en día se pueden conseguir bloquear muchos elementos mediante las configuraciones internas de plugins de seguridad, por lo que si quieres tener un sitio seguro lo mejor es no dar información en este fichero.

De esta manera, el fichero tendrá un contenido simple:

User-Agent: *

Por defecto WordPress genera un fichero virtual con el siguiente contenido:

User-Agent: *
Disallow: /wp-admin/
Disallow: /wp-admin/admin-ajax.php

Aunque esto que expone no es grave, teniendo en cuenta que el acceso al /wp-admin/ ha de pasar previamente por un acceso de usuario, no deja de ser una pista muy clara de que este sitio está construido con WordPress.


Seguir con Seguridad para WordPress


Sobre este documento

Este documento está regulado por la licencia EUPL v1.2, publicado en WP SysAdmin y creado por Javier Casares. Por favor, si utilizas este contenido en tu sitio web, tu presentación o cualquier material que distribuyas, recuerda hacer una mención a este sitio o a su autor, y teniendo que poner el material que crees bajo licencia EUPL.

Servicios de Administración de Sistemas WordPress

¿Tienes un sitio web con WordPress de alto tráfico? ¿Eres una Agencia con servidores con cPanel, Plesk u otro panel en los que mantienes WordPress para tus clientes?

Si es así y te interesa un servicio profesional de mantenimiento de infraestructura WordPress y de mejora del rendimiento de tus sitios web o los de tus clientes, contacta conmigo.