SEO – Robots.txt – Su importancia

La importancia de tener el archivo “robots.txt” en tu página web

 

Nos han preguntado si el archivo robots.txt es necesario en una página web y la importancia de este en la optimización SEO.

El archivo robots.txt juega un papel importante en el SEO de tu página web.

¿Pero que es robots.txt? Robots.txt es un archivo de texto que contiene instrucciones para los rastreadores (crawlers) de los motores de búsqueda, indicándoles cuales directorios debe o no indexar de una página web.

El no tener el archivo en tu página web no va a impedir a los “crawlers” indexar tu página, sin embargo recomendamos altamente el crearlo. spatiumweb-RobotOrdenador

El archivo debe estar en la raíz de “sitio web”. Debe crearse con un editor de texto como Notepad o Notepad ++, pero nunca con WordPress, o desde el panel de administración de tu hospedaje.

También puedes subirlo por FTP o por el panel de administración de tu hospedaje.

Aquí tenemos un ejemplo sencillo, en el mismo indicamos que cualquier “crawler” puede leer lo que se detalla a continuación. Negar la indexación del directorio “/wp-content/plugins/” así como al archivo “readme.html” y license.html. Todo el resto de los directorios estarán permitidos a la indexación.

 

User-agent: *
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /license.html

 

Si se usa un plugin de SEO y este crea los archivos “XML Sitemap”, deberíamos agregarlos al archivo robots.txt. Estas serían las líneas a agregar:

Sitemap: http://www.tudominio.com/sitemap.xml
Sitemap: http://www.tudominio.com/ror.xml

 

Es importante verificar tanto la sintaxis del contenido como el nombre del archivo, es “robots.txt” con “S”, en plural.

Puedes chequear la sintaxis del vuestro archivo en esta página.

Así mismo puedes ver combinaciones de comandos en esta página (inglés).

Como siempre, espero tus comentarios a continuación.

 

Sin comentarios

Dejar un comentario

Por favor escriba su nombre Por favor escriba un correo válido Please enter a message.

Mostrar
Esconder