Depois de ontem termos falado sobre o Sitemap HTML para WordPress, o qual poderá ajudá-lo no SEO do seu blog, descobrimos através dos colegas do pherishable press algumas novidades interessantes sobre os Robots.txt em blogs WordPress. Para quem procura constantemente melhorar o SEO do seu blog e chegar mais à frente dos resultados orgânicos dos motores de busca, os Robots.txt são algo bastante importante de ter em consideração, e devem ser usados com precaução e da forma mais correta possível. Com algumas das técnicas mais comuns, é possível agilizar alguns processos de indexação, e excluir também a indexação de páginas ou seções não importantes em seu blog.
O QUE SÃO ROBOTS.TXT?
O ficheiro robots.txt é um ficheiro que lhe permite bloquear o acesso dos robots e spiders dos motores de busca. Este ficheiro pode ser usado também para permitir o acesso a ficheiros ou diretorias específicas do seu blog. Basicamente, este ficheiro é usado para comunicar com os buscadores Google, Bing, Yahoo, etc, para quando estes visitam o seu site, saberem o que podem ou não indexar. Um ficheiro robots.txt pode realizar um vasto leque de operações, e na verdade ele pode ser bastante poderoso quando utilizado da melhor forma possível.
ROBOTS.TXT E WORDPRESS
Para quem usa WordPress, o objetivo é que os seus artigos e páginas sejam escaneados e indexados. Já o mesmo não acontece com os ficheiros originais de instalação do WordPress, bem como as suas diretorias. Você quer ter a certeza também de que os seus RSS Feeds e trackbacks não são incluídos nos resultados dos buscadores. E é também uma boa prática declarar o seu sitemap. Vejamos então como iniciar o seu ficheiro robots.txt:
[sourcecode language=”html”]User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Sitemap: http://exemplo.com/sitemap.xml[/sourcecode]
Esta é apenas uma base para você começar a trabalhar, uma vez que você poderá permitir ou excluir o acesso a praticamente tudo o que diz respeito ao seu blog. Para usar este código no seu blog WordPress, copie e cole o código para dentro de um ficheiro que depois deverá chamar de “robots.txt e que deverá ser colocado na raíz do seu servidor. Ele deverá ficar acessível assim:
[sourcecode language=”html”]https://ajudawp.com/robots.txt[/sourcecode]
Se olharmos para o robots.txt do Ajuda WordPress, percebemos rapidamente que existe uma linha a mais nesse ficheiro. Vejamos:
[sourcecode language=”html”]User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/
Sitemap: https://ajudawp.com/sitemap.xml[/sourcecode]
A linha que existe a mais, “Allow: /wp-content/uploads/” é uma linha que diz aos buscadores que o conteúdo dentro da pasta uploads é para indexar. Normalmente a pasta uploads é onde se encontra todas as imagens que carregamos para o blog, as quais gostaríamos de ver indexadas no google imagens, por exemplo. Dessa forma podemos não só servir a comunidade, como também ganhar algum tráfego extra através do Google Imagens.
Existem muitos truques para permitir a indexação e não indexação de determinadas partes do seu blog, mas começar com um ficheiro deste género é já meio caminho andado para uma indexação mais inteligente dos conteúdos do seu blog.
Via Melhores regras para os Robots.txt do WordPress