Rua Alfredo Vaz Medeiros 3, Vila Gomes Cardim, CEP 03335-005, SP, Brasil
+34 698 34 62 29 - Espanha
suporte@seodeverdade.pro

# 7.14. Para que serve e como configurar o arquivo Robots txt

O que ninguém te ensina!

Para que serve e como configurar o arquivo Robots

Seja bem bem-vindo a mais uma aula do nosso curso seo de verdade de zero a 100 e nessa aula nós vamos ver para que serve o arquivo robots.txt e como configurar ele.

O arquivo robots.txt fica no gerenciador de arquivo no cpanel da instalação de wordpress de seu site, praticamente fica na raiz da sua instalação.

Você pode acessar o arquivo robot.txt através do cpanel ou do FTP.

Arquivo robots.txt via cpanel

Para acessar o arquivo robots.txt via cpanel, basta acessar o cpanel da instalação do wordpress do seu site oferecido pela empresa de hospedagem do seu projeto, dentro do cpanel clica em gerenciador de arquivos depois vai em Public HTML é nessa página onde podemos adicionar e configurar o nosso arquivo robot.txt.

cpanel gerenciador de arquivos

Dentro do arquivo robots.txt vão ter algumas diretivas para os rastreadores ou os robôs tanto do Google, do Yahoo, do Bing ou para outros tipos de robôs rastreadores da web. Essas diretivas do arquivo indicam aos determinados tipos de robôs ao Google principalmente o que ele pode indexar e o que ele não deve indexar da nossa página, por exemplo: se  nós temos uma loja online e nessa loja nós temos uma categoria de produtos, por exemplo panelas de pressão, na categoria dos e-commerce não são muito otimizáveis porque nós temos poucas opções de texto e os nomes dos produtos vão se repetir nas páginas de produto, quando nós clicamos em produtos dentro da categoria esse nome do produto se repete várias vezes dentro dessa mesma página de produto. Pode acessar qualquer loja online de venda de produtos vai perceber isso, para nosso exemplo vamos usar a loja americanas.com. 

americanas imagem de panela de pressão

A repetição de mesmas palavras várias vezes em uma página provoca canibalização de conteúdo o que vai afetar com problemas de rastreio. 

Como criar um arquivo robots.txt?

Para criar esse arquivo clica em gerenciador de arquivos depois vai em Public HTML e aqui clica em sinal +arquivo no canto superior esquerdo. 

Clicando aí vai pedir para dar nome ao arquivo, você escreve robots.txt e clica em create new file. Depois de criar clicando em editar vai abrir essa página em branco.

painel de editor de código robot.txt

Existem alguns parâmetros básicos que nós devemos levar em conta quando estivermos a criar o arquivo robots.txt.

User-agent * – com o user agent podemos especificar para qual robô é essa regra, se é para o google se é para o yahoo se é para o bing, então quando você deixar o asterisco * aí é para todos. Sendo assim, qualquer regra que estiver abaixo de user-agent * Vale para qualquer robô na internet, independentemente da empresa.

Disallow: /wp-admin/ – Esse parâmetro bloqueia a entrada de qualquer robô ou de qualquer rastreador a essa pasta wp-admin.

Allow: /wp-admin/admin-ajax.php – Esse parâmetro permite a leitura dos robôs a esse arquivo que se encontra nesta pasta.

arquivo de sitemap no robot.txt

Temos também uma rota para o sitemap do site que não é 100% necessário fazer, mas eu prefiro sempre fazer em meus projetos.

Por excesso, com o sitemap do site incluso nesse arquivo de robots.txt quando o Google visita esse arquivo ele vai achar esse sitemap mais rápido e vai teoria indexar mais rápido de qualquer maneira o setmap nós também enviamos através do search console e nós vamos ver isso nas próximas aulas, espero que tenha entendido a aula de hoje, qualquer dúvida manda uma postagem no club seo de verdade vip. Não deixe de ver a última aula: Como inserir banners de afiliados?

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *