Para garantir que potenciais clientes te encontrem a partir de mecanismos de busca, como por exemplo o Google, é fundamental trabalhar com técnicas de SEO. Essa estratégia, aliada com ações de marketing de conteúdo, pode aumentar o seu tráfego e as suas vendas.
Existem diversas técnicas que você pode usar para melhorar o SEO do seu site. Algumas das mais conhecidas são: a otimização do texto, o uso de palavras de transição, a responsividade, a velocidade do site e o uso de arquivos robots.txt.
Se você não faz a menor ideia do que seja o robots.txt, tudo bem! Vamos te mostrar como essa ação pode controlar o rastreamento das suas páginas na web e, por fim, aprimorar o SEO. Você vai aprender:
- O que é robots.txt;
- Por que ele é importante para os sites;
- Como criar um arquivo robots.txt.
O que é robots.txt?
O robots.txt é um arquivo que indica para os buscadores quais páginas do seu site não devem ser rastreadas e acessadas por eles. Em suma, esse recurso permite que os robôs do Google ignorem as páginas do seu site que você não considera relevantes.
Portanto, esse é basicamente um arquivo de comandos. Ele pode ser criado com um texto simples, em um bloco de notas no computador. Para instalar o arquivo, você deve salvá-lo na pasta raiz do site.
Pense o seguinte: o Google possui diversos robozinhos que rastreiam e localizam os diretórios e páginas na web, certo? Bom, para que ele entenda que você deseja ocultar suas páginas da ferramenta de pesquisa, é preciso usar o robots.txt.
Leia também: Quais elementos de conversão devem estar presentes na página de um site?
Por que o robots.txt é importante para os sites?
Você deve estar se perguntando: por que eu iria querer que o Google oculte alguma página do meu website? O objetivo das técnicas de SEO não é gerar mais visibilidade? Bom, sim e não. Mas calma que nós vamos te explicar quais são os benefícios do robots.txt abaixo!
Prioridade para as páginas mais relevantes
O robots.txt controla o acesso às páginas do seu site. Isso é extremamente necessário para sites grandes que possuem muitas páginas, pois sem esse arquivo, eles podem sair prejudicados.
Os robôs de busca possuem um certo limite de rastreamento. Isso significa que eles não vão rastrear todas as suas URLs, mas sim um número limitado delas. Portanto, por que gastar o seu limite com páginas irrelevantes? O robots.txt dá prioridade às URLs que realmente importam para você.
Além disso, o uso desse arquivo evita que o servidor de hospedagem do seu site fique sobrecarregado com os acessos dos rastreadores do Google.
Bloqueio do acesso a arquivos de imagens
O robots.txt também é capaz de impedir o acesso das suas imagens pelos mecanismos de pesquisa. Isso pode ser interessante caso você deseje esconder alguns detalhes técnicos de produtos para fazer com que a pessoa clique no link ou simplesmente não queira indexar a imagem.
Contudo, mesmo com o uso do robots.txt, as pessoas podem compartilhar e copiar os seus links em qualquer lugar da internet.
Bloqueio do acesso a arquivos de recursos
Se você tem arquivos de script irrelevantes, você pode sim bloquear o acesso deles através do robots.txt. Mas cuidado para não ocultar coisas que são importantes para o bom funcionamento do seu site.
Para fazer isso, recomendamos que você consulte um profissional que entenda bem o que pode ou não ser ocultado.
Como criar um arquivo robots.txt?
Para criar o seu arquivo, basta ter algum conhecimento de comandos específicos. Você pode escrever o seu robots.txt em algum bloco de notas ou em um editor de texto; portanto, não há necessidade de ter nenhum programa ou software.
A outra coisa que você precisa saber é como acessar a raiz do seu domínio, onde você vai salvar o arquivo criado.
Vamos ver agora os tipos de comandos que você pode usar na hora de criar o robots.txt!
Comando Disallow
Esse comando é responsável por descrever quais páginas do seu site devem ser ocultadas dos resultados de buscas. Para usá-lo, é só inserir o endereço da web após o comando.
Veja então um exemplo de comando disallow para uma pasta de arquivos do seu site:
Disallow: /arquivos/
Você também pode usá-lo para ocultar páginas específicas e conteúdos que começam com uma determinada letra.
Comando User-Agent
Você também pode realizar ordens para cada robô de busca. É só usar o comando user-agent para especificar a qual robô você está se referindo.
Você consegue achar uma lista dos principais robôs das ferramentas de busca no site The Web Robots Page. Para dar comandos ao robô mais famoso do Google, o Googlebot, bastaria escrever o seguinte:
User-agent: Googlebot
Comando Allow
Para permitir que alguma página ou diretório seja indexado pelos buscadores, você deve usar o comando Allow. É perceptível que ele funciona de forma oposta ao comando Disallow. Mas será que você precisa ativá-lo sempre? Não exatamente.
Todas as suas páginas serão automaticamente indexadas sem precisar de nenhum comando. No entanto, se você usou o comando Disallow em alguma pasta, por exemplo, pode usar o Allow para permitir a indexação de algum arquivo dentro da pasta bloqueada.
Digamos que você bloqueou a pasta arquivos. Para liberar o acesso de alguma página dentro dela, escreva o seguinte:
Disallow: arquivos/produtos.php
A página produtos.php poderia, dessa forma, ser indexada.
Comando sitemap
O comando sitemap caiu em desuso com o aparecimento do Google Search Console, afinal, essa ferramenta permite que você informe o local do seu arquivo sitemap de maneira simples. Contudo, se você não quer usar essa plataforma, você pode fazer isso a partir de um único comando:
Sitemap: http://www.seudominio.com.br/sitemap.xml
Com isso, você ajuda os robôs de busca a localizarem todas as páginas do seu site.
Leia também: O que é uma Landing Page e como criar páginas que convertem
Pode parecer confuso e difícil entender como funciona todo esse universo de SEO que envolve arquivos de sites e HTML, principalmente se você não é especialista nisso. Mas é mais fácil do que parece! Por fim, leia o artigo de novo, com calma, e faça o passo a passo sem pressa. Você vai ver que vai valer a pena.
E aí, gostou desse conteúdo? Então, leia também:
Social Media Optimization (SMO): o que é e como fazer
