Olá Turma do bem.. Como sempre digo, o objetivo deste blog é ser uma biblioteca para nós profissionais que utilizam o WebAcappella possa ter uma referência de consultas quando formos criar um projeto. Por este motivo tento criar postagens frequentes afim de enriquecer sempre a biblioteca.
E como muitos sabem não basta criar um site com seus elementos, um bom profissional tem que pensar em outros detalhes que não podem faltar para que o site esteja bem classificado.
Hoje iremos falar do arquivo ROBOTS.TXT.
O que é o ROBOTS.TXT?
O Robots.txt é um arquivo de configuração com grande importância para seo que devem ser hospedado na raíz do site. Este é um arquivo simples, formato txt que pode ser editado pelo bloco de notas sem nenhum problema.
Apesar do nome este arquivo não é um robô, sua função é guiar o comportamento dos Crawlers.
O que são CRAWLER?
Também conhecido como Spider ou Bot, este sim é um robô usado pelos mecanismos de busca para rastrear informações para indexar páginas de um site. Também cadastra os links encontrados possibilitando encontrar outras páginas e mantendo uma base de dados utilizada.
Os Crawlers mais conhecidos e importantes são:
Googlebot - Google
Slurp - Yahoo
Bingbot - Bing
Os Crawler trabalham mais ou menos assim :
Acham as páginas do site e constrói uma lista de palavras e frases.
A partir desta lista criam um banco de dados e criam um índice das páginas exatas que devem aparecer no resultado levando em consideração as características encontradas em suas páginas.
Assim ao fazer uma pesquisa em que o usuário final digita uma palavra ou expressão o robô já está apto a te guiar para a página que ele acha que mais convêm. Este processo chama-se query processor.
Então a 1ª REGRA é que o site tenha um arquivo ROBOTS.TXT mesmo que em branco na raiz do seu site. Isto porque se haja algum problema na sua hospedagem em que gere um código de erro os crawlers podem optar de não ler todo o site no receio de ler algo que não possa ser lido.
É importante citar que o arquivo ROBOTS.TXT não é uma forma de segurança contra invasores, ele apenas impedem que os robôs indexam conteúdos pre determinados por ele.
O WebAcappella possui uma opção em que você pode configurar o arquivo Robot.txt porém ao criar um projeto o padrão dela é estar desabilitada.
Como exemplo eu criei um novo projeto em branco no WebAcappela. Assim fui na opção SITE>>PROPRIEDADE DO SITE e na aba SEO cliquei em "EDITAR O ARQUIVO ROBOTS.TXT"
Clicando surgirá a seguinte tela:
Reparem que por padrão a opção de criação do arquivo robots.txt está desativada.
Para um melhor exemplo eu recomecei o site usando o primeiro tema oferecido pelo próprio Webacappella.
E o mesmo vem como padrão de geração do arquivo Robots.txt desativado
Então vou publicar localmente este exemplo para ter certeza se o arquivo robots.txt foi ou não criado.
Coloquei em ordem alfabética para que observem que não foi criado o arquivo robots.txt
Portanto uma das regras ao se criar o projeto e até interessante colocar no seu checklist de liberação (digo o checklist que se deve fazer assim que o projeto estar pronto para liberar para seu cliente) é verificar e ou habilitar esta opção.
Então, seguindo o exemplo habilitei. Observe que ao habilitar ele me oferece se quero deixar ou não que o WebAcappella gerencie certos aspectos do arquivo robots.txt. Optei por sim.
Publicando novamente veremos o resultado.
Repare que agora o arquivo está lá.
E seu conteúdo?
Essas são as linhas inseridas na criação automática do robots.txt pelo WebAcappella.
E o que significa as linhas criadas no robots.txt pelo WebAcappella.
Linha 1 : User-agent: * -> significa que qualquer robô possa analisar e indexar seu site
Linha 2 : Disallow: -> significa que os robôs tem total liberdade de analisar e indexar tudo dentro do seu site.
Vendo isto eu me lembrei que nas configurações de cada página no WebAcappella tem uma opção que é a seguinte:
Ignore this page with SEO (Ignorar esta página com SEO)
aaa.. Resolvi testar..rsrsrs
Fui na página About do site exemplo, dei um nome para página a qual estava sem só para deixar a análise mais afiada e marquei "Ignore htis page with SEO"
Atualizei o site, limpei a pasta local a qual estava publicando o mesmo e mandei publicar novamente.
Vamos ver o resultado:
Está ali, foi adicionado uma nova regra em que diz que para qualquer robô aquela página não poderá ser indexada.
Mas confesso pra vocês um detalhe que percebi. Tinha feito isso sem dar um nome para página deixando o padrão do tema, ele não tinha feito nenhuma alteração no arquivo robot.txt.. Por isso sugiro sempre nomear as páginas, atualizar o site antes de publicar e se possível apagar a publicação anterior.
Mas vamos adiante pois o artigo tá ate´cansativo de se ler. Desculpem aê.
COMANDOS ROBOTS.TXT
Existem 3 comandos mais utilizados:
User-agent – são os robôs de busca, usando o asterisco (*) estará dizendo que todos os crawlers poderão ler o destino especificado, o user agent poderá também ser especificado o bot que passará em seu site, Veja a lista de alguns deles aqui
Allow – Significa permitir, especificando o nome do arquivo, permitirá que os crawlers leiam o conteúdo do site, por padrão todo conteúdo do site é lido sem que tenha que usar esse parâmetro, ele é usado caso tenha bloqueado alguma pasta de diretório, mas tenha algum subdiretório ou arquivo que deva ser lido. ex.
Disallow – Bloquear a indexação.
Asterisco e Terminações – O asterisco no robots.txt pode representar qualquer coisa que vem depois de uma barra e, associado com certas terminações, não permite a indexação de certos tipos de arquivos. :
Exemplos do comando User-agent:
- User-agent: *: Indica que a regra serve para todos os robôs de busca;
- User-agent: Googlebot: indica que a regra serve apenas para o robô do Google;
- User-agent: Googlebot-images: indica que a regra serve para a busca de imagem do Google;
- User-agent: Slurp: indica que a regra serve apenas para o robô do Yahoo;
- User-agent: Bingbot: indica que a regra serve apenas para o robô do Bing.
Eu particularmente prefiro definir os robôs conhecidos para que possam vasculhar e indexar o site. Como a google, yahoo, bing criam robõs, quem me garante que um pirata da internet não fará o mesmo em busca de uma forma de invadir o site?
Exemplos do comando allow:
- Allow: /adm –> indexa todas as páginas, ou pastas, que comecem com adm
- Allow: /admt/ –> indexa todas as páginas, dentro da pasta adm
- Allow: /adm.html –> indexa a página adm.html.
Exemplos do comando Disallow
- Disallow: /adm–> bloqueia todas as páginas, ou pastas, que comecem com adm.
- Disallow: /adm/ –> bloqueia todas as páginas, dentro da pasta adm.
- Disallow: /adm.html –> bloqueia a página adm.html.
Exemplos de asterisco e terminações
Disallow: /*.css$
Não permite a indexação de arquivos terminados em css.
Disallow: /*.txt$
Não permite a indexação de arquivos terminados em txt.
Não permite a indexação de arquivos terminados em css.
Disallow: /*.txt$
Não permite a indexação de arquivos terminados em txt.
Disallow: /*.gif$
Não permite a indexação de arquivos terminados em gif.
Não permite a indexação de arquivos terminados em gif.
Disallow: /*.jpg$
Não permite a indexação de arquivos terminados em jpg.
Não permite a indexação de arquivos terminados em jpg.
E assim por diante.
- Sitemap: http://www.domínio.com.br/arquivositemap.xml –> Note que a URL deve ter seu caminho absoluto
Se você é uma pessoa organizada pode utilizar pode colocar comentários no seu reobots utilizando o caractere "tralha" (#) no início de cada linha
Exemplo (uma linha comentando outra linha com o comando):
# Informando o local do sitemap
Sitemap: http://www.domínio.com.br/arquivositemap.xml
O Google fornece em sua ajuda alguns conceitos de como criar um arquivo robots.txt.
Nesta é fornecido alguns comandos de bloqueio de URL.
Bloquear… | Amostra |
O site inteiro com uma barra ( /): | Disallow: / |
Um diretório e seu conteúdo em que o nome do diretório é seguido por uma barra: | Disallow: /sample-directory/ |
Uma página da Web listando a página depois da barra: | Disallow: /private_file.html |
Uma imagem específica das Imagens do Google: | User-agent: Googlebot-ImageDisallow: /images/dogs.jpg |
Todas as imagens de seu site das Imagens do Google: | User-agent: Googlebot-ImageDisallow: / |
Arquivos de um tipo específico (por exemplo, .gif): | User-agent: GooglebotDisallow: /*.gif$ |
Páginas no seu site, mas exibir anúncios do Google AdSense nessas páginas, bloquear os rastreadores da Web que não sejam Mediapartners-Google. Essa implementação oculta suas páginas dos resultados da pesquisa, mas o rastreador da WebMediapartners-Google ainda pode analisá-los para decidir que anúncios exibir para os visitantes do seu site. | User-agent: *Disallow: /User-agent: Mediapartners-GoogleAllow: / |
As diretivas diferenciam caracteres maiúsculos e minúsculos. Por exemplo,
Bloquear: /arquivo.asp bloquearia http://www.exemplo.com.br/arquivo.asp, mas permitiriahttp://www.exemplo.com/Arquivo.asp. O Googlebot também ignora espaços em branco e diretivas desconhecidas no robots.txt.E também algumas regras de correspondência de padrões para simplificar o código
O que devemos bloquear?
Lembrando que é minha opinião pessoal do que se deve bloquear :
1) Os sistemas ADM hoje disponíveis ainda não estão preparados para indexação pelos mecanismos de buscas. Sendo assim imagina um internauta em uma pesquisa resultar um link em que leve apenas para o contéudo do frame que será incluso no site. O resultado seria conforme a imagem abaixo:
2) Páginas de formulários
Não vão ajudar em nada em seu posicionamento e na verdade podem até atrapalhar.
3) Páginas as quais o conteúdos são baixos, sem relevância e não possuem atualização. Pois páginas com muito tempo sem serem modificadas perdem pontos nos mecanismos de busca.
Enfim quanto mais enxuto e objetivo, o servidor levará menos tempo para entregar o conteúdo solicitado pelo robô. Evitando perder pontos pelos mecanismo de buscas.
Resumindo:
Não pense que liberar tudo, ter uma imensa quantidade de arquivos e páginas significa que seu site terá mais chances de ser localizado nos mecanismos de busca. Pode acontecer até o contrário: Ele ser pontuado negativamente.
Procure ser mais objetivo e personalize cada projeto diferente um do outro. Cada caso é um caso.
Exemplo de como eu criaria um Arquivo Robots.txt para o www.webacappellashow.com.br (comentado)
# Declarando arquivo sitemap
Sitemap: http://www.webacapellashow.com.br/sitemap.xml
# Definindo quais robôs podem indexar
User-agent: GooglebotUser-agent: Googlebot-images
User-agent: Adsbot-Google
User-agent: Mediapartners-Google
User-agent: Bingbot
User-agent: Slurp
# Informando o que eu quero que ele indexa ( tipo coloco as páginas e pastas que quero, supomos que existisse pagina sobre, novidades, exemplos; e pastas tipo plugins, imagens)
Allow: /index.htmlAllow: /sobre.html
Allow: /novidades.html
Allow: /exemplos.html
Allow: /plugins/
Allow: /imagens/
# Bloqueando o resto (aqui bloqueio o resto para não ser indexado)
3. Disallow: /
APLICANDO NO WEBACAPPELLA.
Tendo o robots.txt exemplo informado logo acima, para aplicar no Webacappella basta ir em SITE>>PROPRIEDADES DO WEBSITE clicar no ícone SEO , depois em EDITAR O ARQUIVO ROBOTS.TXT, marcar ATIVAR A CRIAÇÃOD DO ARQUIVO ROBOTS.TXT, demarcar ATIVAR A GESTÃO AUTOMÁTICA (pois eu mesmo irei fornecer minha configuração). Colar o código no campo CONTEÚDO ADICIONAL e OK.
Alguns sites fornecem um gerador de robots.txt que gera o texto o qual você copia e cola no WebAcappella:
Os links dos que conheço:
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
http://www.agenciamestre.com/ferramentas-seo/gerador-robots-txt/
http://www.marketingdebusca.com.br/robots-txt/
http://www.ptwebsite.com/suporte-ferramentas-robots.html
Cuidados com o arquivo robots.txt
Um arquivo robots.txt , é muito fácil acessar seu contéudo. Basta digitar no navegador a url do site / robots.txt. Sendo assim muito cuidado com seu conteúdo. Evite colocar arquivos confidenciais. Nesses casos, o ideal é utilizar a meta tag robots (meta name = "robots"). Mas este aprimoramento vou falar em outro artigo.
INFORMAÇÕES ÚTEIS
Conforme informação da Hostgator o Google e Bing não honram o padrão robots.txt. Você pode criar contas de Google e Bing Webmaster e configurar seus domínios para ter um menor atraso de rastreamento. Leia a posição oficial da Google a respeito do arquivo robots.txt. Você deve utilizar as ferramentas para webmasters do Google para definir a maioria dos parâmetros para GoogleBot link: https://support.google.com/webmasters/answer/6062608?hl=en&rd=1
fonte: . http://faq.hostgator.com.br/content/70/364/pt-br/como-usar-os-robotstxt.html#sthash.RXDJxASK.dpuf
TESTAR O ARQUIVO ROBOTS.TXT
Use o Google Webmaster Tools para fazer um teste.
Na Google Webmaster, em “Rastreamento” > “Testar Robots”, você pode visualizar seu robots.txt e inserir uma URL do seu site para verificar se ela está ou não sendo bloqueada por algum comando do seu arquivo.
FINALIZANDO
Como sempre digo, não sou nenhum guru e tenho a mente aberta para novos aprendizados. Se alguém tiver algum comentário ou corrigindo, ou acrescentando deixe um comentário que será mantido e terá meu total agradecimento.
NOTA
Esta nota foi adicionada em 15/09/2015 para esclarecer algumas confusões de interpretação do artigo. O artigo foi explicar a funcionalidade e importância do robots.txt, Os exemplos dados são explicativos. Porém é importante frisar que para projetos direcionados a dispositivos móveis não é recomendado bloquear o acesso aos arquivos essenciais no site que ajudam a processar a página: CSS, JAVA SCRIPT, IMAGENS.
Esta nota foi adicionada em 15/09/2015 para esclarecer algumas confusões de interpretação do artigo. O artigo foi explicar a funcionalidade e importância do robots.txt, Os exemplos dados são explicativos. Porém é importante frisar que para projetos direcionados a dispositivos móveis não é recomendado bloquear o acesso aos arquivos essenciais no site que ajudam a processar a página: CSS, JAVA SCRIPT, IMAGENS.
