Robots.txt e Robots meta tag Robots.txt e Robots meta tag Henry Douglas
Checklist 27 Julho 2016

Robots.txt e Robots meta tag

A meta tag robots e o arquivo robots.txt são 2 mecanismos diferentes e independentes para passar informações para robôs dos mecanismos de buscas. Um não substitui o outro, você deve saber como usar ambos. Vamos discutir os dois.

try joomla free

Robots.txt

O arquivo robots.txt é um arquivo que contém basicamente informações sobre qual parte do site devem ser disponibilizadas ao público. É o arquivo robots.txt que os robôs dos mecanismos de buscas consultam para determinar qual página deve ser indexada no índice. Por padrão, os motores estão autorizados para rastrear tudo em um site, por isso, se você precisa que partes do site sejam bloqueadas, é necessário especificar no robots.txt.

Observe que o bloqueio de URLs em robots.txt não impede o Google de indexar a página. Ele vai simplesmente parar a verificação da página.

Então se você quer ter certeza absoluta de que uma página não seja indexada, você normalmente deve usar a meta tag robots (consulte sobre ela, mais para baixo neste artigo). Voltando ao arquivo robots.txt: O arquivo robots.txt padrão dos sites Joomla devem funcionar bem para a maioria dos sites, exceto por uma questão muito importante: Ele bloqueia a pasta / imagens. Isso impede que as imagens do seu site sejam indexadas. Portanto comente a linha abaixo, ou a remova completamente:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
# Disallow: /images/ <-------- Comente usando #
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
# Disallow: /media/ <-------- Comente usando #
Disallow: /modules/
Disallow: /plugins/
# Disallow: /templates/ <-------- Comente usando #
Disallow: /tmp/

 Nota: desde o Joomla 3.3 este problema esta corrigido e estas linhas não estão bloqueadas.

Como você pode ver, o arquivo é usado principalmente para bloquear pastas do sistema. Além disso, você também pode usar o arquivo para impedir que páginas especificas sejam indexadas, como por exemplo:
páginas de Login, áreas Restritas, acesso a intranet, páginas 404, mas para isso é melhor usar a meta tags robots.

Ajustes avançados com robots.txt

Usuários avançados podem usar o arquivo robots.txt para bloquear a indexação das páginas que usam determinados parâmetros de URLs. Você poderia, por exemplo, bloquear qualquer página que contém um "?" para evitar conteúdo duplicado de non-SEF URL (URL não amigável):

User-agent: *
Disallow: /*?*

Permitir CSS e Javascript no robots.txt

Não bloqueie arquivos CSS e Javascript por padrão. Isso impede que o Google bot de renderizar adequadamente as páginas para entender se o seu site é otimizado para dispositivos móveis.

É por isso que a pasta / templates não é mais bloqueado quando o Joomla é instalado desde julho de 2014. Certifique-se, se os seus arquivos CSS e Javascript estão bloqueadas. Se você usar um plugin como JCH-Optimize, que combina múltiplos arquivos CSS e Javascript em arquivos individuais, você pode precisar especificar uma regra como esta:

Allow: /plugins/system/jch_optimize/assets2/
Allow: /plugins/system/jch_optimize/assets/

468x60

Testar robots.txt no Google Webmaster Tools

Google se tornou mais rigoroso em relação ao robots.txt em 2014 e mais exigente quanto a recursos bloqueados (CSS e JS), mas também introduziu algumas outras ferramentas no Google Search Console (Webmaster Tools) para ajudá-lo a solucionar problemas. A ferramenta de teste de robots.txt pode ser encontrada na seção rastreamento:

robots.txt

 

Neste caso, não há erros e avisos, mas se houver, você será notificado. Lembre-se que esta é apenas uma verificação básica sobre a validade das linhas que você digitou em, ele não verifica se os recursos bloqueados são cruciais para a exibição do site.

Este é o lugar onde a ferramenta "Buscar como o Google" vem a calhar. Eu realmente aconselho você verificar o seu site com esta ferramenta, você pode encontrar resultados surpreendentes! Esta ferramenta tenta verificar o seu site através dos olhos dos robôs do Google. Agora vamos ver como o Google olha um site através desta ferramenta:

Ferramenta Buscar como o Google

 

O resultado pode ser um tickbox verde, mas se o resultado é parcial, é porque você ainda tem trabalho a fazer!

Clique na caixa de seleção:

caixa de selecao buscar como o google

E uma nova página se abrirá. Agora seu site poderia ser semelhante a este:

buscar como o google resultado 2

Esta vai ser a exibição quando o Google encontra um bloqueio em alguma pasta dentro da pasta / template, onde todo o seu CSS e JS reside. É fácil encontrar os recurso que estão bloqueados já que o Google diz quais são eles na mesma tela. 

Certifique-se de verificar isso, pois isso pode realmente ter um impacto sobre os seus ranques de busca no Google devido ele não ser capaz de processar corretamente o seu site.

Aponte para o seu mapa do site no robots.txt

O robots.txt pode ser usado para apontar para os arquivos XML do mapa do site (sitemap.xml), especialmente se eles não estão localizados na raiz do seu site, que é freqüentemente o caso se o seu mapa do site é criado por extensões Joomla como OSmap, Jsitemap, etc .. o que você deve fazer é procurar a localização mapa do site na configuração da extensão e depois simplesmente apontar para ele no seu arquivo robots.txt, como este:

Sitemap: http://www.seoparajoomla.com.br/sitemap.xml

Atualizações do Joomla e alterações em robots.txt

De vez em quando o projeto Joomla lança atualizações para o arquivo robots.txt, por exemplo para não bloquear determinadas pastas mais. Se o fizerem, eles não vão simplesmente distribuir um novo arquivo robots.txt, porque iria substituir quaisquer personalizações feitas. Em vez disso, eles distribuem um arquivo chamado robots.txt.dist. Se você nunca fez qualquer personalização, você pode simplesmente excluir o arquivo robots.txt existente e renomear o robots.txt.dist para robots.txt.

Se você fez alguma personalização, porém, verifique simplesmente o que é alterado e copiar esta mudança ao seu arquivo personalizado. Normalmente, você será notificado de mudanças como esta nas mensagens de pós-instalação em seu painel Joomla. A mesma rotina é aplicável para alterações .htaccess.

Robots meta tag

A meta tag robots é o melhor método de bloquear o conteúdo e evitar que ele seja indexado, mas você só pode usá-lo para URLs, não para pastas do sistema. É um método muito eficaz para manter páginas fora do índice do Google. No Joomla, você pode especificar esta tag em uma série de locais, basicamente em paralelo a outras configurações de SEO como as meta-descriptions.

Nas Configurações Globais do seu site Joomla, a maioria dos sites devem deixar a configuração padrão, como você pode ver, você pode definir 4 combinações de configurações:

Robots meta tag

A menos que você queira esconder o seu site dos motores de busca (útil para o desenvolvimento), deixe a opção padrão Indexar, Seguir (Index, Follow).

Para páginas específicas, você pode definir este atributo, para artigos ou item de menus. Por exemplo: página de resultados de pesquisa não deve ser indexada, mas você gostaria que os links fossem seguidos: então defina o atributo para Não indexar, seguir

O Joomla irá gerar automaticamente a meta tag Robots em seu HTML, de modo que você pode facilmente verificar se sua configuração está correta:

Robots meta tag html

Um aviso: se você usar Noindex, Nofollow para esconder seus sites enquanto eles estão em desenvolvimento, certifique-se de mudar isto quando o seu site for colocado online (isso aconteceu comigo ...), caso contrário, sua pontuação de SEO será muito ruim ....

seo audit

Avaliação

Sua avaliação: 99% - 2 votes

Votos

Ler 393 vezes
Última modificação em 09 Junho 2017
Henry Douglas

Analista de marketing digital, trabalho com SEO desde 2010 e tenho 8 anos de experiência em Joomla (entusiasta do Joomla desde a versão 1.0.x).

Website.: seoparajoomla.com.br E-mail Este endereço de email está sendo protegido de spambots. Você precisa do JavaScript ativado para vê-lo.
Deixe um comentário

Certifique-se de preencher os campos indicados com (*). Não é permitido código HTML.

Impulsione o seu site!

O nosso objetivo é melhorar o seu site Joomla! Nós queremos sites que funcionam! Você pode aprender como otimizar seu site em nosso blog!

Parceiros & Apoio

SeoparaJoomla.com.br não é afiliado com ou endossado pelo Joomla! Project™. Quaisquer produtos e serviços fornecidos através deste site não são suportados ou garantidos pelo projeto Joomla! ou Open Source Matters, Inc. Uso das marcas de nome Joomla!®, logotipo e afins é permitido sob uma licença limitada concedida por Open Source Matters, Inc.

Henry Douglas, Editor

O Blog SEOparaJoomla.com.br no momento é totalmente construído e escrito por Henry Douglas, mas eu pretendo que seja um blog em que diversos profissionais e blogueiros disseminem conhecimentos sobre SEO e Marketing no CMS Joomla. 

Hospedagem

A hospedagem do nosso site é fornecida por CloudAccess.netCloudAccess foi escolhido por ser a melhor hospedagem Joomla em termos de velocidade local, segurança e suporte, são verdadeiros especialistas em Joomla.

Assine nossa newsletter!

Cadastre-se agora em nossa Newsletter e ganhe o guia 10 Dicas de SEO para Joomla! para otimizar seu site de graça!