Saltar para o conteúdo

Japon Sakura

Actualité

Como explorar um site de forma eficiente usando o mapa do site?

Um mapa do site lista os URLs de um domínio num ficheiro estruturado, geralmente no formato XML. Explorar um site a partir de…

Femme analysant un plan de site web imprimé sur un bureau en open space, explorant la hiérarchie de navigation d'un site internet

Um mapa do site lista os URLs de um domínio num ficheiro estruturado, geralmente no formato XML. Explorar um site a partir desse ficheiro permite mapear rapidamente o seu conteúdo, mas um sitemap nem sempre reflete todas as páginas publicadas.

O Google esclarece que um sitemap ajuda a dar a conhecer URLs, sem garantir que serão rastreados ou indexados. Medir a diferença entre o que o sitemap declara, o que os links internos interligam e o que os motores de busca realmente indexam oferece uma visão muito mais fiável do estado de um site.

Sitemap XML, links internos e índice do Google: três fontes, três visões do site

Cada fonte de dados abrange um âmbito diferente. Comparar esses âmbitos revela pontos cegos que uma exploração limitada ao sitemap não detetaria.

Fonte O que regista Principal limitação
Sitemap XML Os URLs declarados pelo proprietário do site Pode omitir páginas existentes ou listar URLs obsoletos
Links internos (crawl) As páginas efetivamente ligadas a partir de outras páginas do site Não deteta URLs órfãos (sem links de entrada)
Índice do Google (Search Console) Os URLs rastreados e/ou indexados pelo Googlebot Um URL presente no sitemap pode continuar sem ser indexado

Cruzar estes três inventários é o único método fiável para identificar páginas órfãs, URLs fantasma e conteúdos invisíveis para os motores de busca. Um robô de auditoria percorre o site seguindo os links, enquanto o Search Console informa sobre a forma como o Google trata cada URL.

Por exemplo, no mapa do site All News, cada secção é indicada com o respetivo URL e a data da última modificação, o que facilita a verificação rápida da cobertura editorial do domínio.

Homem de pé diante de um ecrã que apresenta um mapa de site estruturado com nós de navegação, num escritório em casa

Páginas órfãs: como o sitemap revela URLs esquecidos

Uma página órfã é um URL que existe no servidor, mas para o qual nenhum link interno aponta. Continua acessível através do seu endereço direto e, por vezes, consta do sitemap, mas um visitante que navegue normalmente nunca a encontrará.

Detetar páginas órfãs em três etapas

  • Extrair a lista completa de URLs do sitemap XML (através de um analisador ou de uma ferramenta de crawl, como o Screaming Frog, o Sitebulb ou um script Python simples)
  • Iniciar um crawl do site a partir da página inicial para recolher todos os URLs alcançados através dos links internos
  • Comparar as duas listas: qualquer URL presente no sitemap, mas ausente do crawl, é potencialmente órfão, e qualquer URL rastreado, mas ausente do sitemap, foi omitido da declaração

A operação inversa é igualmente reveladora. Uma página bem interligada por links internos, mas ausente do sitemap, pode passar despercebida numa auditoria limitada ao ficheiro XML. Ambas as discrepâncias indicam um problema de arquitetura que dificulta o rastreamento pelos motores de busca e a navegação dos utilizadores.

Caso frequente: variantes de URL

As páginas duplicadas surgem frequentemente quando o sitemap declara uma versão (com ou sem barra final, HTTP ou HTTPS, com ou sem parâmetros). Verificar a coerência entre os URLs do sitemap e os dos links internos permite detetar estas variantes antes que diluam o orçamento de rastreamento.

Etiqueta lastmod do sitemap: sinal útil ou ruído desnecessário

A etiqueta lastmod indica a data da última modificação significativa de uma página. O Google recomenda que reflita uma alteração real do conteúdo, e não uma atualização automática (regeneração da cache, alteração estética do modelo).

O Bing também utiliza esta data como sinal de atualidade. Em contrapartida, estes dois motores não têm em conta as etiquetas changefreq e priority. Preencher estes campos não traz, portanto, qualquer benefício para o rastreamento ou para o SEO.

Um sitemap em que todas as datas lastmod são iguais (um caso típico de um CMS mal configurado) perde o seu valor como sinal. O motor deixa de conseguir distinguir um artigo atualizado ontem de uma página inalterada há dois anos. Para um editor de conteúdos, manter datas lastmod fiéis acelera a redescoberta das páginas modificadas.

Dois colegas exploram juntos uma ferramenta de mapa de site num computador portátil, num café urbano moderno

Explorar um site cujo sitemap está incompleto ou não existe

Nem todos os sites publicam um sitemap e os que o fazem nem sempre incluem todas as suas páginas. Nesse caso, a exploração depende de outros métodos.

  • Crawl completo a partir da página inicial, seguindo todos os links internos, incluindo os do rodapé, do menu e da paginação
  • Pesquisa site:domaine.fr no Google para listar as páginas já indexadas e, em seguida, comparação com os resultados do crawl
  • Consulta do Search Console (relatório “Páginas”) para identificar URLs descobertos, mas não indexados, ou indexados, mas ausentes do sitemap
  • Verificação manual dos URLs candidatos através da barra de endereço (páginas de avisos legais, CGV, antigas landing pages frequentemente desligadas da navegação)

Um robô de auditoria identifica as páginas alcançadas, os respetivos códigos de resposta e os links de saída. O Search Console informa sobre o tratamento efetivo de um URL pelo Google, abrangendo um ângulo diferente: uma página pode ser rastreada sem ser indexada, ou ser indexada e depois removida.

IndexNow e sitemap: dois mecanismos complementares no Bing

A Microsoft distingue claramente o sitemap, que funciona como um inventário permanente dos URLs, e o IndexNow, que notifica em tempo real a adição, alteração ou remoção de um URL. Uma confirmação de receção do IndexNow confirma a notificação, não a indexação.

Para um site de notícias que publica vários artigos por dia, combinar um sitemap atualizado com notificações IndexNow abrange as duas temporalidades: o motor dispõe de um inventário completo e recebe um sinal instantâneo para cada novo conteúdo. No Google, o mecanismo equivalente continua a ser o envio do sitemap através do Search Console e o protocolo ping padrão.

A exploração de um site através do seu mapa torna-se mais fiável assim que deixamos de considerar o sitemap como fonte única. O confronto sistemático entre o ficheiro XML, a estrutura de links internos e os dados de indexação transforma um simples inventário de URLs num verdadeiro diagnóstico de visibilidade.

Como explorar um site de forma eficiente usando o mapa do site?