Saltar para o conteúdo

Archilinux

Linux, logiciels libres et infographie

Como explorar o sitemap de um site com eficiência para encontrar as páginas que procura

Encontramos um site que claramente contém centenas de páginas, mas a navegação leva apenas às secções principais. Para encontrar um artigo…

Une femme analysant un plan de sitemap imprimé sur son bureau en bois dans un bureau à domicile

Encontramos um site que claramente contém centenas de páginas, mas a navegação leva apenas às secções principais. Para encontrar um artigo específico, uma ficha de produto escondida ou uma página de documentação, procurar manualmente levaria horas. O sitemap do site oferece um atalho direto para a lista de URLs que o editor decidiu tornar visíveis. Mas é preciso saber onde encontrá-lo, como lê-lo e, sobretudo, como localizar rapidamente aquilo que nos interessa.

Encontrar o URL do sitemap: robots.txt e caminhos alternativos

O mais comum é acrescentar /sitemap.xml ao nome do domínio. Na maioria dos casos, funciona. Quando não funciona, perde-se tempo a tentar adivinhar o caminho certo.

O método mais fiável passa pelo ficheiro robots.txt, acessível na raiz de qualquer site. Basta acrescentar /robots.txt ao domínio e procurar a linha que começa por Sitemap:. Essa linha indica o endereço exato do ficheiro, que pode estar alojado com um nome ou num diretório pouco habitual (por exemplo, /sitemaps/main.xml ou /sitemap_index.xml).

Alguns sites declaram vários sitemaps no respetivo robots.txt, cada um abrangendo um tipo de conteúdo: artigos, imagens, vídeos, fichas de produtos. Identificar a linha certa antes de clicar evita percorrer um ficheiro que não contém o tipo de página procurado. No sitemap do Scoopium, por exemplo, observa-se uma organização que separa claramente as diferentes secções do site, facilitando a navegação direcionada.

Um homem a consultar uma visualização de sitemap em árvore num ecrã de computador, num escritório moderno

Índice de sitemaps e ficheiros subordinados: navegar num sitemap dividido

Os sites de grandes dimensões não armazenam todos os seus URLs num único ficheiro. Um ficheiro sitemap está limitado a 50 000 URLs ou 50 MB sem compressão. Acima desse limite, o site distribui os endereços por vários ficheiros ligados através de um índice.

Reconhecer um índice de sitemaps

Quando abrimos o sitemap principal e vemos etiquetas <sitemap> em vez de etiquetas <url>, estamos perante um índice. Cada entrada aponta para um ficheiro subordinado. Estes ficheiros podem estar organizados por idioma, categoria ou data de publicação.

Abrir o índice não basta para encontrar uma página. É preciso identificar o ficheiro subordinado relevante, abri-lo e, em seguida, procurar o URL pretendido. Num site de comércio eletrónico, um ficheiro pode agrupar as categorias, outro as fichas de produtos e um terceiro as páginas editoriais.

Usar a pesquisa de texto no ficheiro

Um ficheiro sitemap XML é apresentado no navegador como texto estruturado. O atalho Ctrl+F (ou Cmd+F no Mac) permite pesquisar uma palavra-chave diretamente na página apresentada. Basta introduzir um fragmento do URL ou uma palavra que se espere encontrar no slug da página.

Esta pesquisa funciona em ficheiros com alguns milhares de URLs. Acima disso, o navegador pode demorar a apresentar o ficheiro completo e a pesquisa no código-fonte bruto torna-se mais eficaz. Um clique com o botão direito, seguido de «Ver código-fonte» e da mesma pesquisa de texto, contorna o problema de apresentação.

Ler os metadados do sitemap XML para filtrar os resultados

Um sitemap não se limita a uma lista de endereços. Cada entrada pode conter metadados úteis para filtrar as páginas sem ter de as abrir todas.

  • <lastmod> indica a data da última modificação. Assim, é possível identificar páginas atualizadas recentemente, o que é útil quando se procura conteúdo recente sobre um tema em evolução.
  • <changefreq> indica a frequência de alteração declarada (daily, weekly, monthly). As páginas assinaladas como «daily» são frequentemente páginas ativas, blogs ou feeds de notícias.
  • <priority> reflete a importância relativa que o editor atribui a cada página em relação às restantes páginas do mesmo site. Um valor elevado aponta para as páginas que o site considera centrais.

Estes metadados são declarativos. O editor do site preenche-os livremente e nada garante que estejam atualizados. Na prática, a data lastmod continua a ser a mais fiável, pois é muitas vezes gerada automaticamente pelo CMS sempre que se guarda uma página.

Uma pessoa a explorar um ficheiro sitemap XML num computador portátil, num espaço de coworking descontraído

Sitemap HTML e alternativas quando o XML não é suficiente

Nem todos os sitemaps estão em XML. Alguns sites disponibilizam um sitemap HTML, concebido para visitantes. Normalmente, encontra-se através de uma ligação no rodapé, muitas vezes com o nome «Mapa do site».

O sitemap HTML apresenta as páginas como ligações clicáveis, organizadas por secções. Para uma exploração rápida, é muitas vezes mais fácil de ler do que o XML, sobretudo quando não se sabe exatamente o que se procura. Em vez de percorrer URLs em bruto, é possível explorar visualmente as categorias.

Quando o sitemap não representa todo o site

Um sitemap não é uma lista completa de todas as páginas existentes. Inclui os URLs que o editor pretende indicar aos motores de pesquisa. Algumas páginas podem ser omitidas deliberadamente (páginas de início de sessão, páginas de agradecimento após o preenchimento de um formulário, conteúdos arquivados).

Para verificar se uma página existe sem constar do sitemap, é possível combinar a pesquisa com o operador do Google site:nomdudomaine.com mot-clé. Esta consulta pesquisa no índice do Google, que pode ter descoberto a página por outros meios que não o sitemap, nomeadamente através de ligações internas.

  • Comparar os resultados de site: com o conteúdo do sitemap revela as páginas indexadas, mas não declaradas.
  • As páginas incluídas no sitemap, mas ausentes dos resultados do Google, são demasiado recentes ou estão excluídas por uma diretiva noindex.
  • Cruzar as duas fontes permite obter uma visão mais completa da arquitetura real do site.

Explorar um sitemap não exige ferramentas pagas nem conhecimentos técnicos avançados. Um navegador, o atalho de pesquisa de texto e o conhecimento da estrutura de índice e ficheiros subordinados são suficientes na grande maioria dos casos. O ponto de partida é sempre o ficheiro robots.txt, que evita ter de adivinhar o endereço do sitemap e encaminha diretamente para o ficheiro certo.

Como explorar o sitemap de um site com eficiência para encontrar as páginas que procura