La rentrée arrive à grands pas, que vous soyez administrateur de sites ou une agence SEO marketing, c’est la période idéale pour ré-organiser et bichonner vos sites internet de services ou e-commerces. Nous le dirons jamais assez, une vitrine web ne doit jamais rester statique, elle doit être dynamique pour apporter régulièrement des nouvelles informations marketing à vos visiteurs et être exempt d’erreurs. Pour cela, réalisez un diagnostic complet et précis des éléments afin d’améliorer le positionnement sur les moteurs. Pour cela, nous vous conseillons d’utiliser un crawler SEO, un logiciel qui va simuler le comportement des robots d’indexation de Google.Pour comprendre le principe d’un logiciel crawler de sites, il est important de rappeler le fonctionnement du classement des sites par les robots web tels que Google ou Bing. Pour classer les nombreux sites de la toile sur une requête donnée, les robots utilisent des programmes informatiques qui permettront de parcourir les milliers de pages web. Pour Google, vous connaissez bien son robot d’indexation : Google Bot.
Comment fonctionne un crawler ?
Pour comprendre le principe d’un logiciel crawler de sites, il est important de rappeler le fonctionnement du classement des sites par les robots web tels que Google ou Bing. Pour classer les nombreux sites de la toile sur une requête donnée, les robots utilisent des programmes informatiques qui permettront de parcourir les milliers de pages web. Pour Google, vous connaissez bien son robot d’indexation : Google Bot.
Les robots des moteurs de recherche visitent chaque page et les liens qu’ils rencontrent et récupèrent toutes les informations et données textuelles, elles sont mixées dans un algo puissant qui produira les SERP (pages de résultats de recherche).
De la même façon, un logiciel de crawl va simuler et reproduire ce qui est vu par les robots d’indexation des moteurs de recherche. Ainsi le robot crawl a le pouvoir de réaliser un diagnostic précis grâce à ses nombreux paramètres d’analyse, donnera de nombreuses informations et mettra en évidence les potentielles erreurs : Ressources links, pages links, pagination, nofollow internet et externes, XML sitemap, contenus dupliqués, erreurs 404 ou 301…
Il existe 3 types de robots de crawl
- Crawler d’indexation : c’est celui utilisé par Google et autres moteurs de recherches. Le but des robots du craxler d’indexation est de collecter un maximum de données web afin de les classer efficacement par rapport aux requêtes des utilisateurs. Nombre de pages parcourues = budget de crawl est visible dans la Google Search Console. Les données d’indexation dépendent de différents paramètres (type de sites, nombre pages, état de santé du site …)
- Le crawler de diagnostic : c’est un programme informatique utilisé par les propriétaires, webmarketeurs et professionnels SEO afin d’analyser les données des sites analysés et les optimiser pour le positionnement requêtes. Le robot de crawl diagnostic va se concentrer sur les trois fondements majeurs du référencement naturel soit la structure technique de votre site, la pertinence du contenu mis en ligne et l’efficacité de votre stratégie de backlinks (liens retour).
- Le crawler de veille : ce type de programme permet de réaliser un suivi précis des sites concurrents notamment e-commerce et de leurs stratégies marketing et évolution des marchés.
Vous comprendrez qu’il est intéressant dans toute mise en place et optimisation SEO d’utiliser un crawler de diagnostic : pour réaliser un audit SEO complet qui mettra en avant toutes les analyses des données du site web et solutions afin de le rendre séduisant aux robots d’indexation lors de leur passage. Une bonne initiative à réaliser une fois par an.
Les différents objectifs
Analyser le maillage interne
Souvent inexistant ou très mal conçu, le maillage interne dans vos contenus est pourtant la pierre angulaire pour obtenir une bonne indexation par les robots des moteurs de recherche et un meilleur positionnement. De plus un maillage bien réalisé offre une meilleur expérience client, un aspect fortement recommandé dans les guidelines de Google. Un maillage efficace valorise le trafic et optimise le parcours clients.
De manière générales, toutes les pages ou articles de votre site devraient être maillées entre eux. Seules les landing pages des campagnes (page contact, SEA, remarketing… ) n’ont pas besoin d’être liées entre elles.
Dans son analyse des liens internes, le crawler de diagnostic informe sur la bonne qualité du maillage des contenus ( liens internes vers pages ou articles blog ). Comment ? Ce dernier va désigner simplement dans la structure de votre site à travers l’organisation des liens internes. Un maillage peut devenir très complexe selon l’importance du nombre de pages : c’est le cas d’un site e-commerce qui possèdent des milliers de pages produits, références, catégories et sous -catégories.
Le crawler mettra aussi en évidence les erreurs 404 lorsqu’un lien envoie vers une page non disponible. On sait bien que les pages 404 est pénalisant aux yeux de Google.
Analyses des pages et contenus dupliqués
Autre élément pénalisant par Google pour le positionnement, les contenus dupliqués ( duplicate content) doivent être rectifiés et le crawler vous permettra de les reconnaitre. On appelle contenu dupliqué des pages au contenu identique ou suffisamment proche de l’original. On qualifie ces contenus de doublons qui sont très mal vu par les robots d’indexation des moteurs de recherche.
Voici la recommandation officielle de Google concernant le duplicate content : https://support.google.com/webmasters/answer/139066
Analyse des backlinks – liens retour
Les robots d’indexation de Google sont sensibles aux stratégies de netlinking produites, les types de liens backlinks et les sites qui renvoient les liens retour. Pour rappel, un backlink est un lien placé sur un autre site web qui pointent vers l’une de vos page ou url du site. Aux yeux de Google, les liens retour émis sur des sites de qualité et d’autorité vont révéler la popularité du site. Une stratégie netlinking doit répondre à des règles précises pour ne pas être pénalisant. Le crawler de diagnostic netlinking identifiera les sites qui émettent des liens vers vos pages et ancres de liens ce qui vous permettra d’ajuster au mieux votre stratégie de backlinks pour renforcer l’autorité de vote domaine d’activité.
Crawlez votre site : l’outil Screaming Frog
Vous trouverez de nombreux types de logiciels de crawl sur le web. Un des plus connus et celui que nous utilisons est Screaming Frog pour exemple. L’outil Screaming Frog est excellent pour réaliser des diagnostics précis de la santé de votre site : Ressources links, pages links, pagination, nofollow internet et externes, XML sitemap, contenus dupliqués, erreurs 404 ou 301.. et bien plus encore.
Vous trouverez tous les paramètres, données et analyses du crawl ici : https://www.reacteur.com/2023/08/site-rentree-etapes.html
Comment agir sur les contenus obsolètes?
Différentes méthodes permettent de les trouver selon la gestion de votre site ou blog. Vous pourrez aussi cherchez les contenus anciens et opérations commerciales dans les URL et/ou dans les titles et H1 selon les termes utilisés et les évènements promotionnels.
Vérifiez d’abord les impressions, nombre clics et trafic des pages concernées. L’objectif est de supprimer les contenus maketing trop obsolètes, les offres promotionnels soldés notamment ou les produits en rupture.
Pour les pages ou articles d’informations généralistes, n’hésitez pas à les mettre au gout du jour ( date), supprimer le contenu obsolète, rajouter des nouvelles informations sur le même thème, photos, vidéos… en conservant l’URL. C’est une technique SEO que nous utilisons souvent sur des articles anciens peu visibles.
Etude des statistiques trafic
Lors du crawl, il est judicieux de repérer les pages qui ne génèrent pas de trafic afin de les optimiser. Pour cela commencez par filtrer les produits sans trop de restriction. Dans un filtrage trop restrictif, vous risquez, le cas échéant, de passer à côté de jolies choses comme des cocons sémantiques de plusieurs milliers de pages qui récupèrent poussivement une petite centaine de visites en 6 mois.
Ensuite, on check que la page soit bien indexée et on vérifie ses performances dans la Google Search Console.
Si le volume de pages est trop important pour aller les checker une par une, classez les pages par catégorie ou typologie pour les isoler et trouver des solutions applicables sur le lot entier. Vous répèterez la même opération dans quelques mois et vous pourrez vérifier si le travail d’optimisation a été bénéfique.
Dans la Google Search Console, nous allons pouvoir faire un double check de ce qu’on a constaté dans le crawl et trouver de nouvelles choses à nettoyer. Rendez-vous dans le menu Pages (Indexation des pages) et regardons da,ns le menu :-Pages non envoyées uniquement via des sitemaps.-
Rapprochez-vous du développeur de votre site
Avant d’agir, n’hésitez pas à faire un ‘état des lieux précis avec votre webmaster ou agence SEO, si certains fichiers ne sont d’aucune utilité aux moteurs, vous pourrez les interdire par le robots.txt sur les conseils des experts de développement et SEO. Ces spécialistes sauront vous guider et vous donner les meilleures préconisations dans la mise en œuvre d’ un check-up complet de votre site internet professionnel.
