Ce n’est plus une question théorique. Quand un assistant IA répond à quelqu’un, il va parfois consulter une page en direct pour la citer dans sa réponse. Autrement dit : votre contenu peut être lu et repris par une IA au moment même où un internaute pose sa question. Le problème, c’est que la plupart des sites n’en ont aucune idée. L’information existe pourtant, elle est dans vos logs serveur, mais ces logs sont illisibles pour 95 % des gens.

C’est exactement le trou que SEO Log vient combler. C’est une extension WordPress gratuite qui enregistre chaque passage de robot sur votre site — moteurs de recherche, crawlers d’entraînement des IA, assistants IA en direct, outils SEO, bots sociaux — et les transforme en statistiques claires, directement dans votre administration WordPress.

Dans ce guide, je vous montre comment l’installer et je passe en revue chaque écran, un par un, pour que vous sachiez exactement quoi regarder.

Installer SEO Log : il n’y a (vraiment) rien à configurer

Retrouver le plugin sur le dépôt officiel de WordPress : Trimardeau SEO Log ou rechercher « Trimardeau SEO Log » dans la liste des plugins.

Depuis votre administration WordPress, installez puis activez l’extension. C’est tout. Il n’y a aucun réglage à faire, aucune clé API à renseigner, aucune case à cocher : dès l’activation, les données commencent à s’enregistrer.

Deux choses valent la peine d’être précisées, parce qu’elles conditionnent la façon de lire les chiffres ensuite.

Vos visiteurs humains ne sont jamais enregistrés. SEO Log ne loge que les robots. Pour un visiteur humain, il n’y a aucune requête en base de données, aucun cookie déposé, aucune requête externe. C’est un choix de conception : zéro impact sur les performances de votre site, pas de bannière cookie à ajouter, et rien à déclarer côté RGPD pour vos visiteurs. Tout est embarqué dans l’extension.

L’identification repose sur le User-Agent, et SEO Log ne voit que les bots qui atteignent WordPress. Concrètement : si une page est servie directement par un cache ou un CDN en périphérie (edge), la requête n’arrive jamais jusqu’à WordPress, donc SEO Log ne la comptabilise pas. C’est une limite honnête à connaître : les chiffres reflètent ce que votre WordPress voit passer, pas l’intégralité du trafic robot au niveau réseau. Si vous souhaitez aller plus loin dans l’analyse de log, je vous invite à vous rendre sur cet article : Analyse de log avec Screaming Frog og Analyser.

Le Dashboard : votre vue d’ensemble

C’est l’écran d’accueil de SEO Log, et celui où vous passerez le plus de temps. En haut, un sélecteur de période vous laisse basculer entre 7, 30, 90 ou 365 jours, avec à chaque fois une comparaison automatique par rapport à la période précédente (utile pour repérer une tendance à la hausse ou à la baisse).

Ce que vous y trouvez :

• Les cartes de synthèse en tête donnent le total de hits de bots, la part des moteurs de recherche et celle des crawlers d’entraînement IA, chacune avec son évolution en pourcentage. En un coup d’œil, vous savez si votre site est plus ou moins crawlé qu’avant.
• La courbe des visites dans le temps répartit le trafic robot par famille : assistants IA en direct, crawlers d’entraînement IA, moteurs de recherche, outils SEO et bots sociaux. C’est là qu’on voit apparaître les pics de crawl et, souvent, des schémas réguliers qu’on ne soupçonnait pas.
• Le répartiteur par famille de bots vous dit qui vient chez vous, en proportion. Les contenus les plus crawlés remontent les pages qui attirent le plus les robots. Les codes HTTP servis aux bots vous alertent si vos robots tombent trop souvent sur des erreurs (un 404 ou un 500 récurrent servi à Googlebot, ça se corrige vite). Enfin, une heatmap heure × jour montre à quels moments de la semaine le crawl est le plus intense.

Contents : quel contenu les bots préfèrent

Cet écran liste chaque page, article et catégorie visité par les robots. La table est triable, et chaque ligne indique le bot dominant pour ce contenu.

C’est précieux pour deux raisons. D’abord, vous repérez vos contenus « aimants à IA » — ceux que les crawlers d’entraînement ou les assistants reviennent lire. Ensuite, vous détectez l’inverse : des pages importantes pour vous que les robots ignorent, signe qu’il y a peut-être un problème de maillage interne ou d’indexation à creuser.

Live Log : le flux brut, en direct

Le Live Log est le journal chronologique de chaque requête de bot, ligne par ligne : l’heure, le bot, l’URL demandée, le type de contenu et le code HTTP renvoyé. Vous pouvez filtrer par famille de bots pour isoler, par exemple, uniquement les moteurs ou uniquement les IA.

C’est la vue la plus « terrain ». Elle sert à investiguer : comprendre pourquoi un bot martèle une URL précise, vérifier qu’une page fraîchement publiée a bien été crawlée, ou constater en temps réel qu’un assistant IA vient de passer sur votre contenu.

404 Monitor : les URLs cassées que les bots martèlent

Cet écran isole les URLs en erreur 404 que les robots continuent de solliciter. Un lien mort qu’un bot rappelle sans cesse, c’est du budget de crawl gaspillé — et, potentiellement, une occasion manquée d’être lu et cité.

Le réflexe : repérer ici les 404 récurrentes, puis mettre en place les redirections qui s’imposent pour que les robots (et l’autorité de vos anciennes URLs) atterrissent au bon endroit.

Les statistiques directement dans l’éditeur

SEO Log ne vous oblige pas à quitter votre flux de travail habituel. Quand vous éditez un article, un encart affiche la courbe des visites de bots sur 30 jours pour ce contenu précis, avec le détail par bot et la date de dernière visite de chacun.

Et dans la liste de vos articles, une colonne triable vous permet de classer vos contenus par volume de passages de bots. Vous voyez immédiatement, sans ouvrir aucun tableau de bord, quels sont vos articles les plus (et les moins) visités par les robots.

Par où commencer, concrètement

Si vous découvrez l’extension, voici l’ordre que je conseille. Installez, activez, puis laissez tourner quelques jours — les données ont besoin d’un peu de temps pour devenir parlantes. Revenez ensuite sur le Dashboard en période 30 jours pour prendre la mesure de qui vous crawle. Passez au 404 Monitor pour nettoyer les erreurs que les bots répètent. Enfin, ouvrez Contents pour repérer vos contenus qui attirent les IA — ce sont vos meilleurs candidats à renforcer dans une logique GEO.

Le web bascule vers des moteurs qui lisent, résument et citent. La première étape pour en tirer parti, c’est simplement de voir ce qui se passe chez vous. C’est tout ce que fait SEO Log — et il le fait sans ralentir votre site ni toucher à un seul de vos visiteurs humains.

Allez plus loin

Les restrictions de WordPress font qu’il est uniquement possible de vérifier les pages HTML, cela ne prend pas en compte les images, fichiers statiques, etc. Si vous souhaitez avoir une plus grande visibilité sur comment les robots et les Crawler se comportent sur votre site, vous pouvez utiliser un outil que j’ai développé qui vous permet d’analyser directement vos logs SEO en ligne.

Au fil du temps, vous créé de nouvelles pages sur votre site internet, vous publiez de nouveaux produits, vous désactiver des offres promotionnelles, etc. Toute cette activité génère du trafic via les moteurs de recherche ou via les réseaux sociaux. Lors d’une refonte, il est indispensable de conserver l’ensemble des efforts fournis dans la promotion de votre site interne.

Encore aujourd’hui, je vois de trop nombreux sites internet perdre 80% de leur trafic issu du référencement naturel à cause d’une migration mal gérée. Dans cet article, je vais vous présenter le concept de migration SEO et vous expliquer pas à pas la méthode à respecter afin de maximiser vos chances de réussite afin que votre refonte vous permette d’atteindre de nouveaux sommets et pas que votre refonte vous fasse perdre une grande partie de votre chiffre d’affaires.

Définition : Migration SEO

Une migration SEO est une action visant à mettre en correspondance les anciennes URLs des pages de votre site internet avec les nouvelles URLs de la nouvelle version de votre site.

Imaginons que vous possédiez un site internet e-commerce utilisant le CMS Prestashop et vous effectuez une refonte afin de passer sur Shopify.

Vos anciennes pages catégories présentes la structure d’URL suivante :

https://www.exemple.com/677-ma-categorie

Cependant, suite à la migration vers Shopify, les pages catégories deviennent :

https://www.exemple.com/collections/ma-categorie

Suite au changement de CMS, si un utilisateur se rend sur la première URL, il tomberait sur une page 404, en effet cette page n’existe plus dans la nouvelle version de votre site internet. Il en est de même pour les robots de Google. Sans action de votre part, un visiteur cliquant sur un ancien lien arriverait sur une erreur et Google déclasserait votre page (celle-ci n’existe plus).

L’objectif de la migration SEO est de mettre en place des redirections afin qu’un utilisateur ou un robot tentant d’accéder à l’ancienne page de votre site soit automatiquement redirigé vers la nouvelle version à l’aide d’une redirection 301.

Pour la migration d’un petit site, ce plan de redirection peut être réalisé à la main, cependant, lors de la refonte de sites comportant plusieurs milliers ou dizaines de milliers de page, il est nécessaire d’utiliser des outils avancé afin de générer le plan de redirection adéquat.

Le plan de redirection

Dans une migration SEO, le principal livrable est le plan de redirection. Il s’agit d’un fichier souvent au format csv présentant deux colonnes, le premier correspondant à l’URL source, la seconde à l’URL de destination. Ce fichier représente l’ensemble des redirections à mettre en place afin de s’assurer qu’un visiteur ou un robot tentant d’accéder à une ancienne page du site soit redirigé vers la nouvelle version de celle-ci.

Les outils de migration SEO

Comme évoqué précédemment, la migration d’un site de quelques dizaines de pages peut se faire à la main, cependant pour les sites comportant de nombreuses pages, il est nécessaire d’utiliser des outils. Voici donc une liste d’outils non-exhaustive vous permettant d’accélérer votre processus de migration.

• Screaming Frog SEO Spider : Screaming Frog est un crawler permettant de parcourir l’ensemble d’un site internet et d’en extraire les informations principales.
• Screaming Frog Log File Analyzer : un autre outil développé par Screaming Frog vous permettant d’analyser les logs de votre site internet pour détecter l’ensemble des pages auxquelles les visiteurs ou les robots ont tentée d’accéder.
• Google Search Console : L’outil fourni par Google pour analyser les statistiques SEO de votre site internet.
• Google Spreadsheet : vous permettant de mettre en place des formules pour faire correspondre vos anciennes pages et vous nouvelles pages.

Il existe de nombreux outils vous permettant de récupérer les informations des pages de votre site internet.

Au fil de cet article, vous verrez qu’une migration nécessite d’accéder a de nombreuses informations. C’est pourquoi nous avons développé notre propre outil de migration prenant en compte plus 300 critères par page afin d’automatiser et de garantir la qualité de nos migrations SEO. Si vous souhaitez plus d’informations à ce sujet et savoir comment nous pouvons vous accompagner dans la migration SEO de votre site internet, n’hésitez pas à me contacter.

Les étapes d’une migration réussie

Voyons maintenant les différentes étapes nécessaires à la réalisation d’un plan de redirection dans le cadre d’une migration SEO.

Récupérer la liste des pages du site actuel

La première étape consiste à récupérer l’ensemble des pages du site actuel. Il est important de ne pas en oublier, c’est pourquoi nous allons utiliser plusieurs outils. Il est important de prendre en compte les pages présentent dans l’arborescence, mais aussi les pages orphelines qui peuvent se cacher sur votre site internet.

Crawl du site

La première chose à faire est d’effectuer un Crawl du site, pour cela, vous pouvez utiliser un logiciel tel que Screaming Frog SEO Spider. Cela vous permettra de détecter l’ensemble des pages présentes dans l’arborescence de votre site internet.

Google search console

Bien souvent, le crawl du site ne permet pas dans de détecter l’intégralité des pages. Des anciennes pages qui ont été référencées dans le passé ne sont plus présentes sur votre site internet. Ces pages ayant pu recevoir du trafic et des liens, il est important de les prendre en compte lors de la réalisation de votre plan de redirection. Pour cela, vous pouvez utiliser la Search console de Google en récupérer l’ensemble des URLS s’étant positionnée sur Google dans les 16 derniers mois.

Analyse de log

Enfin, le meilleur moyen d’avoir une liste exhaustive des pages connues par les moteurs de recherche et auxquelles les internautes ont tenté d’accéder et d’utiliser l’analyse de log. Les logs serveur vous permettront d’identifier toutes les ressources présentent sur votre site internet et ayant fait l’objet d’une requête.

Une fois que vous avez identifié l’ensemble des URLs existantes ou ayant existé de votre site internet, regroupez les dans un fichier Spreadsheet.

Récupérer la liste des pages du nouveau site

Maintenant, vous devez récupérer l’intégralité des URL de votre nouveau site, celui-ci n’ayant pas encore d’historique, vous pouvez vous contenter d’effectuer un crawl pour récupérer l’ensemble des informations.

Enrichir vos données

Vous avez désormais une liste de l’intégralité de vos anciennes et vos nouvelles pages. Afin de faciliter le travail de migration, vous pouvez enrichir vos données avec des informations qui ne sont pas présente sur vos pages. Dans le cas d’un site e-commerce, vous pouvez par exemple extraire l’intégralité de vos produits avec les SKU correspondants. Les SKU étant uniques, vous pouvez vous baser sur cette information afin de faire correspondre vos pages.

Voici quelques exemples de données utiles dans le cadre d’une migration SEO, je ne mentionnerai pas ici les données issues du crawl tels que les balises title, H1 et autres informations disponibles de base dans Screaming Frog :

• SKU : unité de gestion de stock unique de vos produits.
• Fil d’ariane : vous permet d’estimer la position d’une page en fonction de son fil d’ariane.
• Images : nombre d’images présentent sur la page.
• Type de page (produit, blog) : des informations sur le type de page sont souvent disponibles dans les classes de la balise <body> de la page.

Faire correspondre les pages

La dernière étape consiste à effectuer la correspondance entre les pages, pour cela, vous pouvez utiliser un langage de programmation tel que PHP ou Python ou bien utiliser Google Spreadsheet. Après avoir créé deux feuilles, une contenant les URLs source avec l’intégralité des informations disponibles sur la page et une autre contenant les URLs de destination avec les informations liées. Il ne vous reste plus qu’a vous armer de patienter et a utiliser la fonction RECHERCHEV afin de mettre en place les correspondances.

Pour les petits sites comportant moins de 1000 pages, l’utilisation de Spreadsheet peut être une bonne solution, cependant, dès que l’on travaille sur des migrations comportant plusieurs dizaines de milliers de pages, il est nécessaire de passer par des outils plus avancés.

Une fois les correspondances faites, il ne vous reste plus qu’à exporter votre plan de redirection au format csv et à l’intégrer dans le CMS de votre choix.

Vérifier que la migration c’est bien passée

Une fois le plan de redirection intégré, il faut désormais vérifier que l’intégralité des pages est bien redirigée. Pour cela, il vous suffit de crawler une à une les URL de l’ancien site en remplaçant le nom de domaine par celui de votre préproduction. L’intégralité des pages doit rediriger vers les pages correspondantes dans la nouvelle arborescence de votre site internet.

Les erreurs les plus courantes d’une migration

Pour terminer cet article, je vais vous présenter quelques erreurs les plus communes dans une migration SEO.

Ne pas faire de migration

La première erreur est de ne pas faire de migration, il suffit de regarder les postes LinkedIn concernant les migrations ratées afin de se rendre compte de l’impact sur le business de l’entreprise. Si vous ne mettez pas en place de plan de redirection, vous risquez de perdre la quasi-totalité de votre trafic SEO.

Ignorer les redirections historiques

Une autre erreur que je vois bien trop souvent est de négliger les redirections historiques. Au fil du temps, les redirections s’accumulent sur un site internet. Le problème est que ces redirections sont bien souvent invisibles. Lors de la réalisation d’un plan de redirection, il est nécessaire d’exporter et de réintégrer l’ensemble des redirections historiques du site internet.

Une fois les redirections importées, il convient de vérifier qu’il n’existe pas de chaîne de redirection (soit une redirection renvoyant elle-même vers une redirection), si tel est le cas, il est nécessaire de retraiter ces chaînes afin d’éviter la dilution du PageRank.

Que faire en cas de problème suite à une migration ?

Tous les jours sur LinkedIn, je vois passer des cas où les sites ont perdu presque la totalité de leur trafic organique suite à une migration de site internet qui a mal été réalisée. Cette situation, souvent critique peut avoir un impact important sur votre activité.

Bien que cela ne soit pas parfait, il existe des méthodes permettant de rattraper le coup. Dans la section suivante, je vais vous exposer quelques méthodes qui vous permettront de récupérer tout ou partie de votre trafic en effectuant un plan de migration après la mise en ligne.

Récupérer la liste des pages depuis l’ancien site.

Si vous possédez une sauvegarde de votre ancien site internet, vous devez réinstaller cette version en ligne (ou en local). Suite à cela, vous devez effectuer un crawl sur cet environnement afin de récupérer la liste de vos pages. Vous aurez alors une base vous permettant de créer un nouveau plan de redirection que vous pourrez ajouter à la nouvelle version de votre site internet.

Ensuite, le processus est le même que pour une migration classique, il vous faudra trouver les correspondances entre les anciennes pages et les nouvelles pages.

Utiliser la Wayback Machine

Si vous ne possédez pas de sauvegarde de votre ancien site, les choses se compliquent. Mais il existe une autre méthode, qui peut convenir pour les petits sites : l’utilisation de la Wayback Machine.

Il s’agit d’un outil qui sauvegarde les pages web. À partir de la Wayback Machine, il est possible de reconstruire une version synthétique de votre ancien site internet. Cependant, cette nouvelle version risque de ne pas être complète.

Utiliser la technique du Log Recovery

Enfin, il arrive qu’il y ait très peu d’information et qu’il n’y ait pas de sauvegarde. Dans ce cas, la dernière chance est de passer par l’analyse de log. Pour cela, vous devez analyser l’ensemble des ressources interrogées par Google, puis tenter de déduire la page de redirection à partir de l’URL.

Cette méthode est fastidieuse, mais si les URLs de l’ancien site étaient compréhensibles, elle vous permettra de mettre en place des redirections, certes imparfaites, mais gardant une cohérence avec le contenu des pages.

Aujourd’hui, nous allons plus loin. Je vais vous présenter les différentes techniques de Cloaking SEO et vous expliquer comment mettre en place ces stratégies.

Avant de commencer, je souhaite vous mettre en garder, l’utilisation des techniques de Cloaking avec pour objectif de présenter un contenu différent aux robots de Google et à l’internaute n’est pas approuvé par Google. En mettant en place ce genre de stratégie vous risquez une pénalité. Cependant, il existe d’autres cas où le cloaking peut être intéressant, en particulier quand il s’agit de cacher votre stratégie de netlinking à vos concurrents. Dans cet article, nous aborderons ces différents points.

Définition : Cloaking SEO

Le cloaking SEO (signifiant dissimulation en anglais) est une technique visant à présenter un contenu différent aux internautes et aux robots parcourant votre site internet. L’utilisation du cloaking pour présenter une version différente de la page aux robots de Google est strictement interdit et vous expose à une pénalité.

Dans la mise en place d’une technique de cloaking, il est possible de détecter la provenance de la requête à l’aide de critères tels que le User-Agent, l’adresse IP ou encore la localisation de l’internaute et de présenter une version différente de la page ou encore de mettre en place une redirection.

Le schéma suivant présente le comportement d’une page internet cloackée.

Pourquoi utiliser le Cloaking ?

Dans les prochaines sections, nous allons voir les cas d’usage du cloaking, il en existe d’autres, cependant, nous nous attarderons uniquement sur les deux cas les plus utilisés par les consultants SEO.

Cacher les liens à ses concurrents

Le premier cas d’usage consiste à cacher sa stratégie à ces concurrents. Aujourd’hui, de nombreux robots parcours le web afin de récupérer des informations sur votre contenu, sur votre stratégie de netlinking ou encore sur l’évolution de vos positions dans les moteurs de recherche.

On peut par exemple citer les outils tels de SEMRush, Majestic, Ahrefs, SEOBserver, Haloscan. Ces outils parcourent le web et analyse les pages afin de fournir des données. Cependant, ces données peuvent être utilisées par vos concurrents afin de connaître la stratégie que vous avez mise en place afin de vous positionner sur tel ou tel mot clé.

Lors de la mise en place d’une stratégie de cloaking, il est possible de cibler uniquement les robots en provenance de ces plateformes afin de cacher les informations que vous ne souhaitez pas rendre publique.

Un cas d’usage bien connu des experts en référencement naturel est de cloacker les liens sur les réseaux privés de blog (PBN, Private Blog Network). En dissimulant les liens réalisés sur ces réseaux à l’aide des techniques de cloaking. Cela empêchera vos concurrents de connaitre la provenance de vos liens et rendra plus difficile l’analyse de votre stratégie. Si vous en avez la possibilité, cacher les liens aux plateformes d’analyse de netlinking peut être une bonne pratique afin d’éviter de révéler au grand jour votre stratégie.

Induire en erreur les moteurs de recherche

Bien que je puisse recommander le premier cas d’usage, je ne recommande pas de mettre en place des stratégies de cloaking visant a tromper les robots des moteurs de recherche. Cela peut être fait à des fins de recherche afin de mieux comprendre le fonctionnement des robots, mais en aucun cas vous ne devez utiliser cette technique sur vos money sites. Si Google ou tout autre moteur de recherche détecte l’utilisation de ces techniques, vous risquez une forte pénalité et le rapport risque/récompense n’est pas en votre faveur.

L’utilisation des techniques de cloaking à destination des robots des moteurs de recherche est considéré comme une technique dite « Black hat » qui ne devrait être utilisé qu’à des fins de recherche et développement.

La mise en garde étant faite, je vais tout de même vous proposer quelques cas d’usage pour induire en erreur les moteurs de recherche :

• Cacher les textes pour les internautes : si un robot arrive sur votre site internet, présentez-lui une page avec un contenu très optimisé pour le référencement naturel, ne prenant pas en compte les considérations d’expérience utilisateur. S’il s’agit d’un humain, présentez-lui une page optimisée pour la conversion. L’utilisation de cette technique vous permettra de séparer votre page en deux versions, une qui favorisera votre positionnement sur Google, une autre qui optimisera votre taux de conversion.
• Mise en place de redirection cachée : une version encore plus simple consiste a mettre en place une redirection vers un autre site si un internaute arrive sur votre page et à présenter une page optimisée pour le référencement s’il s’agit d’un robot. Vous pouvez par exemple rediriger l’internaute vers une page d’affiliation.

Les différentes techniques de Cloaking

Maintenant que vous êtes mis en garde (je ne le répéterai jamais assez) et que nous avons vu quelques cas d’usage, je vais vous présenter trois techniques pour permettant de mettre en place des techniques de cloaking.

Pour les personnes utilisant WordPress, j’ai mis à disposition il y a quelques années un plugin WordPress SEO Content Cloacker, qui fonctionne toujours aujourd’hui, vous pouvez vous rendre sur le répertoire de plugin de WordPress et l’installer sur votre site internet.

Cloaking basé sur le User-Agent

La méthode la plus simple pour la mise en place d’un cloaking est d’utiliser le User-Agent. Lors de chaque requête effectuée à un serveur, le navigateur ou le robot envoie des informations dans le header de la requête permettant de l’identifier. Il est alors possible de récupérer cette information et de modifier le comportement du serveur et de la page web en fonction de cette valeur.

Attention cependant, il est facile de modifier le User-Agent et en utilisant cette technique, il y a des risques que d’autres robots ou d’autres internautes tentent de se faire passer pour les Google Bot ou les robots des outils afin d’e comprendre le fonctionnement de votre d’analyser le comportement de votre page. Cependant, dans la très grande majorité des cas, un cloaking à l’aide du User-Agent vous permettra de réaliser des taches simples.

La méthode est la suivante :

• On analyse la requête HTTP afin de récupérer le HTTP_USER_AGENT
• On compare le User-Agent à une base de données afin de détecter la provenance de la requête
• On adapte le comportement de la page en fonction.

Pour vous aider, vous pouvez télécharger un fichier indiquant une liste des User-Agent des différents robots utilisés par les outils SEO : télécharger le fichier

Ensuite, vous pouvez vous inspirer de la fonctionne suivante :

function isSeoCrawler(){
	$userAgent = $_SERVER['HTTP_USER_AGENT'];
	// Récupérer la liste des User-Agent
	$seoCrawlers = getSeoCrawlersUserAgentList();
	$isSeoCrawler = false;
	foreach($seoCrawlers as $seoCrawler){
		if(preg_match("#".$seoCrawler."#isU", $userAgent)){
			$isSeoCrawler = true;
			break;
		}
	}
	return $isSeoCrawler;
}

Cette fonction vérifie si le User-Agent contient les termes indiqués dans une liste, s’il s’agit d’un robot SEO, alors la fonction renvoie true. Si vous souhaitez détecter les robots de Google, vérifiez simplement la présence de google ou google-bot dans le User-Agent.

Utilisation des IP et reverse DNS pour le cloaking

Comme évoqué, la première méthode est facilement falsifiable, afin de mettre en place un cloaking plus efficace, il est possible d’utiliser une méthode basée sur l’adresse IP de l’internaute ou du robot. Pour ce faire, nous allons prendre l’adresse IP tentant d’accéder à la page du site internet, puis nous allons effectuer une action de reverse DNS afin de récupérer le nom d’hôte, si le nom d’hôte correspond au nom d’hôte des IP de Google, alors nous pouvons savoir s’il s’agit des robots de Google.

function isGoogleBot(){
    $remoteAddr =  $_SERVER['REMOTE_ADDR'];
    $host = gethostbyaddr($remoteAddr);
    $ipFromHost = gethostbyname($host);
    if($remoteAddr != $ipFromHost){ return false; }
    $isGoogleBot = false;
    $googleHosts = array(
        'google.com',
        'googlebot.com'
    );
    foreach($googleHosts as $dns){
    if(preg_match("#".$dns."#isU", $host)){
            $isGoogleBot = true;
            break;
        }
    }
    return $isGoogleBot;
}

Cette fonction est difficile à falsifier, ainsi, vous serez s’il s’agit en effet d’un robot de Google.

Comment vérifier que le cloaking fonctionne ?

Maintenant que nous avons vu comment mettre en place une technique de dissimulation, nous devons vérifier si cela fonctionne. Pour cela méthode la plus simple est d’utiliser les outils d’exploration de Google. Vous pouvez par exemple vous rendre dans le test de Pagespeed insight afin de voir la version de votre page ou de votre site internet que voit Google. Vous pouvez utiliser différents outils dans la Search Console de Google, l’outil de test des données enrichies, etc.

Lorsque l’on met en place une stratégie de référencement naturel, il est important de suivre l’activité des robots de Google sur le site internet, pour cela, il est possible d’analyser les logs serveurs afin de pouvoir suivre à la trace des pages et les ressources qui ont été visités par les visiteurs et les robots, en particulier par les Google bot.

L’analyse de log permet d’identifier rapidement les pages 404, les pages les plus crawlées par Google et vous permet de mettre des actions en place afin d’optimiser votre Crawl Budget. Si vous souhaitez plus d’information sur ce qu’est un log, pour vous consulter mon article dédié : analyse de log SEO : Allez plus loin dans l’optimisation de votre site.

Je vais vous présenter étape par étape les actions à réaliser afin de réaliser une analyse de log SEO rapide.

Pour ce tutoriel, je vais utiliser le logiciel Screamingfrog SEO Log File Analyser. Le logiciel existe en version gratuite et en version payante, la différence principale entre les deux versions étant que la version gratuite est limitée à 500 lignes de log.

Comment récupérer les logs serveur ?

La première étape consiste à récupérer les logs d’accès au serveurs L’emplacement de ces fichiers dépend de la configuration de votre hébergement.

Emplacement des logs sur un serveur dédié avec apache2

Si vous utilisez un hébergement dédié utilisant apache2, vous trouverez les logs sur votre serveur. Pour les récupérer, vous aurez besoin de vous connecter en SSH et de télécharger les fichiers. Par défaut, les fichiers logs se trouvent à l’emplacement suivante :

/var/log/apache2/

Il vous faudra alors télécharger les fichiers comportant .access.log, en cas de doute, je vous conseil de demander les fichiers directement à votre administrateur système.

Récupérer les logs sur o2switch

Si vous possédez un hébergement mutualisé chez o2switch vous pouvez récupérer vos logs avec vos accès FTP. Les logs se trouvant dans le dossier « /logs » se trouvant à la racine de votre hébergement. Téléchargez simplement tous les fichiers correspondant à votre site internet.

Pour les autres plateformes d’hébergement, vous pouvez vous rapprocher du support technique ou bien de la documentation en ligne.

Importer les fichiers logs dans Screaming Frog Log Analyser

Pour commencer, ouvrez Screaming Frog Log File Analyser et cliquez sur le bouton « + new » se trouvant dans la barre du haut.

Vous pourrez alors voir une nouvelle fenêtre « New Project Configuration ». Dans notre exemple, nous allons uniquement rentrer le nom du projet, ensuite, cliquez sur « OK » en bas à droite de la fenêtre.

Votre projet est maintenant créé, il va falloir télécharger les fichiers que vous avez récupéré sur votre serveur. Pour cela, vous pouvez cliquer sur le bouton « Import » se trouvant dans la barre du haut ou tout simplement effectuer un glissé-déposé dans la fenêtre.

À noter que vous aurez la possibilité d’ajouter de nouveaux logs serveurs à votre projet plus tard afin de garder un historique du passage des robots.

Si votre fichier comporte des URLs relatives et non pas des URLs absolues, il vous sera demandé d’entrer l’URL de votre site internet, si c’est le cas, rentrez l’URL (sans le / à la fin) et cliquez sur « OK for All Files ».

Vous verrez alors apparaitre une fenêtre de chargement. Attendez que le chargement soit fini.

Résumé de l’activité des bots

Une fois le chargement des logs terminé, vous vous retrouverez sur le tableau de bord de Screaming Frog SEO Log File Analyser. Dans le cadre de notre étude de cas, nous allons sélectionner uniquement les robots de Google. Pour cela, cliquez sur la liste déroulante « All bots » se trouvant en haut à droite et sélectionnez « All Googlebots ».

Voici une rapide présentation de cet écran :

• La partie se trouvant en haut à gauche présente différentes statistiques comme par exemple le nombre d’URL unique crawlées par les robots de Google, le nombre de fois où les robots ont accédé à votre site internet, etc.
• Le bloc « Response Code » vous présente un graphique avec les différents codes de réponse renvoyés par votre serveur. Cela vous permet d’identifier rapidement les problèmes sur votre site. Par exemple, si vous voyez une hausse des pages 404 ou encore des erreurs 500, il y a des actions à prendre en urgence afin d’améliorer votre référencement SEO.
• Le bloc « Events » représente le nombre de fois où les robots de Google ont parcouru votre site.
• Enfin, le dernier bloc « URLs » correspond au nombre d’URLs uniques crawlées par les Google bots.

Pour la suite, nous allons nous rendre sur le détail des URLs crawlées par les robots. Pour cela, cliquez sur l’onglet « URLs » se trouvant dans la barre de navigation au dessus des quatre graphiques.

Détail des URLs

Vous arrivez alors sur un tableau avec le détail des URLs

• Row : Numéro de la ligne
• URL : URL à laquelle le robot a accédé.
• Last Response Code : La dernière réponse renvoyée par le serveur.
• Time Of Last Response : Date a laquelle Google bot a accédé à cette page pour la dernière fois.
• Content Type : Le type de fichier
• Average Bytes : La taille de la ressource renvoyée par le serveur.
• Average Response Time : Il s’agit du temps qu’a mis le serveur avant de renvoyer la ressource, cela permet d’analyser le temps de chargement du site internet, mais tous les logs ne sont pas configurés pour afficher cette valeur. Si la valeur n’est pas renseignée, la colonne indiquera 0, comme c’est le cas ici.
• Num Events : Le nombre total de fois où les robots ont accédé à la page sur la période.
• All Googlebots : Le nombre total de fois où les robots de Google spécifiquement ont accédé à la page sur la période.
• Googlebots : Le nombre total de fois où la version Desktop des robots de Google ont accédé à la page sur la période.
• Googlebots Smartphone : Le nombre total de fois où la version Mobile des robots de Google ont accédé à la page sur la période.

Identifier les pages 404 grâce aux logs

Avec cette liste, la première chose que nous pouvons faire est de rechercher de potentielles pages 404. Pour cela, nous allons trier le tableau en fonction du « Last Response Code », pour cela il vous suffit de cliquer sur l’entête de la colonne.

Vous voyez désormais apparaitre les erreurs 400 à 499 en haut de la liste. Il ne vous reste plus qu’à les traiter :

• Si la page existe à une autre adresse ou bien qu’une autre page est cohérente, vous pouvez mettre en place une redirection 301.
• Si la page n’existe plus et n’a pas vocation à revenir, vous pouvez mettre en place une page 410 gone pour indiquer à Google que cette page n’existe plus et n’a pas vocation à revenir.
• Si la page ou le fichier devrait exister, vous pouvez le recréer ou recréer la page.

Améliorer votre Crawl Budget grâce aux logs

Une autre action rapide a mettre en place grâce aux logs est de vérifier que les ressources crawlées par Google sont bien celles que vous souhaitez. Pour cela, nous allons trier le tableau par « Num Events », afin d’identifier les ressources les plus visitées par les Google bots.

Dans cet exemple, on voit que la page la plus visitée est le fichier /ads.txt, s’agissant d’un fichier utilisé par les régies publicitaires, il convient de le créer.

Un autre point intéressant que le fichier index.js du plugin Recaptcha est la troisième ressource la plus visitée par les robots. Ce fichier ne présentant pas d’intérêt pour le SEO, nous devons demander à aux robots de ne pas accéder à ce fichier. Cela se fait en modifier le fichier robots.txt et en ajoutant une directive Disallow à la fin du fichier.

Disallow: /wp-content/plugins/contact-form-7/modules/recaptcha/

Cette directive permet d’indiquer aux robots qu’ils ne doivent pas visiter cette page.

Attention, il est important de ne pas bloquer les ressources CSS et Javascript importantes pour le site. En effet, les robots de Google peuvent afficher le site internet comme un navigateur et s’il n’ont pas accès à ces fichiers, cela risque de poser des soucis au niveau du rendu et donc d’être néfaste à votre référencement.

Les logs peuvent vous donner de nombreuses autres informations, mais intégrer ces deux premières routines vous permettront d’améliorer drastiquement votre référencement. Pour les besoins de ce tutoriel, nous nous arrêterons là, mais n’hésitez pas à aller plus loin dans l’analyse de log pour optimiser votre référencement naturel.

Alternative à Screaming Frog Log Analyser

Vous avez besoin de réaliser une analyse de log rapide, j’ai développé un outil en ligne qui vous permet de récupérer une analyse rapide en quelques clics, directement sur votre navigateur : Accéder à l’outil d’analyse de log en ligne.

Looker Studio est un outil très puissant qui vous permet de créer des rapports et des outils de suivi interne afin de trouver l’information dont vous avez besoin en quelques clics.

Pourquoi ne pas utiliser la Search Console ?

Avant d’aller plus loin, certain d’entre vous me demanderont pourquoi ne pas utiliser directement la Search Console de Google pour récupérer les données ?

Pour ceux qui ont l’habitude de réaliser des analyses assez poussées, il est claire que la Search Console ne permet pas de retrouver facilement des informations. Il n’est, par exemple, pas possible d’appliquer plusieurs filtres sur les pages ou les requêtes de recherche. Il n’est pas possible non plus de créer différents groupes de page pour avoir une analyse plus macro.

L’ensemble des informations est disponible, cependant, il est nécessaire d’effectuer un retraitement important afin de pouvoir trouver l’information dont nous avons besoin. De plus, il n’est pas possible d’enregistrer les filtres pour y revenir plus tard.

Voici quelques questions auxquelles je vais tenter de répondre dans cet article grâce à la création d’un rapport SEO Looker Studio.

• Quelle est l’évolution du trafic SEO hors marque du site internet ?
• En ne prenant en compte que le trafic hors marque, quelle est la typologie de page la plus performante ?
• Le trafic SEO arrive-t-il sur des pages e-commerce intentionnistes ou bien sur des articles de blog qui ne génèrent pas de conversion ?

Afin de créer un rapport SEO disponible en temps réel et nous permettant d’accéder rapidement à ces données, nous allons utiliser les champs personnalisés ainsi que les filtres proposés par Datastudio.

Création du rapport Looker Studio

Pour comment, nous allons créer un rapport Looker Studio, rendez-vous à cette adresse (https://lookerstudio.google.com/) et cliquez sur le bouton « + Créer » se trouvant en haut à gauche de l’écran. Cliquez ensuite sur « Rapport ».

Vous arrivez alors sur une page vous demandant d’ajouter des données au rapport.

Dans le champ de recherche, recherchez « Search console » puis cliquez sur la connexion correspondant, il vous sera alors demandé de sélectionner la propriété que vous souhaitez lier à Looker Studio.

Sur ce nouvel écran, sélectionnez « Impression associée à l’URL » puis « Web ». Enfin, cliquez sur le bouton « Ajouter » se trouvant en bas à droite de l’écran.

Vous arrivez alors sur le rapport, donnez-lui un nom, celui que vous souhaitez.

Données disponibles

Par défaut, nous avons accès aux propriétés suivantes :

• Country : pays dans lequel la recherche a été effectuée.
• Date : date de la recherche.
• Device Category : appareil depuis lequel la recherche a été effectuée.
• Google Property : la propriété Google utilisé.
• Landing page : la page vers laquelle l’internaute a été redirigé après sa recherche.
• Query : la requête que l’internaute a réalisé.
• Average position : la position moyenne de la page ou du mot clé en fonction des filtres.
• Impression : le nombre de fois où votre site internet est apparu sur la requête donnée.
• Url clics : Le nombre de clics vers votre site.
• URL CTR : Le taux de clic (Click through rate)
• Type de recherche : S’il s’agit d’une recherche sur internet, sur Google Image, dans Google Discover, etc.

L’avantage avec Looker Studio est qu’il est possible de créer des données personnalisées qui vont nous permettre d’analyser plus efficacement les performances SEO du site internet.

Champs personnalisés Looker Studio

Dans cette section, nous allons voir comment créer des champs personnalisés. Pour les besoins de l’exemple, nous allons créer un nouveau champ « Requête de marque », « Requête hors marque » ainsi qu’un champ permettant d’identifier la typologie de page (page produit, page catégorie, page de blog, landing page, etc).

Pour ce faire, cliquez sur le menu « Ressource », puis, « Gérer les nouvelles sources de données ».

Sélectionnez la source de donnée que vous avez installé lors de la création du rapport, vous arrivez alors sur la liste des données disponibles.

Trafic SEO marque et hors marque

Nous allons maintenant créer un nouveau champ, pour ce faire, cliquez sur le bouton « Ajouter un champ » en haut à droite de l’écran, vous arrivez alors sur un éditeur de code. Cela peut faire peur au début, mais avec l’habitude, il devient très simple de réaliser des petits bouts de code vous permettant d’analyser vos données et de créer de nouveaux champs personnalisés pour Looker Studio.

Dans notre exemple, nous nous concentrerons sur la condition CASE et sur les fonctions CONTAINS_TEXT, STARTS_WITH, ENDS_WITH. Si vous souhaitez voir toutes les options existantes, vous pouvez vous rendre sur sur la documentation officielle Looker Studio.

Pour identifier le trafic de marque SEO, commençons par nommer notre nouveau champ « Trafic de marque ». Ensuite nous allons créer une condition CASE, et nous allons définir la valeur du nouveau champ en fonction de la valeur de la requête de l’internaute. Nous allons ajouter plusieurs cas pour prendre en compte les fautes de frappe.

CASE
  WHEN CONTAINS_TEXT(Query, "marque") THEN "Marque"
  WHEN CONTAINS_TEXT(Query, "mark") THEN "Marque"
  WHEN CONTAINS_TEXT(Query, "marc") THEN "Marque"
  ELSE "Hors marque"
END

Voici ce que fait le code :

• Si la requête de l’internaute contient « Marque », alors on défini le nouveau champ sur « Marque »
• Si la requête de l’internaute contient « mark », alors on défini le nouveau champ sur « Marque »
• Si la requête de l’internaute contient « marc », alors on défini le nouveau champ sur « Marque »
• Sinon, on défini le champ sur « Hors marque »

Vous pouvez bien entendu adapter le script en fonction des différentes fautes que vous identifiez dans les résultats de recherche.

Ensuite, cliquez sur « Enregistrer » en bas à droite de l’écran, puis sur « OK » en haut à droite. Nous avons désormais une nouvelle donnée qui nous permet d’identifier très rapidement s’il s’agit d’un trafic de marque ou de trafic hors marque.

Regroupement par typologie de page

Nous allons maintenant réaliser le même exercice avec les pages. Nous souhaitons les classer en fonction de leur typologie afin de savoir si le trafic arrive sur les fiches produits, les fiches catégories ou encore sur les articles de blog.

Nous allons suivre les mêmes étapes que précédemment et créer un nouveau champ « Typologie de page ».

CASE
  WHEN Landing Page = 'https://www.xxxxx.fr/' THEN "Accueil"
  WHEN STARTS_WITH(Landing Page, 'https://www.xxxxx.fr/produit/') THEN "Produit"
  WHEN STARTS_WITH(Landing Page, 'https://www.xxxxx.fr/categorie/') THEN "Catégorie"
  ELSE "Autre"
END

Voici ce que réalise le code :

• Si la page est exactement https://www.xxxxx.fr/, alors il s’agit de la page d’accueil
• Si la page commence par https://www.xxxxx.fr/produit/, alors il s’agit d’une fiche produit
• Si la page commence par https://www.xxxxx.fr/categorie/, alors il s’agit d’une page catégorie.
• Sinon, on indique Autre.

De même, cliquez sur « Enregistrer » puis « OK ».

Créer du tableau de suivi

Nous avons maintenant accès à nos deux nouveaux champs. Afin de pouvoir les analyser rapidement, nous allons créer un tableau croisé dynamique.

Pour ce faire, sélectionnez le tableau qui est présent dans votre rapport puis sélectionnez un type « Tableau croisé dynamique » en haut de la colonne de droite.

Sélectionnez les informations suivantes :

• Dimension associée aux lignes : Trafic de marque
• Dimension associée aux colonnes : Typologie de page
• Métrique : Url Clicks

Vous avez désormais accès à un rapport vous permettant d’identifier en un clin d’oeil la performance de vos différents types de page sur des requêtes de marque et des requêtes hors marque.

Pourquoi appelle-t-on les pages introuvables 404 ?

Afin de savoir pouvoir nous appelons les pages introuvables 404, rappelons quelques bases d’internet. Lorsque votre navigateur tente d’accéder à une page sur internet, celui-ci envoi une demande. Suite à cette demande, le serveur sur lequel est hébergé le site internet va envoyer du contenu et dans ce contenu un code. Plusieurs codes sont possibles, mais voici les bases :

• Code 200 à 299 : tout c’est bien passé, la page existe.
• Code 300 à 399 : la page est redirigé à une nouvelle adresse, le navigateur devra donc suivre cette redirection.
• Code 400 à 499 : la page est introuvable, dans cet ensemble de code, le code 404 correspond à “Not found”, soit non trouvé. Nous pourrons aussi retrouver le code 410 gone, indiquant au navigateur que la page n’existe pas, car elle a été supprimée.
• Code 500 à 599 : erreurs serveurs.

Ainsi, le nom de page 404 tire son nom du statut de la requête retournée par le serveur Web lorsque qu’un navigateur ou un robot de Google tente d’accéder à la page.

Comment détecter les pages 404 ?

Maintenant que nous avons fait le point sur ce qu’est une page 404, comment les détecter ? Pour cela il existe plusieurs méthodes, nous en aborderons trois ici.

Détecter les pages 404 avec les logs serveurs

La première méthode et bien souvent la plus fiable pour détecter les erreurs 404 est d’effectuer une analyse de log. En effet, dès qu’une requête est effectuée vers un serveur Web, celle-ci est stockée dans un fichier que l’on appelle log. Dans le cas des sites internets, l’on trouve différentes informations dans les logs : la page demandé par l’internaute ou le robot, la date à laquelle la demande a été faite, le navigateur ainsi que l’adresse IP du demandeur, ainsi que le code réponse. Et c’est ce code de réponse qui nous intéresse. En analysant les fichiers logs il est donc possible de retrouver l’ensemble des pages ayant été appelées et ayant répondu avec une erreur 404.

Bien qu’il soit possible d’analyser les logs avec un simple éditeur de texte, le plus simple est d’utiliser des outils d’analyses dédiés. Il existe pour cela de nombreuses méthodes et de nombreux logiciels. Chaque logiciel est adapté en fonction de vos besoins, de vos compétences techniques et de votre budget. J’utilise personnellement Screaming Frog Log Analyzer ainsi que la suite Elastic en fonction de mes besoins et de ceux de mes clients. Vous pourrez retrouver d’autres outils tel que OnCrawl, Seolyzer, et bien d’autres.

La méthode d’analyse des logs pour détecter les pages 404 est la plus puissante et la seule vous permettant de détecter l’intégralité des erreurs sans vous tromper.

Détecter les pages 404 avec un Crawler

La seconde méthode pour détecter les pages 404 est l’utilisation d’un Crawler. Un Crawler est un logiciel vous permettant de parcourir l’ensemble des pages d’un site ainsi que les liens entre les pages. Ainsi, si votre site contient des liens “cassés”, comprenez des liens renvoyant vers des pages 404, vous pourrez les détecter.

Cependant, certaines pages détectées en tant que 404 par Googlebot ne sont pa présentes dans l’arborescence du site et vous ne serez pas en mesure de trouver de manière certaine l’ensemble des pages 404 de votre site en utilisant cette méthode. Cette méthode est donc à utiliser si vous n’avez pas la possibilité d’accéder aux logs serveur de votre hébergement web.

Utiliser la Search Console de Google pour trouver les pages 404

Enfin, la dernière solution pour détecter la présence de pages 404 introuvables sur le site est l’utilisation de la Search Console de Google. Bien que peu précise, cette solution peut vous permettre d’intervenir rapidement sur les pages importantes. Afin de connaître une liste de vos pages 404, rendez-vous dans la section “couverture” de la search console. Vous pourrez alors détecter les pages introuvables.

Faites cependant attention, l’outil de Google est bien souvent incomplet et l’analyse via la GSC ne sera pas suffisante pour corriger l’ensemble des erreurs.

Comment traiter les pages 404

Maintenant que nous avons vu comment détecter les pages 404 sur votre site internet, la question qui se pose est la suivante : que faire des pages introuvables ? De mon point de vue, il existe trois solutions.

Utilisation des redirection 301

Dans le langage serveur, une redirection 301 est un code indiquant que la page a été redirigé de manière permanente. Si vous détectez des pages 404, il peut être intéressant d’effectuer une redirection permanente 301 vers une autre page de site. Cela est particulièrement utile dans le cas des sites e commerce avec les collections ou des événements pouvant changer. Lors du passage d’une collection à une autre, il est possible de rediriger la page vers la collection la plus récente.

Cette redirection doit être mise en place si une page est cohérente avec l’ancienne page (exemple des collections), ou bien si la page introuvable profitait de nombreux liens externes.

Utilisation du code 410 Gone

Une autre méthode pour gérer les erreurs 404 est l’utilisation du code serveur 410 Gone. Alors que qu’une page 404 renvoie une simple erreur, le code 410 Gone indique que cette page n’existe plus car le contenu n’est plus disponible. En utilisant un code d’erreur 410 au lieu de 404, vous indiquez aux robots de Google que la page ne sera plus disponible à l’avenir, ainsi les robots arrêterons de parcourir cette page.

Recréer une nouvelle page

Enfin, la dernière solution peut sembler la plus basique. Lors de nombreuses migrations de site internet, certaines pages peuvent être amenées à disparaître. Dans le cas où cette page était importante pour l’activité de l’entreprise, il peut être intéressant de récupérer l’ancien contenu pour le mettre en ligne ou bien de créer du nouveau contenu.

Les soft 404

Dans le monde du référencement naturel et du SEO, on entend souvent parler de soft 404. Les soft 404 ne proviennent pas du code de réponse http du serveur, mais d’une analyse faite par les robots de Google.

Les soft 404 sont des pages ayant répondu avec une entête 200 mais présentant tous les attributs d’une page 404 introuvable, avec un contenu vide ou sans contenu principal.

Cela peut se produire lorsque vous supprimez un produit de votre boutique en ligne mais que le CMS que vous utilisé ne gère pas correctement la page. Il arrive alors que le serveur renvoi une page existante mais qu’il affiche une erreur « Le produit n’est plus disponible », ou encore n’affiche rien.

En soit, les soft 404 sont des pages répondant avec une entête 200 mais présentant une mise en forme de page 404 classique.

Qu’est ce qu’une page orpheline ?

Commençons par voir ce qu’est une page orpheline en SEO. Il s’agit d’une page qui est présente sur le site, qui est régulièrement crawlé et/ou indexé par Google mais qui n’est liée à aucune autre page dans le maillage interne de votre site.

Lors de migration ou de la réorganisation de l’arborescence d’un site internet, il arrive que l’on modifie les liens internes, soit pour améliorer son positionnement dans Google ou bien pour améliorer l’expérience utilisateur. Lors de ces migrations, les anciennes pages ne sont pas toujours supprimées. Il arrive aussi que le CMS que vous utilisez génère des pages automatiquement et que vous oubliez de les supprimer.

En résumé : une page orpheline est une page disponible sur le site mais qui n’est accessible via aucun lien depuis depuis site.

Pourquoi traiter les pages orphelines ?

La présence de pages orphelines à un fort impact sur le budget de crawl que vous attribue Google. Pour résumé, le budget crawl est une quantité de ressource qu’attribue Google à votre site, plus vous possédez de budget crawl, plus les robots de Google viendront sur votre site et parcourent vos pages.

Le problème avec les pages orphelines est que bien que celle-ci n’ait pas de fort potentiel de ranking, Google viendra régulièrement crawler la page afin de vérifier si celle-ci a été mise à jour. Le temps passé sur cette page à faible potentielle est du temps que les robots des moteurs de recherche ne passeront sur vos pages à forte valeur ajoutées.

Comment trouver les pages orphelines de votre site ?

Nous allons voir la méthode la plus simple afin détecter les pages orphelines. Pour cela, vous allez avoir besoin d’analyser les logs de votre site internet et de lancer un crawler.

• Lancer un crawler sur l’ensemble des pages de votre site exporter le fichier obtenu sur excel ou sur le tableau de votre choix.
• Récupérer via une analyse de log l’ensemble des pages de votre site internet ayant répondu avec un code 200.
• Il ne vous reste plus qu’à faire la différence entre ces deux listes afin de détecter les pages présentent dans les logs et qui ne le sont pas dans votre arborescence. Vous obtenez ainsi la liste de vos pages orphelines.

Qu’est-ce que le netlinking ?

Avant de voir les différentes méthodes pour obtenir des liens externes de qualité, il faut tout d’abord définir ce qu’est le Netlinking, ou stratégie de lien.

Comme évoqué à de nombreuses reprises, l’algorithme historique de Google est le Pagerank, il s’agit d’un algorithme analysant les liens entre les différentes pages web et les différents sites internet afin d’évaluer leur pertinence et leur autorité. Bien que l’algorithme de Google ait évolué, les liens représente encore une part importante d’une stratégie de référencement naturel efficace.

Une stratégie de netlinking est une stratégie visant à générer des liens entrants vers votre site internet afin d’augmenter sa popularité et son autorité aux yeux du moteur de recherche. Pour résumer, faire du netlinking, c’est générer des liens, de préférence de qualité vers son site internet afin d’en améliorer son référencement.

Les différentes stratégies de Netlinking

Il existe de nombreux moyens de générer des liens vers son site internet. Cependant, toutes ne rentrent pas dans le guide des bonnes pratiques de Google.

Le linkbaiting

Si l’on s’en tient à l’idéologie de base du moteur de recherche, les seuls liens valables sont ceux qui ont été créés naturellement. Un peu comme dans les publications scientifiques où l’on cite une autre publication pour appuyer ses propos. Si vous souhaitez mettre en place une stratégie de référencement dites White Hat, il vous est interdit de demander ou d’inciter un tiers à placer un lien vers votre site internet.

La seule technique possible serait donc le linkbaiting. Afin de mettre en place ce genre de stratégie, il convient de créer des contenus d’une tel qualité que les autres sites internet vous citeront sans que vous ayez à leur demander.

Cette stratégie peut cependant être mise en parallèle avec la relation presse. Les journalistes n’ont aucune obligation de parler de vous ou encore de placer un lien vers votre site internet. Si un lien est positionné dans l’article, cela veut dire que votre site présente un intérêt suffisant et une qualité importante.

L’achat de lien

Dans les faits, il existe un marché de la vente de lien qui rend très difficile ce genre d’action pour les sites internet ne disposant pas d’une popularité suffisante. Soit la très grande majorité des sites naissants. De plus, la paranoïa ambiante suite aux différentes annonces de Google relatives à la génération de lien font que bien souvent les liens mis dans les articles “naturellement” sont en nofollow. Soit des liens de faible puissance.

C’est pourquoi il est bien souvent nécessaire de procéder à des échanges ou à de l’achat de lien. Soit en direct avec les webmaster, soit via des plateforme dédiée.

Il existe un très grand nombre de plateforme vous permettant d’acheter et de vendre des liens, pour n’en citer que quelques-une, vous trouverez SEMJuice , Rocketlink, NextLevel.link et bien d’autres. Chacune de ces plateformes a un fonctionnement différent, mais l’idée principale reste la même. En créant un compte sur la plateforme, vous aurez accès à un catalogue de site. Soit des sites appartenant à la plateforme, soit des sites partenaires. Vous aurez alors la possibilité de demander un lien sur les sites référencés.

L’échange de lien

Une autre technique de netlinking très répandu est l’échange de lien. Si vous avez un site avec un minimum de trafic, vous avez sûrement dû recevoir des emails vous proposant de réaliser un “échange de lien”. Le principe est simple, vous placez un lien depuis votre site vers le site de votre partenaire et celui-ci fait de même.

Aujourd’hui, les échanges de lien classiques d’un site A vers un site B puis d’un site B vers un site A sont de moins en moins répandus. Les échanges de lien se font de manière triangulaire : votre site place un lien vers un site B et en échange votre partenaire place un lien depuis un site C vers votre site. Cette technique permet les échanges simples qui peuvent être interprété comme du lien forcé par Google.

Le guest blogging

Abordons maintenant le sujet du guest blogging. Il s’agit d’une stratégie de link building très propre et permettant d’obtenir des liens de qualité. Le principe est simple, vous proposez à un webmaster ou un blogueur de rédiger un article, pour lui, qui sera publié sur son blog. En échange de cette publication, le gérant du site vous permettra de placer un lien vers votre site internet. Il conviendra de rédiger un contenu de qualité, ayant une réelle valeur ajoutée pour les visiteurs du site de votre partenaire.

C’est une stratégie gagnant-gagnant, d’un côté vous obtenez un lien depuis un site parlant de la même thématique que vous et d’un autre côté, votre partenaire obtient un contenu de qualité.

Le cas des annuaires

Il y a quelques années, les annuaires étaient très populaires. Il s’agit de site internet référençant d’autres sites. Il existe des annuaires généralistes et des annuaires thématiques. Suite à de nombreux abus, les liens annuaires ont perdu de leur valeur. Mais devez-vous encore vous inscrire dans des annuaires en 2020 ?

Comme toute stratégie de lien, la question à vous poser est : est-ce pertinent pour mon activité de figurer sur tel ou tel annuaire. Alors que les annuaires généralistes sont boudés par les SEO, l’inscription dans des annuaires spécialisés peut être une très bonne chose. Par exemple, est-il pertinent d’être présent dans l’annuaire des pages jaunes ? Est-il pertinent pour une entreprise de figurer dans les listes des Chambres des commerces et de l’Industrie ? Un thérapeute a-t-il intérêt à s’inscrire à un annuaire référencements l’ensemble des thérapeutes d’une ville ?

Le seul point à prendre en compte lors de l’inscription dans un annuaire est la pertinence.

La mise en place d’un PBN

Souvent réservé aux grandes entreprises ou aux experts du référencement naturel, une stratégie dite de PBN (Private Blog Network) consiste en la création de mini-sites. Plutôt que d’acheter un lien sur une plateforme ou de réaliser un échange, l’objectif est ici de mettre en place un réseau de sites sur lesquels il sera possible de placer des liens. Le grand avantage de cette stratégie est de garder le contrôle sur l’ensemble de l’écosystème digital. Cependant ce type de stratégie doit être mis en place avec précaution.

Il existe de nombreuses autres méthodes pour placer des liens, selon que vous souhaitiez mettre en place une stratégie White Hat ou Black Hat. Alors réfléchissez, vous trouverez rapidement des opportunités pour améliorer la popularité de votre site.

Analyser un lien

Lorsque vous souhaitez créer des liens vers votre site, il existe de nombreux paramètres à prendre en compte afin de vérifier la pertinence et la qualité d’un lien. Dans les quelques lignes suivantes, nous aborderons les principaux indicateurs à prendre en compte. Sachez cependant que toutes les plateformes proposent des indicateurs différents. Les éléments suivants vous permettront de connaître les bases afin d’éviter de faire des erreurs.

L’ancre du lien

Lors de la mise en place d’une stratégie de création de liens, le point le plus important à prendre en compte est l’ancre de vos liens. L’ancre d’un lien correspond au texte sur lequel l’internaute pourra cliquer afin de se rendre sur le site ciblé. Ce point est très important car de nombreux indicateurs nous laissent à penser que le filtre Google Pingouin, un filtre de Google visant à pénaliser les sites utilisant des stratégies de génération de lien hors des bonnes pratiques, utilise principalement les ancres de lien pour détecter les liens factices.

Le contenu de la page et du site

Un autre élément à prendre en compte est le contenu de la page, et plus généralement la thématique du site. Nous en revenons à la notion de pertinence, est-il pertinent pour un site de cuisine d’avoir un lien depuis un site traitant de la défiscalisation ? Dans la mesure du possible, votre lien doit être thématique, c’est-à-dire que celui-ci doit se trouver sur une page traitant du même sujet que votre site ou bien traitant d’un sujet connexe. Si votre lien est pertinent pour l’internaute, vous ne risquez pas de pénalité pour Google, car vous apportez de la valeur. Au contraire, si votre lien n’apporte rien au visiteur, vous devez faire très attention.

Le positionnement de la page

Un autre point à prendre en compte est le positionnement de la page dans les résultats de recherche. Si une page n’est pas présente dans les moteurs de recherche, alors ses liens externes ne seront pas pris en compte. Au contraire, si une page se positionne déjà sur quelques mots clés, cela veut dire que Google lui fait confiance et juge son contenu pertinent par rapport à une requête donnée. Le lien présent sur la page aura alors beaucoup plus d’impact sur votre stratégie.

Les indicateurs statistiques

Enfin, il existe de nombreux indicateurs vous permettant d’analyser rapidement la puissance d’un site et donc la puissance potentiel lien. La plateforme Majestic vous permet par exemple d’analyser le Trust Flow et le Citation Flow d’un lien, Moz a mis en place le Domain Authority. Il existe de nombreuses méthodes pour analyser le profil de liens d’un site internet et juger de la pertinence algorithme de ce site dans votre campagne de netlinking.

Qu’est-ce qu’une SERP

Dans le monde des experts en référencement naturel sur Google, on parle souvent de SERP, pour Search Engine Result Page, cet acronyme correspond à une page de résultat de recherche. La SERP contient l’ensemble des éléments proposés par Google à l’internaute lors d’une recherche et ne se limite pas uniquement aux résultats dits naturel. Voyons maintenant les différents éléments composant une SERP

Les résultats sponsorisés Google Ads

Google est une entreprise et elle doit générer de l’argent. Afin de rentabiliser son moteur de recherche, Google à mis en place une régie publicitaire. Lancée le 23 octobre 2000 sous le nom de Google Adword, cette régie publicitaire permet aux annonceurs de placer des enchères afin d’être visible auprès des internautes effectuant certaines recherche. Depuis, la régie à changer de nom et s’appelle désormais Google Ads.

Le premier élément visible d’une page de résultat correspond aux résultats sponsorisés, ces résultats se situent à plusieurs endroits sur la page : au dessus des résultats naturel, en bas de page, et parfois sur le côté.

Les résultats naturels, ou organiques

Le second type de résultat disponible dans la page de recherche correspond aux résultats organiques, aussi dit naturels, c’est de ce terme que provient le nom de référencement naturel. Si vous souhaitez optimiser le SEO de votre site, il y a de forte chance que ce soit ce type de résultat qui vous intéresse.

Les résultats naturels sont classés à partir d’algorithme visant à apporter le maximum de valeur à l’internaute. Afin de positionner son site dans les résultats de Google, plusieurs choses sont à prendre en compte : le crawl de votre site internet, l’indexation de vos pages, ainsi que leur classement, aussi appelé ranking.

L’algorithme de Google est un secret bien gardé et aucun expert en référencement ne le connaît, notre métier consiste à analyser le comportement du moteur de recherche afin de trouver des corrélations nous permettant d’optimiser le positionnement des sites de nos clients.

Cependant, vous retrouverez de nombreuses informations vous permettant d’optimiser votre site internet en suivant les règles de bonne conduite fournies par Google. Ces règles présentent les bonnes pratiques à mettre en place afin de maximiser vos chances d’apparaître dans les résultats de recherche.

Les résultats Google Image

La recherche d’image est l’une des premières fonctionnalités de recherche qui a été ajoutée au moteur. En plus de classer les pages internets, Google vous permet de rechercher, entre autres, des images. Il n’est pas rare de voir apparaître les premiers résultats de Google Image.

Google Actualité

Aussi appelé Google News, le moteur de recherche autorise certains sites à publier des contenus dans la section actualité de la page. Bien souvent, les résultats proviennent de médias reconnus, mais il est aussi possible de voir apparaître des actualités en provenance de sites de niches.

Le pack local

Le pack local, lié à Google Map et à Google My Business propose aux visiteurs d’afficher les entreprises se trouvant à proximité et proposant le service ou le produit recherché par l’internaute.

Les stratégies de référencement locale sont très intéressante pour les petites entreprises qui n’ont pas forcément les moyens d’investir des milliers d’euros dans un site internet complet. La création d’un compte Google My Business est gratuite et est ouverte à tous.

Si vous êtes une petite entreprise, la création d’une page Google My Business permettant d’apparaître dans la recherche locale est une très bonne méthode pour obtenir rapidement de la visibilité sur Google.

Google shopping

Enfin, le dernier type de résultat important est Google Shopping. Auparavant réservé aux annonces Google Ads, il est désormais possible d’importer son catalogue de produit dans le Merchant Center de Google et de faire la promotion de ses produits directement sur les pages de résultat de recherche.

Lorsqu’un internaute clic sur un résultat Google Shopping, celui-ci est directement redirigé vers la page produit. Cela peut se révéler très intéressant pour maximum vos conversions et vos ventes e-commerce.

Qu’est-ce que la sémantique

La sémantique est une branche de la linguistique étudiant le sens, la signification des signes et notamment du langage. Même si les moteurs de recherche restent des robots, ils comprennent de mieux en mieux le langage humain et sont capables de déduire la pertinence d’un résultat de recherche en fonction de son contenu.

Création de contenu et rédaction SEO

Aujourd’hui, pour pouvoir espérer positionner un site sur la première page de Google, il est nécessaire d’apporter une réelle valeur à l’internaute en lui proposant un contenu pertinent, novateur et unique. La création de contenu ne doit pas se faire pour Google, elle doit avant tout être réaliser pour l’internaute. La création d’une page web performantes passe par la rédaction d’un contenu de qualité. Cela vous permettra, d’une part d’être plus pertinent aux yeux de Google et d’autre part de confirmer votre image de marque auprès de vos visiteurs.

Optimisation des contenus rédactionnels

Ceci étant dit, il est possible d’allier ces deux points : proposer un contenu pertinent à l’internaute et optimisé pour les moteurs de recherche. Bien qu’il existe de nombreux outils d’analyse sémantique sur la toile, permettant de faciliter le travail de rédaction, il existe une méthode simple pour optimiser rapidement ses textes.

Une question simple à vous poser : comment Google est-il capable de faire la différence entre la voiture et l’animal lorsque vous effectuez la requête “jaguar” ? Ou encore comment Google est-il en mesure de savoir si vous vous renseignez sur le fruit ou que vous recherchez un partenaire juridique lorsque vous effectuez la recherche “Avocat” ?

Ces deux questions peuvent paraître bêtes, cependant, elles en disent beaucoup sur le fonctionnement du moteur de recherche : en plus de prendre en compte le mot-clé ciblé, Google utilise de nombreux algorithmes afin d’analyser l’intégralité de votre texte. Prêtez-vous à ce jeu : tentez de décrire à vos amis ou à vos collègues le mot-clé sur lequel vous souhaitez vous positionner sans l’utiliser.

Vous serez naturellement amené à utiliser un champ lexical précis. Par exemple, il y a très peu de chance que les termes “conseils juridiques” ou encore “tribunal” apparaissent si vous cherchez à décrire un avocat, dans son sens métier de loi. Au contraire, et pour reprendre le même exemple, si vous connaissez à utiliser les termes “acide gras saturés” ou encore “vitamine”, il y a fort à parier que vous parlez du fruit.

Ce simple exercice vous permet d’identifier des expressions clé, que vous devrez intégrer dans le corps de votre article ou de votre page afin d’indiquer clairement à Google de quel mot vous parlez.

Pensez à l’internaute avant tout

Désormais, l’une des choses les plus importante lors de la création de contenu sur internet est l’intention de recherche. Vous focaliser sur l’intention de l’internaute permet d’être beaucoup plus pertinent et vous permet d’augmenter votre taux de conversion, et donc de générer de nouveaux clients.

Afin d’avoir une idée assez précise de l’intention de recherche des internautes, il convient d’analyser la page de résultat de recherche proposé par Google. Qui sont les concurrents déjà placés, quels contenus proposent-ils, il y a-t-il des résultats relatif à l’actualité, aux entreprises locales ou encore des résultats images et vidéos ? Toutes ces informations vous permettent de mieux connaître l’intention réelle d’un internaute effectuant une recherche sur internet et vous permet de juger de la pertinence de votre activité par rapport à cette intention. En répondant exactement à l’intention de l’internaute, vous maximisez vos chances de vous positionner dans les premiers résultats de recherche. Au contraire, si vous ne répondez pas à cette intention, peut être arriverez vous à vous positionner à l’aide d’une stratégie SEO agressive, mais les résultats seront temporaires et vous ne garderez pas vos positions très longtemps.

Alors que la recherche vocale prend de plus en plus d’importance avec l’apparition des assistants personnels, tel que Siri ou Alexa, il devient primordiale d’effectuer cette analyse afin de vous positionner sur le long terme et peut être obtenir ce que les experts en référencement naturel appellent la position 0.

Sachez que Google à mis en place un filtre visant à pénaliser les contenus à faible de faible qualité : Google Panda.

L’organisation de votre contenu

Une autre variable à prendre en compte est l’organisation de votre contenu, de votre maillage interne, comment vos pages sont-elles liées entre-elles ? Comme évoqué au début de cet article, le corps de l’algorithme de Google reste le Pagerank, un algorithme analysant les liens entre les différentes pages d’un ensemble, ou d’internet dans notre cas.

Bien souvent, les pages d’un site internet, qu’il s’agisse d’un site e-commerce ou d’un site éditorial sont organisés de manière chaotique. Lorsque l’on souhaite optimiser son arborescence, il convient de se poser la question suivante : les pages liées à la page actuelle sont-elles pertinentes par rapport à la recherche et l’intention de l’internaute.

Il existe de nombreuses méthodes pour organiser les pages d’un site internet, et ce n’est pas un secret pour le SEO, le système de blog avec une archive par date est souvent la moins performante. Il convient de privilégier les organisations sous forme de cocon sémantique ou bien sous forme de silloing thématique, il s’agit de techniques d’organisation du contenu permettant de maximiser la pertinence des différentes pages et de leurs relations.

Les algorithmes utilisés par Google

Enfin, pour les plus techniques d’entre vous, sachez que Google utilise de nombreux indicateurs afin d’analyser le contenu textuel disponible sur internet. Même si l’algorithme de Google est un secret bien gardé, sachez que Google publie régulièrement de nouveaux brevets, même si ceux-ci ne sont pas toujours utilisés dans le cas du classement des résultats naturel, prendre le temps d’analyser certains de ces brevets permet d’en savoir plus sur la vision de Google par rapport au contenu. Vous pouvez retrouver l’ensemble de ces brevets sur Google Patents.

Si vous souhaitez en savoir plus sur le NLP (Natural Language Processing) et sur l’optimisation sémantique de vos contenus, vous pouvez commencer vos recherches avec le Cosinus de Salton, le TF/IDF avant de vous lancer la dans la lecture des publications de l’université de Standford relatives à l’analyse du langage.