Comment construire un Rank Tracker en utilisant Python et l'API de Google Search

Intro

Malgré l'importance du suivi des mots clés, les conditions d'utilisation de Google interdisent le scraping des pages de résultats des moteurs de recherche (SERP).

Les mesures anti-scraping de Google, telles que les CAPTCHA et le blocage des adresses IP, augmentent les coûts des services de résolution des CAPTCHA, y compris le coût des proxys rotatifs. Cela rend l'ensemble du processus de surveillance du référencement par le biais du web scraping encore plus frustrant.

Si vous êtes dans cette situation ou si vous avez du mal à obtenir des données de recherche Google précises et légales pour suivre le classement de vos mots-clés, voici une alternative légale et fiable. Voyons comment construire un tracker de classement à l'aide de Python et de l'API de recherche Google.

Construire un Rank Tracker en utilisant Python et Google Search API

Pour créer un outil de suivi des classements à l'aide de Python et de l'API Google Search, vous devez posséder des compétences en programmation Python, en gestion d'API, en gestion de bases de données et en analyse de données.

Notez que ce guide se concentre sur la construction d'un rank tracker pour le suivi global des mots-clés. Pour le suivi local et avancé des mots-clés, l'intégration de votre script Python avec une API de suivi de classement devrait être utile.

Voyons maintenant comment construire un outil de suivi des classements à l'aide de Python et de l'API de recherche de Google.

1. Configurer l'environnement de programmation Python et ses exigences

Avant d'écrire un script Python pour suivre le classement des mots-clés, vous devez installer la dernière version de Python à partir du site officiel. La procédure d'installation varie en fonction du système d'exploitation utilisé.

Une fois installé, vérifiez l'installation dans la ligne de commande ou dans le terminal. Ensuite, installez un IDE ou un éditeur de code de votre choix. Parmi les IDE, VS code est le plus recommandé car il supporte la plupart des extensions de script Python et il est léger.

Ensuite, installez un environnement virtuel pour séparer les dépendances de chaque projet que vous développez, afin d'éviter les conflits potentiels. Enfin, installez les bibliothèques et outils Python nécessaires.

Parmi les bibliothèques et outils Python, vous avez besoin de la bibliothèque Requests pour effectuer les appels à l'API de recherche Google, de _JSON pour traiter les réponses de l'API, de Datetime pour horodater les requêtes, de SQlite pour stocker les données de classement et l'historique, et de Plotly ou Matplotlib pour la visualisation.

2. Configurer l'API de recherche Google

Après avoir configuré et testé votre environnement de programmation Python, rendez-vous sur la page du moteur de recherche programmable de Google et créez un moteur de recherche nouveau ou personnalisé.

Pour ce tutoriel, paramétrez votre moteur de recherche personnalisé pour qu'il effectue des recherches sur l'ensemble du web (recherche globale) et copiez son ID ou sa valeur CX. Ensuite, passez à la Google Cloud Console et activez l'API JSON de recherche personnalisée pour obtenir une clé d'API.

Après avoir obtenu la valeur CX et la clé API, enregistrez-les en toute sécurité dans un fichier de configuration. Évitez toujours de coder en dur la valeur CX ou la clé API afin de réduire les risques de sécurité.

3. Écrire un script Python bien structuré

Jusqu'à présent, vous disposez d'un environnement de programmation correctement configuré et de l'identifiant (ainsi que de la clé API) d'un moteur de recherche Google personnalisé.

Voici comment structurer votre script Python en fonctions modulaires afin de garantir un processus de suivi des mots-clés automatisé et sans heurts.

Tout d'abord, structurez votre projet pour inclure les fichiers _config.py, tracker.py, database.db, et requirements.txt pour une meilleure navigation et maintenabilité.

N'oubliez pas le dossier data/ qui contiendra l'historique des classements. Une fois ces fichiers et le dossier en place, écrivez les fonctions suivantes pour lire, écrire ou modifier les fichiers :

a)Une fonction pour interroger l'API de recherche Google

Cette fonction doit accepter un mot-clé en entrée et construire l'URL de la requête API en utilisant la valeur CX et la clé API du fichier config.py. Elle doit ensuite envoyer la demande à l'API Google Search, qui renvoie une réponse JSON.

Enfin, la fonction analyse la réponse JSON, en extrayant les titres, les URL, les extraits et les positions de classement des 100 premières pages.

b)Une fonction pour extraire et stocker les données de classement

Après avoir analysé les résultats de la recherche, cette fonction localise l'URL de votre site web dans la liste retournée, détermine sa position dans le classement et stocke les données de classement dans un format structuré dans SQlite.

La fonction doit parcourir les résultats de la recherche et trouver la position de l'URL de votre site. Si elle la trouve, elle doit extraire et enregistrer sa position dans le classement. Si elle ne la trouve pas, elle suppose que votre site n'est pas classé parmi les 100 premiers pour le mot-clé spécifié.

Vous pouvez demander à la fonction de structurer les données dans les champs suivants de la base de données SQlite : mot-clé recherché, date et heure du suivi, position dans le classement et URL.

c)Une fonction permettant d'analyser les données et de les visualiser

Une fois dans la base de données, cette fonction extrait les données de classement stockées dans la base de données, les analyse et utilise des bibliothèques telles que Plotly et Matplotlib pour visualiser les tendances. Vous pouvez également demander au modèle de transmettre les données à des modèles statistiques afin de détecter les baisses et les hausses de classement, ce qui vous aidera à surveiller les efforts de référencement.

1. Automatiser le traqueur de rangs Python

Testez la fonctionnalité de votre script et mettez en place une gestion des erreurs.

Par exemple, le script doit être capable de gérer les dépassements de délai ou de réessayer les demandes qui ont échoué. Il doit également enregistrer les demandes qui ont échoué afin d'éviter de perdre des données.

Pour surveiller le classement après un intervalle spécifique, automatisez l'ensemble du processus de suivi à l'aide d'un programmateur comme cron pour automatiser le suivi des mots-clés après un certain intervalle (combien de fois par jour, par semaine ou par mois). Mettez en place des déclencheurs qui vous alerteront en cas de chute importante du classement.

2. Ajouter des fonctionnalités avancées à votre outil de suivi de classement Python

Enfin, une fois que vous êtes à l'aise avec la construction d'un rank tracker de base, vous avez la possibilité d'ajouter les fonctionnalités avancées suivantes :

• Suivi spécifique à l'appareil : Les classements sur mobile et sur ordinateur varient. C'est pourquoi l'API de recherche Google vous permet de suivre ces classements séparément.

• Suivi des concurrents : Outre votre site web, vous pouvez suivre les URL de vos concurrents.

• Suivi du classement basé sur la géolocalisation : Vous pouvez cibler un lieu spécifique et obtenir des résultats qui reflètent les intentions de recherche des utilisateurs d'une certaine ville ou d'un certain pays.

• Détection des fonctionnalités SERP : Si vous souhaitez savoir si les pages de votre site apparaissent dans les résultats sous forme d'images, de featured snippets ou d'autres éléments des SERP, l'API de recherche de Google vous permet d'être précis.

Malgré les fonctionnalités avancées, notez que vous disposez d'environ 100 requêtes gratuites par jour. Une fois ce nombre épuisé, vous devez payer. En outre, vous ne pouvez obtenir que 100 résultats de recherche. C'est pourquoi il est essentiel de combiner votre rank tracker avec une API de rank tracker tierce pour étendre ses fonctionnalités.

Fin de l'année !

Et voilà ! Les cinq étapes à suivre pour construire un tracker de classement en utilisant Python et l'API Google Search.

N'oubliez pas que l'API de recherche Google limite votre suivi à 100 résultats de recherche et 100 requêtes par jour. Malgré cela, vous pouvez suivre efficacement et légalement le classement des mots clés sans interdiction d'IP ni déclenchement de CAPTCHA. De plus, vous êtes autorisé à répartir les requêtes sur plusieurs comptes, ce qui augmente le nombre de requêtes que vous pouvez envoyer au cours d'une journée.