Come costruire un tracker delle classifiche usando Python e Google Search API

Introduzione

Anche con l'importanza del tracciamento delle parole chiave, i ToS (Termini di servizio) di Google vietano lo scraping delle SERP (Search Engine Results Pages).

Le misure anti-scraping di Google, come i CAPTCHA e il blocco degli IP, fanno aumentare i costi dei servizi di risoluzione dei CAPTCHA, compreso il costo dei proxy a rotazione. Questo rende ancora più frustrante l'intero processo di monitoraggio SEO attraverso il web scraping.

Se vi trovate in questa situazione o state lottando per ottenere dati di ricerca Google accurati e legali per monitorare il posizionamento delle parole chiave, ecco un'alternativa legale e affidabile. Scopriamo come costruire un rank tracker utilizzando Python e le API di ricerca di Google.

Costruire un tracciatore di classifiche utilizzando Python e l'API di ricerca di Google

Per costruire un rank tracker utilizzando Python e le API di Google Search, è necessario avere competenze nella programmazione Python, nella gestione delle API, nella gestione dei database e nell'analisi dei dati.

Si noti che questa guida si concentra sulla costruzione di un rank tracker per il monitoraggio globale delle parole chiave. Per il monitoraggio locale e avanzato delle parole chiave, l'integrazione del vostro script Python con un rank tracker API dovrebbe essere utile.

Vediamo ora il processo di costruzione di un rank tracker utilizzando Python e le API di Google Search.

1. Impostare l'ambiente di programmazione Python e i requisiti

Prima di scrivere uno script Python per monitorare il posizionamento delle parole chiave, è necessario installare l'ultima versione di Python dal sito ufficiale. Il processo di installazione varia a seconda del sistema operativo in uso.

Una volta installata, verificare l'installazione nella riga di comando o nel terminale. Quindi, installate un IDE o un editor di codice di vostra scelta. Tra gli IDE, VS code è il più consigliato perché supporta la maggior parte delle estensioni di scripting Python ed è leggero.

Quindi, installate un ambiente virtuale per separare le dipendenze di ogni progetto che sviluppate, evitando potenziali conflitti. Infine, installate le librerie e gli strumenti Python necessari.

Tra le librerie e gli strumenti di Python, sono necessarie la libreria Requests per effettuare le chiamate API a Google Search API, _JSON per elaborare le risposte API, Datetime per datare le query, SQlite per memorizzare i dati di ranking e la cronologia e Plotly o Matplotlib per la visualizzazione.

2. Configurare l'API di ricerca di Google

Dopo aver configurato e testato l'ambiente di programmazione Python, visitate la pagina del motore di ricerca programmabile di Google e create un motore di ricerca nuovo o personalizzato.

Per questa esercitazione, impostare il motore di ricerca personalizzato per la ricerca in tutto il web (ricerca globale) e copiare il suo ID o valore CX. Quindi, passare alla Google Cloud Console e abilitare l'API JSON della ricerca personalizzata per ottenere una chiave API.

Una volta ottenuti il valore CX e la chiave API, salvarli in modo sicuro in un file di configurazione. Evitare sempre di codificare il valore CX o la chiave API per ridurre i rischi di sicurezza.

3. Scrivere uno script Python ben strutturato

Finora si dispone di un ambiente di programmazione correttamente configurato e dell'ID (più la chiave API) di un motore di ricerca Google personalizzato.

Ecco come strutturare il vostro script Python in funzioni modulari per garantire un processo di rank-tracking delle parole chiave fluido e automatizzato.

Per prima cosa, strutturate il progetto in modo da includere i file _config.py, tracker.py, database.db e requirements.txt per una migliore navigazione e manutenibilità.

Non dimenticare la cartella data/ per contenere la cronologia delle classifiche memorizzate. Una volta che questi file e la cartella sono pronti, scrivere le seguenti funzioni per leggere, scrivere o modificare i file:

a)Una funzione per interrogare l'API di ricerca di Google

Questa funzione deve accettare una parola chiave come input e costruire l'URL della richiesta API utilizzando il valore CX e la chiave API dal file config.py. Dovrebbe quindi inviare la richiesta all'API di Google Search, che restituisce una risposta JSON.

Infine, la funzione analizza la risposta JSON, estraendo titoli, URL, snippet e posizioni di classifica delle prime 100 pagine.

b)Una funzione per estrarre e memorizzare i dati di rango.

Dopo aver analizzato i risultati della ricerca, questa funzione individua l'URL del vostro sito web nell'elenco restituito, determina la sua posizione di classifica e memorizza i dati di classifica in un formato strutturato in SQlite.

La funzione deve scorrere i risultati della ricerca e trovare la posizione dell'URL del sito. Se viene trovato, deve estrarre e registrare la sua posizione in classifica. Se non viene trovata, si presume che il sito non sia tra i primi 100 per la parola chiave specificata.

È possibile far sì che la funzione strutturi i dati nei seguenti campi del database SQlite: parola chiave ricercata, dati e ora del rilevamento, posizione in classifica e URL.

c)Una funzione per analizzare i dati e visualizzarli.

Una volta nel database, questa funzione estrae i dati di ranking memorizzati dal database, li analizza e utilizza librerie come Plotly e Matplotlib per visualizzare le tendenze. Si può anche fare in modo che il modello passi i dati a modelli statistici per rilevare cali e aumenti di ranking, aiutandovi a monitorare gli sforzi SEO.

1. Automatizzare il rank tracker di Python

Testate la funzionalità del vostro script e implementate la gestione degli errori.

Ad esempio, lo script deve essere in grado di gestire i timeout o di riprovare le richieste fallite. Inoltre, deve registrare le richieste fallite per evitare di perdere dati.

Per monitorare il ranking dopo un intervallo specifico, automatizzate l'intero processo di monitoraggio utilizzando uno scheduler come cron per automatizzare il monitoraggio delle parole chiave dopo un certo intervallo (quante volte al giorno, alla settimana o al mese). Predisponete dei trigger che vi avvisino ogni volta che il ranking scende in modo significativo.

2. Aggiungere funzioni avanzate al vostro inseguitore di rango Python

Infine, una volta che ci si è trovati a proprio agio con la costruzione di un rank tracker di base, si ha la possibilità di aggiungere le seguenti funzioni avanzate:

• Tracciamento specifico per dispositivo: Le classifiche per dispositivi mobili e desktop variano. Per questo motivo, l'API di ricerca di Google consente di monitorare le classifiche separatamente.

• Tracciamento dei concorrenti: Oltre al vostro sito web, potete monitorare gli URL dei concorrenti.

• Tracciamento del rank basato sulla geolocalizzazione: È possibile restringere il campo di ricerca a una località specifica e ottenere risultati che riflettono le intenzioni di ricerca degli utenti di una determinata città o paese.

• Rilevamento delle caratteristiche della SERP: Se volete sapere se le pagine del vostro sito appaiono nei risultati delle immagini, nei featured snippet o in altre caratteristiche della SERP, l'API di ricerca di Google vi permette di essere così specifici.

Nonostante le funzioni avanzate, si noti che si hanno a disposizione circa 100 query gratuite al giorno. Una volta esaurite, è necessario pagare. Inoltre, è possibile estrarre solo fino a 100 risultati di ricerca. Per questo motivo è essenziale combinare il rank tracker con un'API di terze parti per estendere le sue funzionalità.

In chiusura!

Ed ecco fatto! I cinque passi da seguire per costruire un rank tracker utilizzando Python e l'API di ricerca di Google.

Ricordate che l'API di ricerca di Google limita il monitoraggio a 100 risultati di ricerca e 100 query al giorno. Ciononostante, è possibile tracciare in modo efficiente e legale il posizionamento delle parole chiave senza divieti IP o attivazione di CAPTCHA. Inoltre, è possibile distribuire le richieste su più account, aumentando il numero di query che è possibile inviare in un giorno.