Cómo crear un rastreador de posiciones con Python y Google Search API

Introducción

A pesar de la importancia del rastreo de palabras clave, las condiciones de servicio de Google prohíben el raspado de las SERP (páginas de resultados de los motores de búsqueda).

Las medidas anti-scraping de Google, como los CAPTCHA y el bloqueo de IP, incrementan los costes de los servicios de resolución de CAPTCHA, incluido el coste de los proxies rotatorios. Esto hace que todo el proceso de seguimiento SEO mediante web scraping sea aún más frustrante.

Bueno, si estás en esta situación o luchando por obtener datos de búsqueda de Google precisos y legales para rastrear el ranking de palabras clave, aquí hay una alternativa legal y confiable. Vamos a explorar cómo construir un rastreador de rango usando Python y Google Search API.

Creación de un rastreador de posiciones con Python y Google Search API

Para crear un rastreador de rangos utilizando Python y Google Search API, necesitas conocimientos de programación en Python, manejo de API, gestión de bases de datos y análisis de datos.

Tenga en cuenta que esta guía se centra en la creación de un rastreador de rangos para el seguimiento global de palabras clave. Para el rastreo local y avanzado de palabras clave, la integración de su script Python con una API de rastreo de rangos debería ser útil.

Profundicemos ahora en el proceso de construcción de un rastreador de rangos utilizando Python y Google Search API.

1. Configure su entorno de programación Python y sus requisitos

Antes de escribir un script en Python para rastrear el ranking de palabras clave, debe instalar la última versión de Python desde el sitio web oficial. El proceso de instalación varía en función del sistema operativo que esté ejecutando.

Una vez instalado, verifique la instalación en la línea de comandos o en el terminal. A continuación, instale un IDE o editor de código de su elección. Entre los IDEs, VS code es el más recomendado ya que soporta la mayoría de las extensiones de scripting de Python y es ligero.

A continuación, instala un entorno virtual para separar las dependencias de cada proyecto que desarrolles, evitando posibles conflictos. Y, por último, instala las librerías y herramientas Python necesarias.

Entre las bibliotecas y herramientas de Python, necesitas la biblioteca Requests para realizar las llamadas a la API de búsqueda de Google, _JSON _para procesar las respuestas de la API, Datetime para marcar la hora de las consultas, SQlite para almacenar los datos de clasificación y el historial, y Plotly o Matplotlib para la visualización.

2. Configurar la API de búsqueda de Google

Después de configurar y probar tu entorno de programación Python, dirígete a la página del motor de búsqueda programable de Google y crea un motor de búsqueda nuevo o personalizado.

Para este tutorial, configura tu motor de búsqueda personalizado para que busque en toda la web (búsqueda global) y copia su ID o valor CX. A continuación, cambia de página a Google Cloud Console y habilita la API JSON de búsqueda personalizada para obtener una clave de API.

Una vez obtenidos el valor CX y la clave API, guárdelos de forma segura en un archivo de configuración. Evita siempre codificar el valor CX o la clave API para reducir los riesgos de seguridad.

3. Escribir un script Python bien estructurado

Hasta ahora, tienes un entorno de programación correctamente configurado y el ID (más la clave API) de un motor de búsqueda personalizado de Google.

A continuación, le explicamos cómo estructurar su script Python en funciones modulares para garantizar un proceso de rastreo de palabras clave automatizado y sin problemas.

Primero, estructura tu proyecto para incluir los archivos _config.py, tracker.py, database.db, y requirements.txt _para una mejor navegación y mantenibilidad.

No olvides la carpeta data/ para guardar el historial de clasificaciones. Una vez que estos archivos y la carpeta están en su lugar, escriba las siguientes funciones para leer, escribir o modificar los archivos:

a)Una función para consultar la API de búsqueda de Google

Esta función debe aceptar una palabra clave como entrada y construir la URL de solicitud de API utilizando el valor CX y la clave de API del archivo config.py. A continuación, debe enviar la solicitud a la API de búsqueda de Google, que devuelve una respuesta JSON.

Por último, la función analiza la respuesta JSON y extrae los títulos, URL, fragmentos y posiciones de las 100 primeras páginas.

b)Una función para extraer y almacenar datos de rango

Tras analizar los resultados de la búsqueda, esta función localiza la URL de su sitio web en la lista devuelta, determina su posición en el ranking y almacena los datos del ranking en un formato estructurado en SQlite.

La función debe recorrer los resultados de la búsqueda y encontrar la posición de la URL de su sitio. Si la encuentra, extraerá y registrará su posición en el ranking. Si no la encuentra, asumirá que su sitio no se encuentra entre los 100 primeros para la palabra clave especificada.

Puede hacer que la función estructure los datos en los siguientes campos de la base de datos SQlite: palabra clave buscada, datos y hora del seguimiento, posición en el ranking y URL.

c)Una función para analizar datos y visualizarlos

Una vez en la base de datos, esta función extrae los datos de clasificación almacenados en la base de datos, los analiza y utiliza bibliotecas como Plotly y Matplotlib para visualizar las tendencias. También puedes hacer que el modelo pase los datos a modelos estadísticos para detectar caídas y aumentos en el ranking, lo que te ayudará a supervisar los esfuerzos de SEO.

1. Automatizar el rastreador de rangos en Python

Pruebe la funcionalidad de su script e implemente la gestión de errores.

Por ejemplo, el script debe ser capaz de gestionar tiempos de espera o reintentar peticiones fallidas. Además, registra las solicitudes fallidas para evitar la pérdida de datos.

Para supervisar la clasificación después de un intervalo específico, automatice todo el proceso de seguimiento utilizando un programador como cron para automatizar el seguimiento de palabras clave después de un intervalo determinado (cuántas veces al día, a la semana o al mes). Disponga de activadores que le avisen cada vez que el ranking caiga significativamente.

2. Añade funciones avanzadas a tu rastreador de rangos Python

Por último, una vez que te sientas cómodo con la creación de un rastreador de rangos básico, tienes la opción de añadir las siguientes funciones avanzadas:

• Seguimiento específico de dispositivos: Las clasificaciones para móviles y para equipos de sobremesa varían. Por este motivo, la API de búsqueda de Google te permite realizar un seguimiento de ambas clasificaciones por separado.

• Seguimiento de la competencia: Además de su sitio web, puede rastrear las URL de la competencia.

• Seguimiento del rango basado en la geolocalización: Puedes limitarte a una ubicación específica y obtener resultados que reflejen las intenciones de búsqueda de los usuarios de una determinada ciudad o país.

• Detección de características SERP: Si quieres saber si las páginas de tu sitio aparecen en los resultados de imágenes, en los fragmentos destacados o en otras características de las SERP, la API de búsqueda de Google te permite ser así de específico.

A pesar de las funciones avanzadas, ten en cuenta que dispones de unas 100 consultas gratuitas al día. Una vez agotadas, hay que pagar. Además, sólo puedes extraer hasta 100 resultados de búsqueda. Por eso es esencial combinar su rastreador de rangos con una API de rastreador de rangos de terceros para ampliar su funcionalidad.

¡Concluyendo!

¡Y ahí lo tienes! Los cinco pasos que debes seguir para construir un rastreador de rangos usando Python y la API de búsqueda de Google.

Recuerda que la API de búsqueda de Google limita el seguimiento a 100 resultados de búsqueda y 100 consultas al día. A pesar de ello, puedes realizar un seguimiento eficaz y legal de la clasificación de palabras clave sin prohibiciones de IP ni activación de CAPTCHA. Además, puedes distribuir las solicitudes entre varias cuentas, lo que aumenta el número de consultas que puedes enviar al día.