Як створити ранговий трекер за допомогою Python та Google Search API

Вступ

Навіть незважаючи на важливість відстеження ключових слів, Terms of Service (Умови надання послуг) Google забороняють сканування сторінок пошукової видачі (SERP - Search Engine Results Pages).

Заходи Google проти скрапінгу, такі як CAPTCHA і блокування IP-адрес, збільшують витрати на послуги, пов'язані з вирішенням проблеми CAPTCHA, в тому числі на ротацію проксі-серверів. Це робить весь процес SEO-моніторингу за допомогою веб-скрепінгу ще більш неприємним.

Що ж, якщо ви опинилися в такій ситуації або намагаєтеся отримати точні та легальні пошукові дані Google для відстеження ранжування ключових слів, ось вам легальна та надійна альтернатива. Давайте розглянемо, як створити трекер за допомогою Python і Google Search API.

Створення рангового трекера за допомогою Python та Google Search API

Щоб створити рейтинговий трекер за допомогою Python і Google Search API, вам знадобляться навички програмування на Python, роботи з API, управління базами даних та аналітики даних.

Зверніть увагу, що цей посібник зосереджується на створенні ранг-трекера для глобального відстеження ключових слів. Для локального та розширеного відстеження ключових слів вам стане в нагоді інтеграція вашого Python-скрипту з API трекера ранжирування.

Тепер давайте заглибимося в процес створення ранг-трекера за допомогою Python і Google Search API.

1. Налаштуйте середовище програмування Python та вимоги до нього

Перш ніж писати Python-скрипт для відстеження рейтингу ключових слів, необхідно встановити останню версію Python з офіційного сайту. Процес встановлення залежить від операційної системи, яку ви використовуєте.

Після встановлення перевірте встановлення у командному рядку або терміналі. Потім встановіть IDE або редактор коду на ваш вибір. Серед IDE найбільш рекомендованим є VS code, оскільки він підтримує більшість розширень скриптів Python і має невелику вагу.

Далі встановіть віртуальне середовище, щоб відокремити залежності кожного проекту, який ви розробляєте, запобігаючи потенційним конфліктам. І, нарешті, встановіть необхідні бібліотеки та інструменти Python.

Серед бібліотек та інструментів Python вам знадобиться бібліотека Requests для викликів API до Google Search API, _JSON _для обробки відповідей API, Datetime для запитів з мітками часу, SQlite для зберігання даних ранжування та історії, а також Plotly або Matplotlib для візуалізації.

2. Налаштування Google Search API

Після налаштування та тестування середовища програмування на Python перейдіть на сторінку Google Programmable Search Engine і створіть нову або власну пошукову систему.

Для цього посібника налаштуйте свою пошукову систему на пошук по всьому Інтернету (глобальний пошук) і скопіюйте її ідентифікатор або значення CX. Потім переключіться на Google Cloud Console і увімкніть JSON API для спеціального пошуку, щоб отримати ключ API.

Після отримання значення CX та ключа API надійно збережіть їх у файлі конфігурації. Завжди уникайте жорсткого кодування значення CX або ключа API, щоб зменшити ризики безпеки.

3. Написати добре структурований Python-скрипт

Наразі у вас є правильно налаштоване середовище програмування та ідентифікатор (плюс ключ API) спеціальної пошукової системи Google.

Ось як структурувати свій скрипт Python на модульні функції, щоб забезпечити безперебійний і автоматизований процес відстеження рейтингу ключових слів.

По-перше, структуруйте ваш проект, включивши до нього _config.py, tracker.py, database.db та requirements.txt _файли для кращої навігації та зручності супроводу.

Не забудьте про дані/папку для зберігання історії рейтингу. Після того, як ці файли і папка створені, напишіть наступні функції для читання, запису або модифікації файлів:

a)Функція для запиту до Google Search API

Ця функція повинна приймати на вхід ключове слово і створювати URL-адресу запиту до API, використовуючи значення CX і ключ API з файлу config.py. Потім вона має надіслати запит до Google Search API, який поверне відповідь у форматі JSON.

Нарешті, функція аналізує відповідь JSON, витягуючи заголовки, URL-адреси, фрагменти і позиції в рейтингу перших 100 сторінок.

b)Функція для вилучення та зберігання даних про ранги

Після аналізу результатів пошуку ця функція знаходить URL-адресу вашого сайту в повернутому списку, визначає його позицію в рейтингу і зберігає дані про рейтинг у структурованому форматі в SQlite.

Функція повинна циклічно переглядати результати пошуку і знаходити позицію URL-адреси вашого сайту. Якщо вона знайдена, вона повинна витягти і записати його позицію в рейтингу. Якщо не знайдено, вона повинна вважати, що ваш сайт не входить в топ-100 за вказаним ключовим словом.

Ви можете структурувати дані за такими полями бази даних SQlite: ключове слово для пошуку, дані та час відстеження, рейтингова позиція та URL-адреса.

в)Функція аналізу даних та їх візуалізації

Опинившись у базі даних, ця функція витягує збережені дані ранжування з бази даних, аналізує їх і використовує бібліотеки, такі як Plotly і Matplotlib, для візуалізації тенденцій. Ви також можете передати дані статистичним моделям, щоб виявити падіння і зростання рейтингу, допомагаючи вам контролювати зусилля SEO.

1. Автоматизуйте трекер рейтингу на Python

Протестуйте функціональність вашого скрипта та реалізуйте обробку помилок.

Наприклад, скрипт повинен вміти обробляти таймаути або повторювати невдалі запити. Крім того, він повинен реєструвати невдалі запити, щоб уникнути втрати даних.

Щоб відстежувати рейтинг через певний проміжок часу, автоматизуйте весь процес відстеження за допомогою планувальника на кшталт cron, щоб автоматизувати відстеження ключових слів через певний проміжок часу (скільки разів на день, тиждень або місяць). Встановіть тригери, які сповіщатимуть вас про значне падіння позицій.

2. Додайте розширені функції до вашого рейтингового трекера на Python

Нарешті, після того, як ви відчуєте себе комфортно з побудовою базового рангового трекера, у вас є можливість додати наступні розширені функції:

• Відстеження на конкретному пристрої: Мобільні та десктопні рейтинги відрізняються. Ось чому Google Search API дозволяє відстежувати рейтинги окремо для мобільних і десктопних пристроїв.

• Відстеження конкурентів: Окрім вашого веб-сайту, ви можете відстежувати URL-адреси конкурентів.

• Відстеження рейтингу на основі геолокації: Ви можете звузити пошук до конкретного місця і отримати результати, які відображають пошукові наміри користувачів у певному місті чи країні.

• Виявлення особливостей пошукової видачі: Якщо ви хочете знати, чи з'являються сторінки вашого сайту в результатах пошуку зображень, фрагментах або інших елементах пошукової видачі, Google Search API дозволяє вам це зробити.

Незважаючи на розширені можливості, зауважте, що у вас є близько 100 безкоштовних запитів на день. Після того, як ви їх вичерпаєте, вам доведеться платити. Крім того, ви можете витягувати лише до 100 результатів пошуку. Ось чому важливо поєднувати ваш трекер з API сторонніх трекерів, щоб розширити його функціональність.

Закінчуємо!

І ось ви маєте його! П'ять кроків, які потрібно виконати, щоб створити трекер рейтингу за допомогою Python та Google Search API.

Пам'ятайте, що Google Search API обмежує ваше відстеження 100 результатами пошуку і 100 запитами на день. Незважаючи на це, ви можете ефективно і легально відстежувати ранжування ключових слів без заборони IP-адрес або запуску CAPTCHA. Крім того, ви можете розподіляти запити між кількома акаунтами, збільшуючи кількість запитів, які ви можете відправити протягом дня.