Kuidas ehitada Rank Tracker kasutades Python & Google Search API

Intro

Isegi kui märksõnade jälgimine on oluline, keelavad Google'i ToS (Terms of Service) SERP-de (Search Engine Results Pages) kraapimise.

Google'i scrapinguvastased meetmed, nagu CAPTCHA-d ja IP-blokeerimine, suurendavad CAPTCHA-de lahendamise teenuste kulusid, sealhulgas proxy-de vahetamise kulusid. See muudab kogu SEO-seireprotsessi veebikaapimise kaudu veelgi pettumust tekitavamaks.

Noh, kui olete sellises olukorras või olete hädas, et saada täpseid ja seaduslikke Google'i otsinguandmeid, et jälgida märksõnade järjestust, siis siin on seaduslik ja usaldusväärne alternatiiv. Uurime, kuidas luua auastme jälgimise seade Pythoni ja Google'i otsingu API abil.

Ehitus Rank Tracker kasutades Python & Google Search API

Pythoni ja Google'i otsingu API abil edetabelite jälgimise süsteemi loomiseks on vaja Pythoni programmeerimise, API käitlemise, andmebaaside haldamise ja andmeanalüüsi oskusi.

Pange tähele, et selles juhendis keskendutakse ülemaailmse märksõna jälgimiseks mõeldud edetabeli loomisele. Kohalike ja täiustatud märksõnade jälgimiseks peaks Pythoni skripti integreerimine pingerea jälgimise API-ga olema kasulik.

Uurime nüüd Pythoni ja Google'i otsingu API abil auastmete jälgimise protsessi.

1. Pythoni programmeerimiskeskkonna ja nõuete seadistamine

Enne Pythoni skripti kirjutamist võtmesõnade järjestuse jälgimiseks peate installima Pythoni uusima versiooni ametlikust veebisaidist. Paigaldusprotsess sõltub kasutatavast operatsioonisüsteemist.

Pärast paigaldamist kontrollige paigaldamist käsureal või terminalis. Seejärel installige enda valitud IDE või koodiredaktor. IDE-dest on kõige soovitatavam VS code, kuna see toetab enamikku Pythoni skriptide laiendusi ja on kergekaaluline.

Seejärel installige virtuaalne keskkond, et eraldada iga arendatava projekti sõltuvused, vältides võimalikke konflikte. Ja lõpuks installige vajalikud Pythoni raamatukogud ja tööriistad.

Pythoni raamatukogudest ja tööriistadest on vaja raamatukogu Requests, et teha API-kõnesid Google Search API-le, _JSON _ API vastuste töötlemiseks, Datetime päringute ajatempliks, SQlite pingerea andmete ja ajaloo salvestamiseks ning Plotly või Matplotlib visualiseerimiseks.

2. Google Search API konfigureerimine

Pärast Pythoni programmeerimiskeskkonna seadistamist ja testimist minge Google'i programmeeritava otsingumootori lehele ja looge uus või kohandatud otsingumootor.

Selle õpetuse jaoks määrake oma kohandatud otsingumootor kogu veebis otsimiseks (globaalne otsing) ja kopeerige selle ID või CX väärtus. Seejärel vahetage leheküljed Google Cloud Console'ile ja lubage kohandatud otsingu JSON API, et saada API võti.

Pärast CX-väärtuse ja API-võtme saamist salvestage need kaks turvaliselt konfiguratsioonifaili. Turvariskide vähendamiseks vältige alati CX-väärtuse või API-võtme kõvakodeerimist.

3. Kirjutage hästi struktureeritud Python-skript

Seni on teil õigesti konfigureeritud programmeerimiskeskkond ja Google'i kohandatud otsingumootori ID (pluss API võti).

Siin on kirjeldatud, kuidas struktureerida oma Python-skript modulaarseteks funktsioonideks, et tagada sujuv ja automatiseeritud märksõnade järjestamise protsess.

Kõigepealt struktureerige oma projekt nii, et see sisaldaks _config.py, tracker.py, database.db ja requirements.txt _faili, et oleks parem navigeerimine ja hooldatavus.

Ärge unustage andmeid/ kausta, et hoida salvestatud pingerea ajalugu. Kui need failid ja kaust on paigas, kirjutage järgmised funktsioonid, et lugeda failidest, kirjutada neisse või muuta neid:

a)Funktsioon Google Search API päringu tegemiseks

See funktsioon peaks vastu võtma sisendiks võtmesõna ja konstrueerima API päringu URL-i, kasutades CX-väärtust ja API-võtit failist config.py. Seejärel peaks see saatma päringu Google Search API-le, mis saadab tagasi JSON-vastuse.

Lõpuks analüüsib funktsioon JSON-vastuse, eraldades esimese 100 lehekülje pealkirjad, URL-id, lõiked ja edetabelipositsioonid.

b)funktsioon auastmeandmete väljavõtmiseks ja salvestamiseks

Pärast otsingutulemuste analüüsimist leiab see funktsioon teie veebisaidi URL-aadressi tagastatud nimekirjast, määrab selle positsiooni ja salvestab pingerea andmed struktureeritud kujul SQlite'is.

Funktsioon peaks läbima otsingutulemused ja leidma teie saidi URL-i asukoha. Kui see on leitud, peaks see välja võtma ja salvestama selle positsiooni. Kui seda ei leita, peaks see eeldama, et teie sait ei ole määratud märksõna puhul 100 parima hulgas.

Saate funktsiooniga struktureerida andmed järgmistesse SQlite'i andmebaasi väljadesse - otsitud märksõna, jälgimise andmed ja aeg, järjestatud positsioon ja URL.

c)funktsioon andmete analüüsimiseks ja visualiseerimiseks

Kui see funktsioon on andmebaasis, tõmbab see salvestatud pingerea andmed andmebaasist välja, analüüsib neid ja kasutab suundumuste visualiseerimiseks selliseid raamatukogusid nagu Plotly ja Matplotlib. Samuti saate lasta mudelil edastada andmeid statistilistele mudelitele, et tuvastada edetabeli langusi ja tõususid, aidates teil jälgida SEO-püüdlusi.

1. Pythoni auastmete jälgimise automatiseerimine

Testige oma skripti funktsionaalsust ja rakendage veakäitlus.

Näiteks peaks skript suutma käsitleda ajakatkestusi või ebaõnnestunud taotlusi uuesti proovida. Samuti logida ebaõnnestunud taotlused, et vältida andmete kaotamist.

Et jälgida järjestust pärast teatud intervalli, automatiseeri kogu jälgimisprotsess, kasutades ajakava nagu cron, et automatiseerida märksõnade jälgimine pärast teatud intervalli (mitu korda päevas, nädalas või kuus). Võtke kasutusele päästikud, mis annavad teile märku, kui edetabelis on märkimisväärne langus.

2. Lisage oma Pythoni auastme jälgimisele täiustatud funktsioone

Lõpuks, kui teil on mugav ehitada põhiline auastmete jälgimise süsteem, on teil võimalus lisada järgmised täiustatud funktsioonid:

• Seadmespetsiifiline jälgimine: Mobiili- ja lauaarvutite edetabelid erinevad. Seepärast võimaldab Google Search API jälgida mõlemat pingerida eraldi.

• Konkurentide jälgimine: Konkurentide URL-ide jälgimine: Lisaks oma veebisaidile saate jälgida ka konkurentide URL-id.

• Geolokatsioonipõhine pingerea jälgimine: Te saate kitsendada konkreetse asukoha ja otsida tulemusi, mis kajastavad kasutajate otsingukavatsusi konkreetses linnas või riigis.

• SERP funktsioonide tuvastamine: Kui soovite teada, kas teie saidi leheküljed ilmuvad pilditulemustes, esile toodud kokkuvõtetes või muudes SERP-funktsioonides, võimaldab Google Search API seda konkreetselt teha.

Hoolimata täiustatud funktsioonidest, arvestage, et teil on umbes 100 vaba päringut päevas. Kui olete selle ammendanud, peate maksma. Samuti saate tõmmata ainult kuni 100 otsingutulemust. Seetõttu on oluline ühendada oma edetabelit kolmanda osapoole edetabelite API-ga, et laiendada selle funktsionaalsust.

Lõpetamine!

Ja siin ongi see! Viis sammu, mida peate järgima, et luua Pythoni ja Google'i otsingu API abil auastmete jälgimise süsteem.

Pidage meeles, et Google Search API piirab teie jälgimist 100 otsingutulemuse ja 100 päringuga päevas. Sellest hoolimata saate tõhusalt ja seaduslikult jälgida märksõnade järjestust ilma IP-keeldude või CAPTCHA-de käivitamiseta. Lisaks on teil lubatud jaotada päringuid mitme konto vahel, suurendades seega päringute arvu, mida saate ühe päeva jooksul saata.