Revizuire Serpstack: O API JSON Rest pentru rezultatele căutării Google

Dacă trebuie să obțineți rezultate ale motorului de căutare, în special cele de la Google, o modalitate de a face acest lucru este să efectuați o căutare reală pe google.com și să încercați să analizați codul HTML complicat pe care îl veți obține ca rezultat. Se poate, dar este un efort destul de mare. Dacă vrei să urmezi un traseu mai ușor, de ce să nu folosești un API SERP dedicat pe care îl poți alimenta cu termenul tău de căutare și care va returna rezultatele într-un format care poate fi ușor analizat. Un astfel de produs este Serpstack API de la apilayer . Preia șirul și parametrii de interogare de căutare ca intrare și returnează rezultatele căutării în format JSON. Să aruncăm o privire în profunzime asupra produsului.

Vom începe, așa cum facem adesea, prin a discuta despre SERP în general. În continuare, vom explica ce este și vom descrie câteva dintre diferitele tipuri de rezultate care sunt de obicei disponibile de la motoarele de căutare. Vom explora, de asemenea, câteva motive pentru care s-ar folosi un API SERP. Și odată ce suntem cu toții pe aceeași pagină, vom avea o privire detaliată asupra API-ului Serpstack. Vom arunca o privire rapidă asupra unora dintre caracteristicile sale principale înainte de a descoperi cum să folosim API-ul. Și înainte de a încheia, vom explora structura de preț a serviciului și planurile disponibile.

SERP pe scurt

În primul rând, SERP este un acronim pentru Pagini cu rezultate ale motorului de căutare. Acestea sunt paginile web care sunt oferite utilizatorilor atunci când caută ceva online folosind un motor de căutare precum Google sau Bing. Utilizatorul își specifică interogarea de căutare folosind termeni și expresii specifici care sunt denumite în mod obișnuit cuvinte cheie și apoi motorul de căutare le prezintă un SERP.

Fiecare SERP este unic. Acest lucru este valabil chiar și pentru mai multe interogări de căutare efectuate pe același motor de căutare folosind aceleași cuvinte cheie sau text de interogare. Motivul principal pentru aceasta este că practic fiecare motor de căutare personalizează experiența pentru utilizatorii lor, prezentând rezultate bazate pe o gamă largă de factori care depășesc cu mult termenii lor de căutare. Acești factori pot include locația fizică a utilizatorului, istoricul său de navigare și setările sociale etc. Și, în timp ce două SERP-uri pot părea identice și pot conține multe dintre aceleași rezultate, ele vor prezenta adesea diferențe subtile.

Furnizorii de motoare de căutare precum Google, Bing sau alți jucători își dezvoltă în mod constant serviciile și tehnologiile și experimentează rezultatele lor. Scopul lor este de a oferi utilizatorilor o experiență mai receptivă și mai intuitivă. Pe măsură ce noi tehnologii sunt introduse în spațiul de căutare - și sunt într-un ritm uimitor, aspectul SERP-urilor se schimbă și astăzi sunt destul de diferite de ceea ce au fost cândva.

Rezultate organice

SERP-urile vor conține în mod normal două tipuri de conținut: rezultate organice și rezultate plătite. Rezultatele organice sunt liste de pagini web care apar ca rezultat al algoritmului motorului de căutare. Mai multe despre asta într-o clipă. Optimizarea pentru motoarele de căutare, sau SEO, este știința – sau mai degrabă este o artă – de a manipula conținutul pentru a păcăli motoarele de căutare să înregistreze site-ul nostru pentru un anumit cuvânt cheie sau șir de căutare.

Despre algoritmii de căutare și semnalele de clasare

Deci, revenim la rezultatele organice. Pe scurt, acestea sunt listări care au fost indexate de motorul de căutare pe baza unui număr de factori care sunt denumiți în mod colectiv „semnale de clasare”. De exemplu, algoritmul de căutare utilizat de Google prezintă sute de factori de clasare. Furnizorii de motoare de căutare tind să păstreze secrete detaliile sistemului lor de clasare. Așadar, deși nimeni din afara Google – și posibil nu atât de mulți oameni din interior – nu știe exact care sunt semnalele de clasare, unele sunt considerate a fi mai importante decât altele.

De ce să folosiți un API SERP?

Există mai multe motive pentru care cineva ar putea folosi un API SERP. Există necesitatea evidentă de a prelua periodic datele SERP pentru produsele și site-urile dvs. web și de a le urmări în timp, deoarece este o parte esențială a oricărei strategii SEO. În condițiile în care clasamentele fluctuează constant și cuvintele cheie de căutare devin mai mult sau mai puțin aplicabile și valoroase în decursul timpului, există o singură modalitate de a rămâne la curent cu aceste schimbări și anume să folosești un Software-as-a-Service (SaaS) gata făcut. ) soluție care implementează datele SERP direct în propriile aplicații sau site-uri web folosind un API SERP precum Serpstack.

Pe scurt, principala diferență dintre utilizarea unui browser pentru a prelua date SERP și utilizarea unui API SERP, cum ar fi Serpstack, este formatul răspunsului. API-ul Serpstack va returna date JSON care sunt ușor de analizat de software-ul dvs. intern. Folosirea acestuia vă eliberează de a fi nevoit să extrageți datele semnificative din toate formatările web din jur.

Vă prezentăm Serpstack

Într-o singură propoziție, Serpstack este un API precis și în timp real pentru rezultatele căutării Google. De încredere de unele dintre cele mai mari mărci din lume, acest API JSON REST este rapid și ușor de utilizat. Produsul este construit și întreținut de apilayer, o companie de software cu sediul în Londra, Regatul Unit și Viena, Austria. Creat inițial dintr-o nevoie internă de a ține evidența pozițiilor în motoarele de căutare într-un mod automat, produsul a crescut pentru a deveni unul dintre cele mai de încredere API-uri SERP disponibile pe piață. În ceea ce privește apilayer, aceasta este compania din spatele unora dintre cele mai populare produse API și SaaS la nivel mondial, inclusiv Currencylayer, Invoicely și Eversign.

API-ul Serpstack preia datele SERP de la motoarele de căutare într-un mod automat, folosind o rețea proxy și o tehnologie de scraping proprietară ori de câte ori se fac solicitări API. Datele SERP rezultate sunt disponibile public și oricine le poate accesa. Mai mult, Serpstack API acceptă aproape toate tipurile de rezultate de căutare returnate de Google, inclusiv rezultate web, rezultate imagini, rezultate video, rezultate știri, rezultate de cumpărături, anunțuri sponsorizate, întrebări și multe altele.

Construit pe baza infrastructurii cloud apilayer, un sistem pe care rulează unele dintre cele mai populare servicii API în timp real din lume, API-ul Serpstack este extrem de scalabil și flexibil în orice etapă. A fost construit pentru a oferi o modalitate de a răzui datele Google SERP în timp real și la orice scară. Implementarea serviciului durează doar câteva minute folosind o structură URL simplă HTTP GET, iar rezultatele sunt returnate fie în format JSON, fie în format CSV.

Principalele caracteristici ale Serpstack

În ceea ce privește caracteristicile, API-ul Serpstack nu lasă nimic de dorit. În primul rând, serviciul este foarte scalabil și întotdeauna fără coadă. Infrastructura cloud puternică a Apilayer a fost pur și simplu construită pentru a rezista solicitărilor API de volum mare, fără a fi nevoie de o coadă. A fost în centrul mai multor produse ale companiei. De asemenea, este foarte personalizabil. Deoarece nu există doi clienți care au nevoi identice, vă puteți personaliza interogările de căutare automată pe baza unei serii de opțiuni, inclusiv locație, limbă, dispozitiv și multe altele.

Folosind acest produs, a dispărut îngrijorările legate de IP-urile globale, clusterele de browsere sau CAPTCHA. Datorită unei rețele proxy subiacente puternice, acest API de scraping SERP vă acoperă aproape în orice situație. Și este, de asemenea, ușor pentru buget. Primiți până la 100 de solicitări lunare gratuit și, dacă aveți nevoie de mai mult decât atât - și cel mai probabil veți face - planurile plătite încep de la doar 29,99 USD pe lună. Vom acoperi prețul produsului în detaliu în curând.

Iată o prezentare generală a unora dintre cele mai importante caracteristici ale produsului:

Integrare simplă

Utilizarea API-ului Scrapestack cu greu ar putea fi mai ușoară de la început. Durează doar câteva minute pentru a crea interogări personalizate și pentru a începe să răzuiești pagini SERP la orice scară folosind locații, dispozitive, limbi personalizate și multe altele.

Nivel înalt de securitate

Toate fluxurile de date trimise și primite de la API-ul Serpstack sunt criptate folosind criptarea SSL pe 256 de biți. Acesta este același tip de securitate care este folosit de site-urile bancare sau de majoritatea platformelor de comerț electronic. Poți fi sigur că datele tale vor rămâne protejate.

Viteză și disponibilitate fără egal

Cu un scor de disponibilitate aproape perfect, puteți fi sigur că API-ul Scrapestack va fi acolo când aveți nevoie de el. Și apilayer nu face niciodată compromisuri în ceea ce privește viteza. Solicitările API trimise către API sunt procesate în câteva milisecunde. Desigur, cât de repede vin rezultatele depinde și de timpii de răspuns ai Google.

Alegerea formatelor de ieșire

Pentru a face și mai ușoară procesul de procesare a datelor SERP, API-ul REST ușor de utilizat Serpstack oferă o gamă de răspunsuri JSON sau CSV. Asta îl face compatibil cu orice limbaj de programare.

Asistență de clasă mondială

Se spune adesea că un produs este la fel de bun ca și structura sa de suport tehnic. Din nou, acesta este un loc în care Scrapestack strălucește. Dacă aveți întrebări tehnice, o echipă instruită de specialiști vă stă la dispoziție pentru a vă ajuta cu orice solicitare pe care le aveți. Răspunsul este rapid și serviciul funcționează destul de bine.

Documentație extinsă

La fel de important ca și suportul, documentația va fi adesea modalitatea principală de a învăța cum să folosești un produs. Serpstack oferă o documentație API extinsă care așteaptă să fie explorată. Folosind-o, veți începe în doar câteva minute și vă va face un expert în câteva zile, nu săptămâni sau luni.

Folosind Serpstack

Destul de lăudați cu caracteristicile grozave ale produsului - și ele sunt cu adevărat, haideți să aruncăm o privire la modul în care puteți utiliza de fapt produsul și diferitele tipuri de solicitări pe care le puteți face și răspunsurile corespunzătoare la care vă puteți aștepta.

Cele elementare

Pentru a utiliza API-ul Serpstack, mai întâi va trebui să vă creați un cont. Acesta este gratuit și, prin urmare, vi se va atribui o cheie unică de acces API. Acesta este ceea ce veți folosi de acum înainte pentru a vă autentifica cu API-ul prin simple solicitări HTTP GET pentru a accesa oricare dintre punctele finale disponibile. Deci, pentru a utiliza API-ul trebuie pur și simplu să atașați cheia API la adresa URL de bază folosind parametrul „ access_key ”. Iată cum arată o solicitare tipică, deși foarte simplă și total inutilă:

https://api.serpstack.com/search ? access_key = YOUR_ACCESS_KEY

Pentru securitate sporită, toate planurile plătite permit utilizarea criptării SSL pe 256 de biți. Pentru a-l folosi, tot ce aveți nevoie este să trimiteți solicitări HTTPS în loc de solicitări HTTP. De exemplu, exemplul de mai sus cu criptare ar deveni:

https://api.serpstack.com/search ? access_key = YOUR_ACCESS_KEY

Ori de câte ori o solicitare API eșuează, API-ul Serpstack va returna un obiect JSON care conține detalii despre eroare. De exemplu, iată ce ar fi returnat de API dacă limita maximă permisă de solicitări API a fost atinsă sau depășită. Fiecare plan de abonament are o limită diferită a numărului de solicitări pe care le poate face.

{ "success": false, "error": { "code": 104, "type": "usage_limit_reached", "info": "Volumul dvs. lunar de solicitări API a fost atins. Vă rugăm să actualizați planul." } }

Solicitare API și parametri

Dacă nu se specifică altfel, API-ul Serpstack va furniza întotdeauna în mod prestabilit rezultate de căutare de la Google. În consecință, dacă doriți să interogați API-ul pentru rezultatele căutării Google, tot ce trebuie să faceți este să adăugați parametrul „ interogare ” la adresa URL de bază a API-ului și să îl setați la o interogare de căutare la alegerea dvs. Iată cum arată o interogare care utilizează „mcdonalds” ca termen de căutare cu autentificare și criptare:

https://api.serpstack.com/search ? access_key = YOUR_ACCESS_KEY și interogare = mcdonalds

După cum puteți vedea, aceasta este o sintaxă destul de simplă. Există, așa cum v-ați fi imaginat cu siguranță, o mulțime de parametri opționali care pot fi atașați la o solicitare pentru a restrânge și mai mult rezultatele căutării. Vom explora câteva dintre ele într-un moment, dar o listă detaliată a tuturor este disponibilă în documentația online API.

Răspunsuri API

Răspunsurile pe care le veți primi din API-ul Serpstack vor depinde în mare măsură de interogarea dvs. de căutare și de parametrii pe care alegeți să îi utilizați. O interogare de bază fără nicio filtrare specificată va returna o mulțime de date. Iată partea de început a răspunsului pe care l-ați primi din exemplul de interogare de mai sus.

{ "request": { "success": true, "processed_timestamp": 1566207832, "search_url": "https://www.google.com/search?q=mcdonalds", "total_time_taken": 1.5 }, "search_parameters" : { "engine": "google", "query": "mcdonalds", "type": "web", "device": "desktop", "google_domain": "google.com", "hl": "ro ", "gl": "noi", "pagina": "1", "num": "10" }, "search_information": { "total_results": 759000000, "time_taken_displayed": 0.91, "did_you_mean": null, „showing_results_for”: nul, „query_displayed”: „mcdonalds”, „detected_location”: nul,„no_results_for_original_query”: fals },

Scopul eșantionului de mai sus este doar de a vă oferi o idee despre cum ar putea arăta rezultatele. Am inclus doar primele 25 de rânduri ale răspunsului care, în întregime, are peste patru sute de rânduri.

După cum probabil ați observat când utilizați căutarea Google, o pagină tipică cu rezultatele căutării are secțiuni diferite, fiecare afișând un tip diferit de rezultate. Veți avea rezultate de anunțuri plătite, rezultate organice, imagini, videoclipuri etc. În plus, o panglică din partea de sus a paginii vă va permite să afișați anumite tipuri de rezultate, cum ar fi hărți, știri, cumpărături sau cărți, doar pentru a numi câteva . Diferiți parametri opționali vă vor permite să specificați ce tip de rezultate de căutare sunteți interesat să obțineți, făcând mult mai simplă analizarea fișierului JSON rezultat. Să aruncăm o privire mai profundă asupra unora dintre diferitele tipuri de rezultate pe care le puteți obține.

Rezultatele reclamelor

Ori de câte ori există anunțuri sponsorizate pentru interogarea dvs. de căutare - și vor exista cel mai adesea, răspunsul API va veni cu un obiect publicitar. Conține toate anunțurile în ordinea în care sunt afișate în rezultatul căutării. Include atât anunțurile afișate în partea de sus, cât și în partea de jos a rezultatului căutării.

Rezultate organice

Rezultatele căutării organice sunt principalele rezultate ale căutării oferite de Google și, probabil, sunt cele care vă interesează în mod special. Sunt determinate de o serie de factori, cum ar fi traficul web, back-link-urile, prezența în rețelele sociale și multe altele. , cu algoritmul exact ținut secret de Google pentru a-și păstra avantajul competitiv. Aceste rezultate sunt analizate de API în detaliu și returnate ca „ rezultate_organice ”.

Rezultate imagini

Așa cum există două moduri de a obține rezultate de imagine dintr-o căutare Google, există două moduri prin care imaginile pot fi returnate de API. Când efectuați o căutare standard pe web, unele imagini sunt furnizate de Google în rezultatele căutării. Aceste imagini, care sunt denumite imagini inline, sunt returnate de API-ul Scrapestack într-o matrice „ inline_images ”.

"image_results": [ { "position": 1, "title": "McDonald's Gold Card: The True Story ...", "width": 1024, "height": 683, "image_url": "https:// www.rd.com/app/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg", "type": "png" , "url": "https://rd.com", "sursa": "https://rd.com" }, { "position": 2, "title": "McDonald's - Wikipedia", "width" : 1200, „înălțime”: 1051, „url_image”: „https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.png. , „type”: „png”, „url”: „https://ro.wikipedia.org/wiki/McDonald%27s", "sursa": "https://en.wikipedia.org" }, { "position": 3, "title": "Cele mai bune articole noi din meniul global...", „lățime”: 970, „înălțime”: 545, „url_image”: „https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg”, „tip”: „png”, „url”: „https://thrillist.com/”, „sursă”: „https://thrillist.com” } ]„type”: „png”, „url”: „https://thrillist.com/”, „sursă”: „https://thrillist.com” } ]„type”: „png”, „url”: „https://thrillist.com/”, „sursă”: „https://thrillist.com” } ]

Dacă, pe de altă parte, imaginile sunt căutate în mod specific, cu parametrul tip setat la imagini, imaginile sunt returnate ca o matrice „ image_results ”. În aceste situații, API-ul returnează implicit 100 de imagini.

Rezultate video

Exact aceleași considerații pe care tocmai le-am analizat pentru imagini sunt valabile și pentru rezultatele video, cu disponibilitatea atât a videoclipurilor inline, cât și a rezultatelor căutării globale sau a rezultatelor video dedicate.

Am putea continua pentru pagini și să vă oferim informații detaliate despre diferitele tipuri de rezultate pe care API-ul Serpstack le poate returna, dar credem că înțelegeți imaginea. Este suficient să spunem că orice tip de rezultate returnate de o căutare tipică Google este disponibil și în răspunsul API-ului. Pe lângă tipurile de rezultate deja descrise, API-ul va reveni, rezultate de știri, rezultate de cumpărături și rezultate locale, precum și conținutul casetei de răspuns a paginii de rezultate, casetei meteo, evenimente, carusel de top, povești de top etc.

Medii de programare acceptate

Unul dintre cele mai bune lucruri despre API-ul Serpstack este că îl puteți utiliza cu ușurință din majoritatea mediilor, indiferent de limba pe care o utilizați, atâta timp cât puteți trimite solicitări HTTP, ar trebui să fiți gata. Sunt acceptate toate limbile web populare, cum ar fi PHP sau Python. De fapt, documentația API-ului include exemple de utilizare din PHP, Python, Nodejs, jQuery, Go și Ruby.

Iată, de exemplu, codul PHP pentru a tipări numărul total de rezultate ale căutării, precum și fiecare rezultat organic de căutare returnat de API-ul Serpstack.

$queryString = http_build_query([ 'access_key' => 'YOUR_ACCES_KEY', 'query' => 'mcdonalds', ]); $ch = curl_init(sprintf('%s?%s', 'https://api.serpstack.com/search', $queryString)); curl_setopt($ch, CURLOPT_RETURNTRANSFER, adevărat); $json = curl_exec($ch); curl_close($ch); $api_result = json_decode($json, true); echo "Rezultatele totale: ", $api_result['search_information']['total_results'], PHP_EOL; foreach ($api_result['organic_results'] as $number => $result) { echo "{$number}. {$result['title']}", PHP_EOL; }

Și iată un cod pentru a realiza același lucru în Python:

solicitări de import parametri = { 'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds' } api_result = requests.get('https://api.serpstack.com/search', params) api_response = api_result.json() print „Rezultatele totale: „, api_response['search_information']['total_results'] pentru număr, rezultat în enumerate(api_response['organic_results'], start=1): tipăriți „%s. %s” % (număr, rezultat ['titlu'])

Prețuri și planuri

API-ul Serpstack este disponibil în mai multe planuri, în funcție de nevoile dvs. Cel mai de bază plan este planul gratuit. După cum sugerează și numele, este gratuit, dar, deși nu este limitat în timp, ca versiunile de încercare obișnuite, este limitat de funcții, precum și de utilizare limitată. Veți putea efectua doar până la 100 de căutări pe lună.

Următoarele trei niveluri sunt complete și variază numai în funcție de numărul maxim de căutări lunare pe care aveți voie să le efectuați. Planul de bază vă va oferi 5000 pentru 29,99 USD/lună, planul Business la 99,99 USD/lună îi aduce la 20 000, iar planul Business Pro vă permite să efectuați 50 000 de căutări pentru 199,99 USD pe lună. Dacă niciunul dintre aceste planuri nu ți se potrivește, există și un plan Enterprise cu prețuri variabile, care poate fi personalizat în funcție de nevoile tale exacte. Dacă alegeți facturarea anuală în loc de lunară, aveți dreptul la o reducere de 20%, făcând serviciul și mai accesibil.

Încheierea

Pe scurt, API-ul Serpstack este un produs ușor de utilizat, cu funcții complete, pe care îl puteți folosi în mod corespunzător oricând trebuie să obțineți date SERP de la Google. Timpul său de funcționare extraordinar și timpul de răspuns impresionant sunt unele dintre cele mai bune atuuri ale sale. Susținut de apilayer, care ne-a adus și alte API-uri excelente, suntem încrezători că acesta va oferi rezultatele pe care le așteptați. Acesta este un produs pe care nu putem decât să îl recomandăm.