Serpstack Review: een JSON Rest API voor zoekresultaten van Google

Als u zoekresultaten van zoekmachines moet ophalen, met name die van Google, kunt u dit doen door een echte zoekopdracht uit te voeren op google.com en te proberen de ingewikkelde HTML-code te ontleden die u als resultaat krijgt. Het kan wel, maar het is een hele onderneming. Als u een eenvoudigere route wilt nemen, waarom gebruikt u dan geen speciale SERP API die u kunt voeden met uw zoekterm en die de resultaten zal retourneren in een formaat dat gemakkelijk kan worden geparseerd. Een zo'n product is de Serpstack API van apilayer . Het neemt uw zoekopdrachtreeks en parameters als invoer en retourneert de zoekresultaten in JSON-indeling. Laten we het product eens nader bekijken.

We beginnen zoals we vaak doen door SERP in het algemeen te bespreken. Vervolgens leggen we uit wat het is en beschrijven we enkele van de verschillende soorten resultaten die doorgaans beschikbaar zijn via zoekmachines. We zullen ook enkele redenen onderzoeken waarom men een SERP API zou gebruiken. En zodra we allemaal op dezelfde pagina staan, zullen we de Serpstack API gedetailleerd bekijken. We zullen snel enkele van de belangrijkste functies ervan bekijken voordat we ingaan op het gebruik van de API. En voordat we besluiten, zullen we de prijsstructuur en beschikbare abonnementen van de service onderzoeken.

SERP in een notendop

Om te beginnen is SERP een acroniem voor Search Engine Results Pages. Dit zijn de webpagina's die aan gebruikers worden getoond wanneer ze online naar iets zoeken met behulp van een zoekmachine zoals Google of Bing. De gebruiker specificeert zijn zoekopdracht met behulp van specifieke termen en zinsdelen die gewoonlijk trefwoorden worden genoemd en vervolgens presenteert de zoekmachine hen een SERP.

Elke SERP is uniek. Dit geldt zelfs voor meerdere zoekopdrachten die op dezelfde zoekmachine worden uitgevoerd met dezelfde trefwoorden of zoekopdrachttekst. De belangrijkste reden daarvoor is dat vrijwel elke zoekmachine de ervaring voor hun gebruikers aanpast door resultaten te presenteren op basis van een breed scala aan factoren die veel verder gaan dan hun zoektermen. Deze factoren kunnen de fysieke locatie van de gebruiker, zijn browsegeschiedenis en sociale instellingen, enz. omvatten. En hoewel twee SERP's identiek kunnen lijken en veel van dezelfde resultaten kunnen bevatten, zullen ze vaak subtiele verschillen vertonen.

Aanbieders van zoekmachines zoals Google, Bing of andere spelers zijn voortdurend bezig met het ontwikkelen van hun diensten en technologieën en experimenteren met hun resultaten. Hun doel is om hun gebruikers een meer responsieve en intuïtieve ervaring te bieden. Naarmate nieuwe technologieën worden geïntroduceerd in de zoekruimte - en ze gaan in een verbazingwekkend tempo, verandert het uiterlijk van de SERP's, en ze zijn tegenwoordig heel anders dan ze ooit waren.

Organische resultaten

SERP's bevatten normaal gesproken twee soorten inhoud: organische resultaten en betaalde resultaten. Organische resultaten zijn lijsten van webpagina's die verschijnen als resultaat van het algoritme van de zoekmachine. Hierover straks meer. Zoekmachineoptimalisatie, of SEO, is de wetenschap - of is het eerder een kunst - om inhoud te manipuleren om zoekmachines te misleiden zodat ze onze website vermelden voor een specifiek trefwoord of zoekreeks.

Over zoekalgoritmen en rangschikkingssignalen

Dus terug naar organische resultaten. In een notendop zijn het lijsten die door de zoekmachine zijn geïndexeerd op basis van een aantal factoren die gezamenlijk 'rangschikkingssignalen' worden genoemd. Het zoekalgoritme dat Google gebruikt, bevat bijvoorbeeld honderden rankingfactoren. Aanbieders van zoekmachines hebben de neiging om de details van hun rankingsysteem geheim te houden. Dus hoewel niemand buiten Google - en mogelijk niet zo veel mensen binnen - precies weet wat de rangordesignalen zijn, worden sommige als belangrijker beschouwd dan andere.

Waarom een ​​SERP-API gebruiken?

Er zijn verschillende redenen waarom iemand een SERP API zou kunnen gebruiken. Er is duidelijk behoefte aan het periodiek ophalen van SERP-gegevens voor uw producten en websites en deze in de loop van de tijd bij te houden, aangezien dit een essentieel onderdeel is van elke SEO-strategie. Met voortdurend fluctuerende rankings en zoektermen die in de loop van de tijd meer of minder toepasbaar en waardevol worden, is er maar één manier om op de hoogte te blijven van deze veranderingen en dat is door gebruik te maken van een kant-en-klaar Software-as-a-Service (SaaS ) oplossing die SERP-gegevens rechtstreeks in uw eigen applicaties of websites implementeert met behulp van een SERP API zoals Serpstack.

In een notendop, het belangrijkste verschil tussen het gebruik van een browser om SERP-gegevens op te halen en het gebruik van een SERP API zoals Serpstack is het formaat van het antwoord. De Serpstack API retourneert JSON-gegevens die eenvoudig kunnen worden geparseerd door uw interne software. Door het te gebruiken, hoeft u geen zinvolle gegevens uit alle omringende webopmaak te extraheren.

Introductie van Serpstack

In één zin is Serpstack een realtime en nauwkeurige Google-zoekresultaten-API. Deze JSON REST API, die wordt vertrouwd door enkele van de grootste merken ter wereld, is razendsnel en gebruiksvriendelijk. Het product is gebouwd en onderhouden door apilayer, een softwarebedrijf gevestigd in Londen, Verenigd Koninkrijk en Wenen, Oostenrijk. Oorspronkelijk ontstaan ​​uit een interne behoefte om de posities van zoekmachines op een geautomatiseerde manier bij te houden, is het product uitgegroeid tot een van de meest vertrouwde SERP API's die op de markt verkrijgbaar zijn. Wat betreft apilayer, dit is het bedrijf achter enkele van de meest populaire API- en SaaS-producten wereldwijd, waaronder Currencylayer, Invoicely en Eversign.

De Serpstack API haalt op geautomatiseerde wijze SERP-gegevens op van zoekmachines door gebruik te maken van een proxy-netwerk en een gepatenteerde scraping-technologie wanneer API-verzoeken worden gedaan. De resulterende SERP-gegevens zijn openbaar beschikbaar en iedereen heeft er toegang toe. Bovendien ondersteunt de Serpstack API bijna alle typen zoekresultaten die door Google worden geretourneerd, inclusief webresultaten, afbeeldingsresultaten, videoresultaten, nieuwsresultaten, winkelresultaten, gesponsorde advertenties, vragen en nog veel meer.

Gebouwd op een apilayer-cloudinfrastructuur, een systeem waarop enkele van 's werelds meest populaire realtime API-services draaien, is de Serpstack API zeer schaalbaar en flexibel in elk stadium. Het is gebouwd om een ​​manier te bieden om Google SERP-gegevens in realtime en op elke schaal te scrapen. Het implementeren van de service duurt slechts een paar minuten met behulp van een eenvoudige HTTP GET URL-structuur en de resultaten worden geretourneerd in JSON- of CSV-indeling.

Belangrijkste kenmerken van Serpstack:

Qua functionaliteit laat de Serpstack API niets te wensen over. Eerst en vooral is de service zeer schaalbaar en altijd wachtrijloos. De krachtige cloudinfrastructuur van Apilayer is eenvoudig gebouwd om API-verzoeken met een hoog volume te weerstaan ​​zonder dat er een wachtrij nodig is. Het vormt de kern van verschillende producten van het bedrijf. Het is ook zeer aanpasbaar. Aangezien geen twee klanten dezelfde behoeften hebben, kunt u uw geautomatiseerde zoekopdrachten afstemmen op een reeks opties, waaronder locatie, taal, apparaat en meer.

Met dit product hoeft u zich geen zorgen meer te maken over wereldwijde IP's, browserclusters of CAPTCHA's. Dankzij een krachtig onderliggend proxynetwerk, heeft deze SERP-scraping-API je in vrijwel elke situatie gedekt. En het is ook gemakkelijk voor het budget. Je krijgt tot 100 maandelijkse verzoeken gratis en, als je meer nodig hebt - en dat zal je hoogstwaarschijnlijk ook doen - betaalde abonnementen beginnen bij slechts $ 29,99 per maand. We zullen binnenkort meer in detail ingaan op de prijs van het product.

Hier is een overzicht van enkele van de belangrijkste kenmerken van het product:

Eenvoudige integratie

Het gebruik van de Scrapestack API kan vanaf het begin nauwelijks eenvoudiger zijn. Het duurt maar een paar minuten om aangepaste query's te maken en SERP-pagina's op elke schaal te scrapen met behulp van aangepaste locaties, apparaten, talen en meer.

Hoog beveiligingsniveau

Alle gegevensstromen die worden verzonden naar en ontvangen van de Serpstack API zijn versleuteld met 256-bit SSL-codering. Dit is hetzelfde type beveiliging dat wordt gebruikt door banksites of de meeste e-commerceplatforms. U kunt erop vertrouwen dat uw gegevens beschermd blijven.

Ongeëvenaarde snelheid en beschikbaarheid

Met een bijna perfecte beschikbaarheidsscore kun je erop vertrouwen dat de Scrapestack API er is wanneer je hem nodig hebt. En apilayer doet nooit concessies aan snelheid. API-verzoeken die naar de API worden verzonden, worden binnen enkele milliseconden verwerkt. Hoe snel de resultaten komen, hangt natuurlijk ook af van de reactietijden van Google.

Keuze van uitvoerformaten

Om het aanklagen van de SERP-gegevens nog gemakkelijker te maken, biedt de gebruiksvriendelijke REST-API van Serpstack een keuze uit JSON- of CSV-reacties. Dat maakt het compatibel met elke programmeertaal.

Ondersteuning van wereldklasse

Er wordt vaak gezegd dat een product slechts zo goed is als de technische ondersteuningsstructuur. Nogmaals, dit is een plek waar Scrapestack uitblinkt. Als u technische vragen heeft, staat een getraind team van specialisten klaar om u te helpen met al uw verzoeken. De reactie is snel en de service werkt redelijk goed.

Uitgebreide documentatie

Net zo belangrijk als de ondersteuning, is de documentatie vaak uw belangrijkste manier om te leren hoe u een product moet gebruiken. Serpstack biedt uitgebreide API-documentatie die wacht om ontdekt te worden. Als u het gebruikt, kunt u binnen een paar minuten aan de slag en wordt u een expert in een kwestie van dagen, niet weken of maanden.

Serpstack gebruiken

Genoeg opgeschept over de geweldige functies van het product - en dat zijn ze ook, laten we eens kijken hoe u het product daadwerkelijk kunt gebruiken en de verschillende soorten verzoeken die u kunt indienen en de bijbehorende reacties die u kunt verwachten.

De basis

Om de Serpstack API te gebruiken, moet je je eerst aanmelden voor een account. Dit is gratis en als gevolg daarvan krijgt u een unieke API-toegangssleutel toegewezen. Dit is wat u vanaf nu zult gebruiken om te authenticeren met de API via eenvoudige HTTP GET-verzoeken om toegang te krijgen tot een van de beschikbare eindpunten. Dus om de API te gebruiken, hoeft u alleen maar uw API-sleutel toe te voegen aan de basis-URL met behulp van de parameter " access_key ". Dit is hoe een typisch - zij het erg basaal en totaal nutteloos - verzoek eruitziet:

https://api.serpstack.com/search ? access_key = UW_ACCESS_KEY

Voor extra veiligheid staan ​​alle betaalde abonnementen het gebruik van 256-bit SSL-codering toe. Om het te gebruiken, hoeft u alleen maar HTTPS-verzoeken te verzenden in plaats van HTTP-verzoeken. Het bovenstaande voorbeeld met codering zou bijvoorbeeld worden:

https://api.serpstack.com/search ? access_key = UW_ACCESS_KEY

Telkens wanneer een API-verzoek mislukt, retourneert de Serpstack-API een JSON-object met details over de fout. Dit is bijvoorbeeld wat de API zou retourneren als de maximaal toegestane API-verzoeklimiet is bereikt of overschreden. Elk abonnement heeft een andere limiet voor het aantal verzoeken dat men kan doen.

{ "success": false, "error": { "code": 104, "type": "usage_limit_reached", "info": "Uw maandelijkse API-verzoekvolume is bereikt. Upgrade uw abonnement." } }

API-verzoek en parameters

Tenzij anders aangegeven, levert de Serpstack API altijd standaard zoekresultaten van Google. Als u de API wilt doorzoeken voor zoekresultaten van Google, hoeft u alleen maar de parameter ' query ' toe te voegen aan de basis-URL van de API en deze in te stellen op een zoekopdracht naar keuze. Hier ziet u hoe een zoekopdracht met 'mcdonalds' als zoekterm eruitziet met authenticatie en codering:

https://api.serpstack.com/search ? access_key = UW_ACCESS_KEY & query = mcdonalds

Zoals u kunt zien, is dit een vrij eenvoudige syntaxis. Er zijn, zoals je je zeker had kunnen voorstellen, een heleboel optionele parameters die kunnen worden toegevoegd aan een verzoek om de zoekresultaten verder te verfijnen. We zullen er zo een paar bekijken, maar een gedetailleerde lijst van ze is allemaal beschikbaar in de online API-documentatie.

API-reacties

De antwoorden die u van de Serpstack API krijgt, zijn sterk afhankelijk van uw zoekopdracht en de parameters die u kiest te gebruiken. Een basisquery zonder gespecificeerde filtering zal een hoop gegevens retourneren. Dit is het begin van het antwoord dat u zou krijgen op de voorbeeldquery hierboven.

{ "request": { "success": true, "processed_timestamp": 1566207832, "search_url": "https://www.google.com/search?q=mcdonalds", "total_time_taken": 1.5 }, "search_parameters" : { "engine": "google", "query": "mcdonalds", "type": "web", "device": "desktop", "google_domain": "google.com", "hl": "nl ", "gl": "us", "page": "1", "num": "10" }, "search_information": { "total_results": 759000000, "time_taken_displayed": 0.91, "did_you_mean": null, "showing_results_for": null, "query_displayed": "mcdonalds", "detected_location": null,"no_results_for_original_query": false },

Het doel van het bovenstaande voorbeeld is om u een idee te geven van hoe de resultaten eruit kunnen zien. Ik heb alleen de eerste 25 regels van het antwoord opgenomen, dat in zijn geheel meer dan vierhonderd regels lang is.

Zoals je misschien hebt gemerkt bij het gebruik van Google Zoeken, heeft een typische pagina met zoekresultaten verschillende secties, die elk een ander type resultaten weergeven. U krijgt resultaten van betaalde advertenties, organische resultaten, afbeeldingen, video's, enz. Bovendien kunt u met een lint bovenaan de pagina specifieke soorten resultaten weergeven, zoals kaarten, nieuws, winkelen of boeken, om er maar een paar te noemen . Met verschillende optionele parameters kunt u specificeren in welk type zoekresultaten u geïnteresseerd bent, waardoor het ontleden van het resulterende JSON-bestand veel eenvoudiger wordt. Laten we eens dieper ingaan op enkele van de verschillende soorten resultaten die u kunt krijgen.

Advertentieresultaten

Wanneer er gesponsorde advertenties zijn voor uw zoekopdracht - en meestal zullen die er zijn, wordt de API-reactie geleverd met een advertentieobject. Het bevat alle advertenties in de volgorde waarin ze in het zoekresultaat worden weergegeven. Het omvat zowel advertenties die bovenaan als onderaan het zoekresultaat worden weergegeven.

Organische resultaten

Organische zoekresultaten zijn de belangrijkste zoekresultaten die door Google worden geleverd, en u zult er waarschijnlijk in het bijzonder in geïnteresseerd zijn. Ze worden bepaald door een reeks factoren, zoals webverkeer, backlinks, aanwezigheid op sociale media en nog veel meer , met het exacte algoritme dat door Google geheim wordt gehouden om zijn concurrentievoordeel te behouden. Deze resultaten worden in detail door de API geparseerd en geretourneerd als " organische_resultaten ".

Afbeeldingsresultaten

Net zoals er twee manieren zijn om afbeeldingsresultaten van een Google-zoekopdracht te krijgen, zijn er twee manieren waarop afbeeldingen door de API kunnen worden geretourneerd. Wanneer u een standaard zoekopdracht op internet uitvoert, worden sommige afbeeldingen door Google geleverd in de zoekresultaten. Deze afbeeldingen, waarnaar wordt verwezen als inline-afbeeldingen, worden geretourneerd door de Scrapestack-API in een array " inline_images ".

"image_results": [ { "position": 1, "title": "McDonald's Gold Card: The True Story ...", "width": 1024, "height": 683, "image_url": "https:// www.rd.com/app/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg", "type": "png" , "url": "https://rd.com", "source": "https://rd.com" }, { "position": 2, "title": "McDonald's - Wikipedia", "width" : 1200, "height": 1051, "image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png" , "type": "png", "url": "https://nl.wikipedia.org/wiki/McDonald%27s", "source": "https://en.wikipedia.org" }, { "position": 3, "title": "Beste nieuwe algemene menu-items ...", "width": 970, "height": 545, "image_url": "https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", "type": "png", "url": "https://thrillist.com/", "bron": "https://thrillist.com" } ]"type": "png", "url": "https://thrillist.com/", "bron": "https://thrillist.com" } ]"type": "png", "url": "https://thrillist.com/", "bron": "https://thrillist.com" } ]

Als er daarentegen specifiek naar afbeeldingen wordt gezocht, waarbij de parameter type is ingesteld op afbeeldingen, worden afbeeldingen geretourneerd als een " image_results " -array . In deze situaties retourneert de API standaard 100 afbeeldingen.

Videoresultaten

Precies dezelfde overwegingen die we zojuist hebben besproken voor afbeeldingen, gelden ook voor videoresultaten met de beschikbaarheid van zowel inline video's binnen de wereldwijde zoekresultaten als speciale videoresultaten

We kunnen pagina's lang doorgaan en u gedetailleerde informatie geven over de verschillende soorten resultaten die de Serpstack API kan retourneren, maar we denken dat u het beeld begrijpt. Het volstaat te zeggen dat welk type resultaten dan ook worden geretourneerd door een typische Google-zoekopdracht, ook beschikbaar is in het antwoord van de API. Naast de soorten resultaten die al zijn beschreven, zal de API terugkeren, nieuwsresultaten, winkelresultaten en lokale resultaten, evenals de inhoud van het antwoordvenster van de resultatenpagina, het weervenster, evenementen, topcarrousel, topverhalen, enz.

Ondersteunde programmeeromgevingen

Een van de beste dingen van de Serpstack API is dat je hem gemakkelijk vanuit de meeste omgevingen kunt gebruiken. Welke taal je ook gebruikt, zolang je HTTP-verzoeken kunt verzenden, zou je goed moeten zijn om te gaan. Alle populaire webtalen zoals PHP of Python worden ondersteund. De documentatie van de API bevat zelfs voorbeelden van het gebruik van PHP, Python, Nodejs, jQuery, Go en Ruby.

Hier is bijvoorbeeld de PHP-code om het totale aantal zoekresultaten af ​​te drukken, evenals elk organisch zoekresultaat dat wordt geretourneerd door de Serpstack API.

$queryString = http_build_query([ 'access_key' => 'YOUR_ACCESS_KEY', 'query' => 'mcdonalds', ]); $ch = curl_init(sprintf('%s?%s', 'https://api.serpstack.com/search', $queryString)); curl_setopt($ch, CURLOPT_RETURNTRANSFER, waar); $json = curl_exec($ch); curl_close($ch); $api_result = json_decode($json, waar); echo "Totaal aantal resultaten: ", $api_result['search_information']['total_results'], PHP_EOL; foreach ($api_result['organic_results'] als $number => $result) { echo "{$number}. {$result['title']}", PHP_EOL; }

En hier is wat code om hetzelfde te bereiken in Python:

import requests params = { 'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds' } api_result = requests.get('https://api.serpstack.com/search', params) api_response = api_result.json() print "Totaal resultaat:", api_response['search_information']['total_results'] voor getal, resultaat in enumerate(api_response['organic_results'], start=1): print "%s. %s" % (getal, resultaat ['titel'])

Prijzen en plannen

De Serpstack API is beschikbaar onder verschillende abonnementen, afhankelijk van uw behoeften. Het meest eenvoudige abonnement is het gratis abonnement. Zoals de naam al aangeeft, is het gratis, maar hoewel het niet in de tijd beperkt is, zoals bij typische proefversies, is het zowel beperkt in functies als in gebruik. U kunt maximaal 100 zoekopdrachten per maand uitvoeren.

De volgende drie niveaus zijn volledig uitgerust en variëren alleen door het maximale aantal maandelijkse zoekopdrachten dat u mag uitvoeren. Het Basic-abonnement geeft je 5000 voor $ 29,99/maand, het Business-abonnement voor $ 99,99/maand brengt het op 20.000, en met het Business Pro-abonnement kun je maar liefst 50.000 zoekopdrachten uitvoeren voor $ 199,99 per maand. Als geen van deze plannen bij u past, is er ook een Enterprise-abonnement met variabele prijzen dat kan worden aangepast aan uw exacte behoeften. Als u kiest voor jaarlijkse facturering in plaats van maandelijks, heeft u recht op 20% korting, waardoor de service nog voordeliger wordt.

Afsluiten

In een notendop, de Serpstack API is een gebruiksvriendelijk product met alle functies dat u goed kunt gebruiken wanneer u SERP-gegevens van Google moet ophalen. De geweldige uptime en indrukwekkende responstijd zijn enkele van de beste troeven. Gesteund door apilayer die ons andere uitstekende API's heeft opgeleverd, zijn we ervan overtuigd dat deze de resultaten zal leveren die u verwacht. Dit is een product dat we alleen maar kunnen aanbevelen.