Flexibele, zeer schaalbare realtime SERPs schrapen met Zenserp (REVIEW)

Google heeft een lange geschiedenis van het moeilijk maken van SEO-ontwikkelaars die proberen openbaar beschikbare gegevens van hun pagina's met zoekresultaten te schrapen. SERP-scraping is inderdaad officieel in strijd met de servicevoorwaarden van Big G. De praktijk is echter niet in strijd met de Computer Fraud and Abuse Act (CFAA), en dus zijn directe juridische stappen van Google om de praktijk in te perken mislukt.

Dus hoewel scrapen in de praktijk niet illegaal is of iemands gevoelens kwetst, moeten ontwikkelaars nog steeds kampen met de wegversperringen die door Google zijn ontworpen om hun gegevensverzameling te belemmeren. Veel voorkomende hoofdpijnen zijn Captcha's en IP-blokkering; hoewel er in het verleden brieven zijn gestuurd om op te houden, wordt deze tactiek steeds zeldzamer.

Maar wat als u deze overlast helemaal niet hoeft op te lossen om uw kostbare gegevens te krijgen? Voer Zenserp in , een kernaanbod van het in Oostenrijk gevestigde SaaS Industries.

Zenserp in een notendop

De Zenserp API is een droomtool voor SEO-ontwikkelaars die op zoek zijn naar een kant-en-klare oplossing om veelvoorkomende obstakels op het gebied van schrapen uit de weg te ruimen. Het is doodeenvoudig te gebruiken en te integreren, dankzij de gebruikersgerichte ontwikkelingscyclus van SaaS Industries en brede taalcompatibiliteit (Browser, Curl, Python, Node.js, PHP). Bovendien heeft hun vraatzuchtige honger naar feedback van consumenten en functieverzoeken geleid tot de enorme API-update van april 2019 met een uitgebreide reeks gegevenstypen, waaronder Google-afbeeldingen, video, kaarten, nieuws, winkelen en trends.

Gecombineerd met concurrerende prijzen en klantenservice van wereldklasse, heb je echt een alles-in-één oplossing voor je SERP-scraping-ellende in Zenserp.

Aan de slag met Zenserp

Dus, hoe is het om Zenserp daadwerkelijk te gebruiken? Hieronder bespreken we het proces om met Zenserp aan de slag te gaan. Vervolgens duiken we in hun API-documentatie om de robuuste functionaliteit van Zenserp nader te bekijken.

Dashboardoverzicht

Ervan uitgaande dat u slechts een kijkje neemt in wat Zenserp allemaal inhoudt, klikt u op de felgroene knop "Aanmelden voor gratis abonnement" op hun startpagina. Nadat u uw account heeft aangemaakt en geverifieerd, klikt u op "Inloggen" om toegang te krijgen tot uw dashboard.

De pagina waarop u terechtkomt, geeft een overzicht weer van uw belangrijkste gebruiksinformatie, inclusief uw API-sleutel, maandelijkse aanvraagquota, API-gebruik in de loop van de tijd, plus documentatie van eventuele mislukte verzoeken die mogelijk zijn opgetreden. Er is ook een handige Request Builder-sectie die nieuwe Zenserp-gebruikers naar een schat aan nuttige bronnen leidt; het meeste hiervan zijn dingen die we zullen behandelen in het gedeelte Documentatie van deze recensie, dus houd je daaraan vast.

Laten we voor nu even alle zijbalkopties bekijken:

• Dashboard – Je bent er al! Dit is gewoon een snelle link om op elk moment terug te keren naar uw overzichtspagina.
• Playground – Met de toepasselijke naam biedt deze pagina een volledig visuele (dwz geen codering vereist) en interactieve interface om te rommelen met de verschillende eindpunten van Zenserp. Hier kunt u enkele voorbeeldantwoorden genereren en deze gebruiken om uw API-verzoek te configureren. Vertrouw hier niet 100% op, want er zijn hoekgevallen die de mogelijkheden van deze tool te boven gaan. Desalniettemin vinden we het geweldig hoe je de mogelijkheid hebt om je experimenten te exporteren naar code (Browser, Curl, Python, Node.js, PHP) wanneer je iets vindt dat echt werkt.
• Documentatie – Details van het lef van de Zenserp API. We gaan hier hieronder uitgebreid op in.
• Profiel/Beveiliging – Basis accountconfiguratie, inclusief uw avatar, contactgegevens en wachtwoordbeheer. Niets speciaals.
• Facturering – Bestaat uit drie opties, waar u uw abonnementsniveau kunt upgraden/downgraden/annuleren, uw betalingsmethode en btw-nummer kunt beheren, plus een vrij veld waar u kunt vragen om tekst op uw Zenserp-facturen op te nemen om de boekhouding te vergemakkelijken.

Dit alles is vrij standaard voor elke API, maar we waarderen hoe eenvoudig alles is ingedeeld. Wat je ziet is wat je krijgt, en Zenserp probeert niet om abonnementsinstellingen in obscure hoeken van je profiel te begraven.

De Zenserp API-documentatie

Nu de basis uit de weg is, kunnen we beginnen met de goede dingen: de documentatie van Zenserp. Hier ziet u precies waartoe de API in staat is en hoe u deze kunt gebruiken. Hoewel volledige API-implementatie in uw app buiten het bestek van deze beoordeling valt, zullen we kort ingaan op elk eindpunt, enkele belangrijke parameters en enkele voorbeeldantwoorden.

Basisfunctionaliteit

De documentatiepagina begint met een toepasselijk genaamde "Aan de slag"-sectie, waarin uw meest elementaire API-functies worden beschreven die in staat zijn om te communiceren met alle andere eindpunten. Laten we kijken:

• Authenticatie – Hier ziet u hoe u uw API-sleutel gebruikt voor authenticatie. Er is een gebruiksvoorbeeld in de header, gevolgd door voorbeelden van GET- en POST-verzoeken. Makkelijk.
• /status - Hiermee kunt u het aantal resterende aanvragen aanvragen volgens uw abonnementslimieten. Waarom zou u tenslotte inloggen op uw Zenserp-dashboard als u uw app het u rechtstreeks kunt laten vertellen?
• /batch - Door dit eindpunt toe te voegen, kunt u tot 1.000 zoekopdrachten in één batch uitvoeren. U heeft de mogelijkheid om alle batches in één keer op te vragen, specifiek per batch-ID, of om een ​​nieuwe batch in te dienen of bestaande batches samen te voegen als dat nodig is.
• Foutcodes – Zenserp heeft ook de mogelijkheid om fouten te retourneren zodra ze zich voordoen, waaronder 403 Forbidden wanneer je je maandelijkse limiet hebt bereikt of een onjuiste API-sleutel hebt gebruikt, 404 wanneer er geen resultaten zijn gevonden of 500 wanneer er een serverfout is. Vergeet niet dat mislukte verzoeken ook op uw Dashboard verschijnen.

Het /zoek-eindpunt

De kernfunctionaliteit van Zenserp is hier. Door /search toe te voegen aan uw API-verzoek, ontvangt u een uitgebreide reeks gegevens over vrijwel alles waarvoor u SERPS kunt verzamelen. Uw zoekopdracht levert een breed scala aan resultaten op, waaronder:

• Organische zoekresultaten - Het opvragen van organische SERP's retourneert allerlei soorten gegevens, waaronder itemrangschikking, de titel, zowel de weergegeven als de bestemmings-URL, verschillende soorten beoordelingen, of de link een Google AMP-link is, tekenreeksen die de paginabeschrijving vertegenwoordigen en plus de lokale 3-Pack met zakelijke informatie.
• Betaalde resultaten – U krijgt ook een volledig overzicht van betaalde resultaten. De geretourneerde informatie omvat de betaalde positie (boven, rechts of onder), titel, de AdWords-tracking-URL, breadcrumbs, de zichtbare URL zoals deze wordt weergegeven op Google, paginabeschrijving, plus eventuele betaalde productplaatsingen (inclusief positie, titel, bijbehorende afbeeldingen, URL en natuurlijk de prijs).
• Antwoordbox/featured snippet/topverhaal – Puur goud voor elke SEO. Bekijk eenvoudig wat het beste presteert om deze felbegeerde plekken op SERP's te krijgen, en ontwikkel vervolgens een strategie om die resultaten te repliceren.
• Gerelateerde zoekopdrachten/bedoelde u – Zenserp verbetert uw zoekwoordonderzoek door waardevolle gegevens over alle gerelateerde zoekopdrachten terug te sturen naar uw zoekopdracht. U kunt ook anticiperen op hoe Google reageert op veelvoorkomende fouten die gebruikers maken bij het zoeken naar uw zoekopdracht.

Hier is een ingekorte versie van een voorbeeld dat in de Zenserp-documentatie verschijnt , met "Pied Piper" als de vraag. U kunt de verschillende soorten resultaten zien die in volgorde verschijnen: het Wikipedia-item (1), vragen met betrekking tot de zoekopdracht (2), een website met een exact overeenkomende domeinnaam (3), een populair artikel over de oorsprong van de rattenvanger (4), plus enkele gerelateerde video's over het onderwerp (5). U ziet ook enkele gerelateerde zoektermen, plus het totale aantal geretourneerde resultaten.

net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969", "destination":"https://www.ancient-origins.net › myths-legends › storende-true-story-pie. ..", "description":"14 aug. 2014 - Velen kennen het verhaal van de rattenvanger van Hamelen. Weinigen beseffen echter dat het verhaal is gebaseerd op echte gebeurtenissen, die zich ontwikkelden over ...", "isAmp":false }, { "position":5, "videos":[ { "title":"Pied Piper", "url":"https://www.youtube.com/watch?v=VEZ_Ui6d9AM", "parsed":{ "source":"YouTube", "date":"2 mei 2018", "channel": "BTS - Topic" } }, { "title":"De ware geschiedenis van de rattenvanger van Hamelen | Sprookjes ...", "url":"https:

Uw verzoek verfijnen op zoektype

Naast het standaard SERP-verzoek, kunt u uw Google-zoekopdracht verder verfijnen op zoektype (Afbeelding, Video, Kaarten, Winkelen, Nieuws, Winkelen, enz.). Stel de parameter tbm ("to be matched") eenvoudig in op een van de volgende opties:

• isch - Retourneert resultaten van Google Afbeeldingen zoeken. Dit verzoek retourneert een litanie van gegevens, waaronder positie, miniaturen, bron-URL's, titels en meer. (Voor omgekeerd zoeken naar afbeeldingen voert u de parameter image_url uit in plaats van tbm=isch )
• vid - Retourneert Google Video Search-resultaten. U krijgt informatie zoals het brondomein, de video-URL, de titel, de beschrijving en eventuele extensies of miniaturen.
• lcl - Nog een goudmijn aan SEO-gegevens, de lcl- parameter retourneert Google Maps-zoekresultaten. U ziet de bedrijfs-/locatienaam, website-URL's, of het resultaat al dan niet betaald is, sterren of recensies, plus essentiële informatie zoals adres, telefoonnummers, openingstijden, opmerkelijke prijzen en zelfs het type bedrijf. U heeft ook de mogelijkheid om een ​​routebeschrijving naar deze bedrijven op te vragen.
• nws – Wilt u op de hoogte blijven van actuele gebeurtenissen en ontwikkelingen in uw branche? Voeg de nws- parameter toe aan uw zoekopdracht om realtime zoekresultaten van Google Nieuws te retourneren. Bekijk namen van artikelen, hun links, datums die zijn gepubliceerd (en geparseerd door uw API), de uitgever, een korte artikelbeschrijving en eventuele beschikbare miniaturen.
• shop – Krijg toegang tot de zoekresultaten van Google Shopping met de winkelparameter  . Laten we eens kijken naar enkele voorbeeldresultaten (zwaar afgekapt omwille van de leesbaarheid) voor boilers in Atlanta, GA:

no_results_auto_correct": "Gesponsord", "related_searches": [], "shopping_results": [ { "title": "Reliance Water Heater 219809 50 gal hybride elektrische warmtepomp", "link": "/aclk?sa=l&ai=DChcSEwjR -LWBnPDoAhUI1WQKHSvMBFUYABAFGgJwag&sig=AOD64_2X7NgvfDv9ugCCLYqCFpiZP8Xq3g&ctype=5&q=&ved=0ahUKEwisl7GBnPDoAhWer54KHf6zCRMQ2CkIjwMbout&adur Fabrikanten, leveranciers en anderen bieden wat u hier ziet ...", "price": "$59.99", "source": "resenta", "reviews": 0, "thumbnail": "data:image/jpeg;base64, /9j/4AAQSk...", "extensies": [ "Tank", "Elektrisch", "

Opmerking: welk type SERP-verzoek je ook doet, je hebt nog steeds volledige toegang tot de standaardset parameters onder het /search-eindpunt.

Het /shopping-eindpunt

Naast het core /search- eindpunt beschikt de Zenserp API ook over /shopping , waarmee u Google Shopping-productpagina's kunt ontleden. U voegt de parameter product_id toe aan uw /shopping- query, met de optie om uw gewenste zoekgeo-locatie ( location ), landcode ( gl ) en/of Web Interface Language ( hl ) op te geven. U kunt ook wijzigen welke regio variant van Google Search die u wilt gebruiken met search-_engine .

Het /trends-eindpunt

Google Trends-verzoeken worden gedaan door /trends aan uw verzoek toe te voegen (hoewel in de documentatie van Zenserp ten onrechte wordt vermeld dat u /shopping moet gebruiken ). Uw Trends-resultaten worden mogelijk gemaakt door de parameter keyword[] , waarbij u uw zoekwoordgroep doorgeeft als argument binnen de []. De documentatie van Zenserp bevat een handige herinnering over welke operatoren Trends gebruikt (+ voor "of", - voor "exclude", spatie voor "en", en aanhalingstekens " " voor een exacte overeenkomst), wat een belangrijke rol speelt bij uw zoekopdracht.

U kunt verder de tijdzone ( tz ), categorie-ID ( cat ), het tijdsbestek voor uw resultaten (per uur, dagelijks, maandelijks, jaarlijks in verschillende onderverdelingen), het type Google-property om te zoeken (zoals afbeeldingen, Vluchten, YouTube, Financiën , enz.), de geografische locatie of Google-locatiecode ( gl ), en zelfs de resolutie binnen die regio (in wezen instellen of u in het hele land, in de stad, regionaal, enz. zoekt)

Dus laten we zeggen dat je wilde zien hoe Kanye West de afgelopen maand trending is geweest. Je zou het verzoek als volgt doen:

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

De API retourneert vervolgens een maand aan Google Trends-informatie, gevolgd door gerelateerde zoekopdrachten, waaronder, niet verwonderlijk, Taylor Swift en Kim Kardashian. (Hieronder bekijken we alleen de interesse van de afgelopen week in Yeezy om ruimte te besparen op deze pagina.)

{ "Kanye West": { "trends": { "2020-04-08T00:00:00.000Z": { "Kanye West": 26, "isPartial": false }, "2020-04-09T00:00:00.000 Z": { "Kanye West": 29, "isPartial": onwaar }, "2020-04-10T00:00:00.000Z": { "Kanye West": 31, "isPartial": onwaar }, "2020-04 -11T00:00:00.000Z": { "Kanye West": 35, "isPartial": onwaar }, "2020-04-12T00:00:00.000Z": { "Kanye West": 38, "isPartial": onwaar }, "2020-04-13T00:00:00.000Z": { "Kanye West": 31, "isPartial": false }, "2020-04-14T00:00:00.000Z": { "Kanye West": 24 , "isPartial": false }, "2020-04-15T00:00:00.000Z": { "Kanye West": 32, "isPartial": false } }, "queries": { "Kanye West": { "top": [ { "query": "taylor swift kanye west", "value": 100 }, { "query": "taylor swift", "value": 94 } , { "query": "kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "beroemde kanye west", "waarde ": 36 }, { "query": "beroemd", "value": 35 }, { "query": "kanye west netto waarde", "waarde": 31 } ...kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "beroemde kanye west", "value": 36 }, { " query": "beroemd", "value": 35 }, { "query": "kanye west netto waarde", "value": 31 } ...kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "beroemde kanye west", "value": 36 }, { " query": "beroemd", "value": 35 }, { "query": "kanye west netto waarde", "value": 31 } ...

Prestatie 

Nu we klaar zijn met het functiesoverzicht, hoe presteert Zenserp eigenlijk? Al deze mooie gegevens zijn tenslotte nutteloos als u er geen daadwerkelijk toegang toe hebt vanwege Google's belemmerende inspanningen voor programmatische gegevensverzameling.

Onze ervaring is dat Zenserp zijn taken probleemloos uitvoerde, wat we ook zochten en waar ter wereld we onze zoekopdrachten richtten. Het geheime wapen hier is het ongelooflijke wereldwijde proxy-netwerk van Zenserp, dat uw verzoeken omleidt waar ze heen moeten, terwijl uw IP-adres wordt aangepast. Hoewel Zenserp de werkelijke aantallen van hun servernetwerk niet publiceert, bleek het voldoende robuust om nooit een enkele fout te veroorzaken toen we onze testverzoeken deden.

Onder de motorkap van de Zenserp API bevindt zich ook een geavanceerde Captcha-oplosser. Nogmaals, we hebben geen details over hoe ze dit hebben laten werken; maar het deed het, en consequent ook.

Maar hey, geloof ons niet op ons woord! Ga naar de Zenserp API Playground en voer je eigen realtime tests uit.

Hoe zit het met de uptime? De klanten van Zenserp hebben immers doorgaans een voortdurende behoefte aan grootschalige, up-to-date SERP-informatie. Dat zijn veel gegevens om te verwerken, mogelijk in de orde van grootte van miljoenen verzoeken per maand, afhankelijk van de grootte van uw bedrijf. Gelukkig is Zenserp goed uitgerust om dergelijk verkeer te verwerken en rapporteert het een ongelooflijke uptime van 99,9% over de afgelopen 12 maanden.

Prijzen

De infrastructuur van Zenserp is robuust genoeg om op elke schaal te voldoen. Ze bieden een breed scala aan abonnementsprijzen, zodat u alleen betaalt voor precies wat u nodig heeft. Welk niveau u ook kiest, u kunt een laag maandelijks bedrag betalen of 20% korting krijgen op een jaarabonnement.

Er zijn vijf kernabonnementsmodellen :

• GRATIS – Trouw aan zijn naam, kost de gratis laag u niets en vereist niet dat u creditcardgegevens opslaat. Uw toewijzing van maandelijkse verzoeken is vrij laag met slechts 50 in totaal, maar het geeft u voldoende ruimte om te spelen met alle beschikbare SERP-typen. We stellen het zeer op prijs dat Zenserp, in tegenstelling tot de meeste gratis API's, standaard HTTPS-codering inschakelt. Zelfs als u een kleine startup bent met beperkte behoefte aan SERP's scraping, krijgt uw activiteit hetzelfde niveau van beveiliging en anonimiteit als die van een wereldwijde onderneming. Je zult de API zelf moeten integreren en al je vragen zullen per e-mail worden beantwoord, maar over het algemeen is dit een genereus aanbod voor mensen die weten wat ze doen en Zenserp vrijblijvend willen verkennen.
• KLEIN - Deze laag kost $ 29,99 per maand. Eerlijk gezegd is deze laag qua nut identiek aan het GRATIS abonnement, hoewel het je quota honderdvoudig verhoogt tot een maximum van 5.000 maandelijkse verzoeken. Nogmaals, als je op enig moment een bescheiden behoefte hebt aan SERP-gegevens en de knowhow om met je eigen API-integraties om te gaan, is dit een grote waarde.
• MEDIUM – De meest populaire keuze van Zenserp, de MEDIUM-laag, kost u $ 74,99 per maand, terwijl uw maandelijkse quotum wordt verhoogd tot een royale 15.000 verzoeken. Deze laag ontgrendelt echter een groot aantal nieuwe functionaliteit, waaronder batchverzoeken en essentiële SEO-informatie zoals zoekvolume voor zoekwoorden en CPC voor zoekwoorden. Je krijgt ook conciërge onboarding, persoonlijke klantenservice en een SLA. Natuurlijk krijgt u nog steeds de altijd waardevolle HTTPS-codering om uw bedrijf te beschermen tegen nieuwsgierige blikken.
• GROOT/ZEER GROOT - Deze twee niveaus bevatten identieke functiesets als de MEDIUM-laag, maar verbeteren de maandelijkse capaciteit enorm. De LARGE-laag kost $ 174,99 per maand en biedt 40.000 verzoeken; terwijl ZEER GROOT geprijsd is op $ 379,99 voor maar liefst 100.000 maandelijkse verzoeken. Kies het abonnement dat het beste bij uw bedrijf past!

Naast de standaardniveaus biedt Zenserp High Volume Plans, die zijn vastgezet in een maandelijks betalingsschema. Elke laag bevat alle premiumfuncties van de MEDIUM-VERY LARGE-abonnementen en schaalt uw maandelijkse quotum op basis van hoeveel u betaalt:

• PREMIUM – $ 599,99 en 250.000 verzoeken per maand
• PROFESSIONEEL – $ 1.399,99 en 750.000 verzoeken per maand
• ONDERNEMING – $ 1.599,99 en 1.000.000 verzoeken per maand

Niet genoeg? U kunt ook een plan op maat aanvragen. Neem gewoon contact op met het enthousiaste ondersteuningsteam van Zenserp en zij zullen met u samenwerken om op maat gemaakte API-oplossingen te ontwikkelen die aan uw behoeften voldoen.

Eindoordeel Zenserp

SaaS Industries heeft een ongelooflijk aanbod geproduceerd met hun Zenserp API. Het is aanpasbaar en zeer schaalbaar dankzij de robuuste infrastructuur, maar toch doodeenvoudig om te integreren in uw app dankzij eenvoudige parametrische logica en brede compatibiliteit met codeertalen.

Onze tests leverden consistente resultaten op zonder ooit een fout te veroorzaken, hoewel we vermoeden dat de service niet onkwetsbaar is voor fouten op de schaal die grote ondernemingen nodig hebben. Wat voor soort verzoek we ook deden, de resultaten waren altijd tijdig en zinvol. Het is enorm handig om uw SERP-verzoek te kunnen verfijnen op zoektype, en als zodanig is het duidelijk dat Zenserp een onschatbare maar betaalbare tool biedt voor elke SEO-ontwikkelaar.

Als we enige kritiek hadden op de service, dan is het dat de documentatie een beetje meer natuurlijke taal zou kunnen gebruiken om de inhoud uit te leggen. Natuurlijk zou een ervaringsontwikkelaar geen problemen moeten hebben om te begrijpen wat er wordt aangeboden, dus dit is waarschijnlijk geen probleem. Zelfs als dat zo is, omvatten alle, behalve de kleinste betalingsniveaus, conciërge-onboarding en gepersonaliseerde klantenondersteuning, zodat u altijd perfect aan uw behoeften kunt voldoen.

Al met al krijgt Zenserp het keurmerk Addictive Tips; we bevelen deze API van harte aan aan iedereen die op zoek is naar een echt geavanceerde SEO-tool.

Vragen of opmerkingen over Zenserp? Start een discussie in de reacties hieronder.