Scraping di SERP in tempo reale flessibili e altamente scalabili con Zenserp (REVISIONE)

Google ha una lunga storia di difficoltà agli sviluppatori SEO che tentano di eliminare i dati disponibili pubblicamente dalle pagine dei risultati di ricerca. In effetti, lo scraping delle SERP è ufficialmente contro i termini di servizio di Big G. Tuttavia, la pratica non viola il Computer Fraud and Abuse Act (CFAA), e quindi le azioni legali dirette di Google per ridurre la pratica sono fallite.

Quindi, sebbene lo scraping non sia in realtà illegale o ferisca i sentimenti di nessuno in pratica, gli sviluppatori devono comunque fare i conti con i blocchi stradali progettati da Google per impedire la loro raccolta di dati. I mal di testa comuni includono Captcha e blocco IP; sebbene in passato siano state inviate lettere di diffida, questa tattica è sempre più rara.

Ma cosa accadrebbe se non dovessi affatto affrontare questi fastidi per ottenere i tuoi preziosi dati? Entra in Zenserp , un'offerta principale di SaaS Industries con sede in Austria.

Zenserp in poche parole

L'API Zenserp è uno strumento da sogno per gli sviluppatori SEO che cercano una soluzione chiavi in ​​mano per eliminare i comuni ostacoli da raschiare. È semplicissimo da utilizzare e integrare, grazie al ciclo di sviluppo incentrato sull'utente di SaaS Industries e all'ampia compatibilità del linguaggio (Browser, Curl, Python, Node.js, PHP). Inoltre, il loro vorace appetito per il feedback dei consumatori e le richieste di funzionalità ha portato al massiccio aggiornamento dell'API di aprile 2019 per includere una gamma completa di tipi di dati, tra cui immagini di Google, video, mappe, notizie, acquisti e tendenze.

In combinazione con prezzi competitivi e un servizio clienti di livello mondiale, hai davvero una soluzione all-in-one per i tuoi problemi di raschiatura SERP in Zenserp.

Iniziare con Zenserp

Allora, com'è effettivamente usare Zenserp? Di seguito, copriamo il processo per iniziare con Zenserp. Quindi, diamo un'occhiata alla loro documentazione API per dare un'occhiata più da vicino alle solide funzionalità di Zenserp.

Panoramica della dashboard

Supponendo che tu stia solo dando un'occhiata a cosa è Zenserp, fai clic sul pulsante verde brillante "Registrati per il piano gratuito" sulla loro home page. Dopo aver creato e verificato il tuo account, fai clic su "Accedi" per accedere alla tua Dashboard.

La pagina su cui atterri mostra una panoramica delle tue informazioni di utilizzo più importanti, inclusa la tua chiave API, la quota di richiesta mensile, l'utilizzo dell'API nel tempo, oltre alla documentazione di eventuali richieste non riuscite che potrebbero essersi verificate. C'è anche una pratica sezione Request Builder che indirizza i nuovi utenti Zenserp verso una vasta gamma di risorse utili; la maggior parte di queste sono cose che tratteremo nella sezione Documentazione di questa recensione, quindi tieni duro.

Per ora, diamo una rapida occhiata a tutte le opzioni della barra laterale:

• Dashboard – Sei già qui! Questo è semplicemente un collegamento rapido per tornare alla pagina di panoramica in qualsiasi momento.
• Parco giochi : con un nome appropriato, questa pagina offre un'interfaccia completamente visiva (ovvero, non è richiesta alcuna codifica) e interattiva per consentirti di scherzare con i vari endpoint di Zenserp. Qui puoi generare alcune risposte di esempio e usarle per configurare la tua richiesta API. Non fare affidamento su questo 100%, poiché ci sono casi angolari oltre la capacità di questo strumento. Tuttavia, adoriamo la possibilità di esportare la tua sperimentazione in codice (Browser, Curl, Python, Node.js, PHP) quando trovi qualcosa che funziona davvero.
• Documentazione : descrive in dettaglio le viscere dell'API Zenserp. Copriamo questo in modo approfondito di seguito.
• Profilo/Sicurezza : configurazione di base dell'account, inclusi avatar, informazioni di contatto e gestione della password. Nulla di bello.
• Fatturazione : consiste in tre opzioni, in cui è possibile aggiornare/declassare/cancellare il livello di abbonamento, gestire il metodo di pagamento e la partita IVA, oltre a un campo libero in cui è possibile richiedere l'inclusione di testo nelle fatture Zenserp per semplificare la contabilità.

Tutto questo è una tariffa piuttosto standard per qualsiasi API, ma apprezziamo quanto tutto sia semplice. Quello che vedi è quello che ottieni e Zenserp non tenta di seppellire le impostazioni dell'abbonamento in angoli oscuri del tuo profilo.

La documentazione dell'API Zenserp

Con le basi fuori mano, ora possiamo entrare nelle cose buone: la documentazione di Zenserp. Qui vedrai esattamente di cosa è capace l'API e come usarla. Sebbene l'implementazione completa dell'API nella tua app esuli dallo scopo di questa recensione, toccheremo brevemente ogni endpoint, alcuni parametri chiave e forniremo alcune risposte di esempio.

Funzionalità di base

L'inizio della pagina della documentazione è una sezione "Guida introduttiva" opportunamente denominata, che descrive in dettaglio le funzioni API di base in grado di interagire con tutti gli altri endpoint. Diamo un'occhiata:

• Autenticazione : mostra come utilizzare la chiave API per l'autenticazione. C'è un esempio di utilizzo nell'intestazione, seguito da esempi di richiesta GET e POST. Vai tranquillo.
• /status : consente di richiedere il numero di richieste rimanenti in base ai limiti di abbonamento. Dopotutto, perché preoccuparsi di accedere alla tua Dashboard Zenserp quando puoi semplicemente farti dire direttamente dalla tua app?
• /batch : l'aggiunta di questo endpoint consente di effettuare fino a 1.000 ricerche in un singolo batch. Hai la possibilità di richiedere tutti i batch contemporaneamente, in base all'ID batch, o inviare un nuovo batch o unire quelli esistenti, se necessario.
• Codici di errore : Zenserp ha anche la capacità di restituire gli errori non appena si verificano, tra cui 403 Proibito quando hai raggiunto il limite mensile o hai utilizzato una chiave API errata, 404 quando non sono stati trovati risultati o 500 ogni volta che si verifica un errore del server. Non dimenticare che le richieste non riuscite vengono visualizzate anche nella tua Dashboard.

Il /endpoint di ricerca

La funzionalità principale di Zenserp è qui. Aggiungendo /search alla tua richiesta API, riceverai una serie completa di dati praticamente su qualsiasi cosa tu possa pensare di raccogliere SERPS. La tua query restituirà una vasta gamma di risultati, tra cui:

• Risultati della ricerca organica : l'interrogazione delle SERP organiche restituisce tutti i tipi di dati, tra cui la classifica dell'elemento, il suo titolo, l'URL visualizzato e quello di destinazione, diversi tipi di recensioni, se il collegamento è un collegamento AMP di Google, le stringhe che rappresentano la descrizione della pagina e inoltre il Local Confezione da 3 che contiene informazioni sull'attività.
• Risultati a pagamento – Avrai anche una panoramica completa dei risultati a pagamento. Le informazioni restituite includono la posizione a pagamento (in alto, a destra o in basso), il titolo, l'URL di monitoraggio di AdWords, breadcrumb, l'URL visibile come appare su Google, la descrizione della pagina ed eventuali posizionamenti di prodotti a pagamento (inclusi posizione, titolo, immagini associate, URL e, naturalmente, il prezzo).
• Casella di risposta/frammento in primo piano/storia principale : oro puro per qualsiasi SEO. Scopri facilmente cosa funziona meglio per ottenere questi ambiti posti nelle SERP, quindi crea una strategia per replicare quei risultati.
• Ricerche correlate/volevi dire ? Zenserp migliora la ricerca di parole chiave restituendo dati preziosi su tutte le ricerche correlate alla tua query. Puoi anche anticipare come Google risponde agli errori comuni commessi dagli utenti durante la ricerca della tua query.

Ecco una versione ridotta di un esempio che appare nella documentazione Zenserp , con "Pied Piper" come query. Puoi vedere i diversi tipi di risultati che appaiono in ordine: la voce di Wikipedia (1), domande relative alla query (2), un sito Web con un nome di dominio a corrispondenza esatta (3), un articolo popolare sulle origini del pifferaio magico (4), più alcuni video correlati sull'argomento (5). Vedrai anche alcune frasi di ricerca correlate, oltre al numero totale di risultati restituiti.

net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969", "destination":"https://www.ancient-origins.net › miti-leggende › inquietante-true-story-pie. ..", "description":"Aug 14, 2014 - Molti conoscono la storia del pifferaio magico di Hamelin. Pochi si rendono conto, tuttavia, che la storia si basa su eventi reali, che si sono evoluti nel corso di ...", "isAmp":false }, { "position":5, "videos":[ { "title":"Pied Piper", "url":"https://www.youtube.com/watch?v=VEZ_Ui6d9AM", "parsed":{ "source":"YouTube", "date":"2 maggio 2018", "channel": "BTS - Topic" } }, { "title":"La vera storia del pifferaio magico di Hamelin | Fiabe ...", "url":"https:

Affinare la tua richiesta per tipo di ricerca

Oltre alla richiesta SERP predefinita, puoi perfezionare ulteriormente la query di Ricerca Google per tipo di ricerca (Immagine, Video, Mappe, Shopping, Notizie, Shopping, ecc.). È sufficiente impostare il parametro tbm ("da abbinare") su una delle seguenti opzioni:

• isch : restituisce i risultati della ricerca di immagini di Google. Questa richiesta restituisce una serie di dati tra cui posizione, miniature, URL di origine, titoli e altro. (Per la ricerca inversa di immagini, eseguirai il parametro image_url invece di tbm=isch )
• vid : restituisce i risultati della ricerca video di Google. Riceverai informazioni come dominio di origine, URL del video, titolo, descrizione ed eventuali estensioni o miniature.
• lcl – Un'altra miniera d'oro di dati SEO, il parametro lcl restituisce i risultati della ricerca di Google Maps. Vedrai il nome dell'attività/luogo, gli URL del sito web, se il risultato è a pagamento o meno, eventuali stelle o recensioni, oltre a informazioni vitali come indirizzo, numeri di telefono, orari di apertura, prezzi notevoli e persino il tipo di attività. Hai anche la possibilità di richiedere indicazioni stradali per queste attività.
• nws – Hai bisogno di tenerti aggiornato con gli eventi e gli sviluppi attuali nel tuo settore? Aggiungi il parametro nws alla tua query per restituire risultati di ricerca di Google News in tempo reale. Visualizza i nomi degli articoli, i loro collegamenti, le date di pubblicazione (e analizzate dalla tua API), l'editore, una breve descrizione dell'articolo ed eventuali miniature disponibili.
• negozio : accedi ai risultati della ricerca di Google Shopping con il  parametro negozio . Diamo un'occhiata ad alcuni risultati di esempio (fortemente troncati per motivi di leggibilità) per gli scaldacqua ad Atlanta, GA:

no_results_auto_correct": "Sponsored ", "related_searches": [], "shopping_results": [ { "title": "Scalda acqua Reliance 219809 Pompa di calore elettrica ibrida da 50 gal", "link": "/aclk?sa=l&ai=DChcSEwjR -LWBnPDoAhUI1WQKHSvMBFUYABAFGgJwag&sig=AOD64_2X7NgvfDv9ugCCLYqCFpiZP8Xq3g&ctype=5&q=&ved=0ahUKEwisl7GBnPDoAhWEr54KHf6zWEr54KHf6zCRMMQ2&Clitter Werejjd Produttori, fornitori e altri forniscono ciò che vedi qui ...", "price": "$59,99", "source": "resenta", "reviews": 0, "thumbnail": "data:image/jpeg;base64, /9j/4AAQSk...", "estensioni": [ "Serbatoio", "Elettrico", "

Nota: indipendentemente dal tipo di richiesta SERP effettuata, hai ancora pieno accesso al set standard di parametri nell'endpoint /search.

L'/Endpoint dello shopping

Oltre all'endpoint principale /search , l'API Zenserp include anche /shopping , che ti consente di analizzare le pagine dei prodotti di Google Shopping. Aggiungerai il parametro product_id alla tua query /shopping , con l'opzione di specificare la geolocalizzazione della ricerca ( location ), il codice paese ( gl ) e/o la lingua dell'interfaccia web ( hl ). È inoltre possibile modificare il quale variante di Google Search regione che si desidera utilizzare con la ricerca-_engine .

Il /trend Endpoint

Le richieste di Google Trends vengono effettuate aggiungendo /trends alla tua richiesta (sebbene la documentazione di Zenserp indichi erroneamente che dovresti usare /shopping ). I tuoi risultati di Trends sono alimentati dal parametro keyword[] , dove passi la tua frase chiave come argomento all'interno di []. La documentazione di Zenserp ha un utile promemoria su quali operatori utilizza Trends (+ per "o", – per "escludi", spazio per "e" e virgolette " " per una corrispondenza esatta), che sarà strumentale nella tua query.

Puoi specificare ulteriormente il fuso orario ( tz ), l'ID categoria ( cat ), l' intervallo di tempo per i tuoi risultati (orario, giornaliero, mensile, annuale in varie suddivisioni), il tipo di proprietà Google da cercare (come, immagini, Voli, YouTube, Finanza , ecc.), la posizione geografica o il codice di posizione di Google ( gl ) e persino la risoluzione all'interno di quella regione (essenzialmente, impostando se si esegue la ricerca a livello di paese, città, regione, ecc.)

Quindi, diciamo che volevi vedere come Kanye West è stato di tendenza nell'ultimo mese. Faresti la richiesta in questo modo:

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

L'API restituisce quindi un mese di informazioni su Google Trends, seguite da query correlate, che includono, ovviamente, Taylor Swift e Kim Kardashian. (Di seguito, diamo un'occhiata solo all'interesse della scorsa settimana per Yeezy per risparmiare spazio in questa pagina.)

{ "Kanye West": { "trends": { "2020-04-08T00:00:00.000Z": { "Kanye West": 26, "isPartial": false }, "2020-04-09T00:00:00.000 Z": { "Kanye West": 29, "isPartial": false }, "2020-04-10T00:00:00.000Z": { "Kanye West": 31, "isPartial": false }, "2020-04 -11T00:00:00.000Z": { "Kanye West": 35, "isPartial": false }, "2020-04-12T00:00:00.000Z": { "Kanye West": 38, "isPartial": false }, "2020-04-13T00:00:00.000Z": { "Kanye West": 31, "isPartial": false }, "2020-04-14T00:00:00.000Z": { "Kanye West": 24 , "isPartial": false }, "2020-04-15T00:00:00.000Z": { "Kanye West": 32, "isPartial": false } }, "query": { "Kanye West": { "top": [ { "query": "taylor swift kanye west", "value": 100 }, { "query": "taylor swift", "value": 94 } , { "query": "kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "famoso kanye west", "value" ": 36 }, { "query": "famoso", "value": 35 }, { "query": "valore netto di kanye west", "value": 31 } ...kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "famoso kanye west", "value": 36 }, { " query": "famoso", "value": 35 }, { "query": "kanye west networth", "value": 31 } ...kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "famoso kanye west", "value": 36 }, { " query": "famoso", "value": 35 }, { "query": "kanye west networth", "value": 31 } ...

Prestazione 

Ora che abbiamo finito con la panoramica delle funzionalità, come si comporta effettivamente Zenserp? Dopotutto, tutti questi bei dati sono inutili se non puoi effettivamente accedervi a causa degli sforzi programmatici di raccolta dei dati di Google.

Nella nostra esperienza, Zenserp ha svolto i suoi compiti senza intoppi, indipendentemente da ciò che abbiamo cercato e da dove nel mondo abbiamo rivolto le nostre domande. L'arma segreta qui è l'incredibile rete proxy mondiale di Zenserp, che reindirizza le tue richieste dove devono andare mentre cambia il tuo indirizzo IP per adattarlo. Sebbene Zenserp non pubblicizzi i numeri effettivi della propria rete di server, si è dimostrato sufficientemente robusto da non generare mai un singolo errore quando abbiamo effettuato le nostre richieste di test.

Sotto il cofano dell'API Zenserp è incluso anche un sofisticato risolutore Captcha. Ancora una volta, non abbiamo dettagli su come hanno fatto questo lavoro; ma ha funzionato, e anche in modo coerente.

Ma ehi, non crederci sulla parola! Andate a Zenserp API giochi ed eseguire i propri test in tempo reale.

E il tempo di attività? Dopotutto, la clientela di Zenserp ha in genere un'esigenza continua di informazioni SERP aggiornate e ad alto volume. Sono molti dati da elaborare, potenzialmente dell'ordine di milioni di richieste al mese a seconda delle dimensioni della tua azienda. Fortunatamente, Zenserp è ben attrezzato per gestire tale traffico e registra un incredibile uptime del 99,9% negli ultimi 12 mesi.

Prezzi

L'infrastruttura di Zenserp è sufficientemente robusta da soddisfare qualsiasi scala di operazioni. Offrono una vasta gamma di prezzi di abbonamento in modo che paghi solo esattamente ciò di cui hai bisogno. Qualunque sia il livello che scegli, puoi pagare una tariffa mensile bassa o ottenere uno sconto del 20% su un piano annuale.

Esistono cinque modelli di abbonamento principali :

• GRATUITO – Fedele al suo nome, il livello gratuito non ti costa nulla e non richiede l'archiviazione dei dati della carta di credito. La tua quota di richieste mensili è piuttosto bassa, solo 50 in totale, ma ti dà molto spazio per giocare con tutti i tipi di SERP disponibili. Apprezziamo davvero che, a differenza della maggior parte delle API gratuite, Zenserp abiliti la crittografia HTTPS per impostazione predefinita. Anche se sei una piccola startup con esigenze limitate di scraping delle SERP, la tua attività ottiene lo stesso livello di sicurezza e anonimato di un'impresa globale. Dovrai integrare tu stesso l'API e tutte le tue domande riceveranno risposta tramite e-mail, ma nel complesso si tratta di un'offerta generosa per le persone che sanno cosa stanno facendo e vogliono esplorare Zenserp senza obblighi.
• PICCOLO : questo livello costa $ 29,99 al mese. In verità, questo livello è identico nell'utilità al piano FREE, anche se vede un aumento di cento volte della tua quota fino a un massimo di 5.000 richieste mensili. Ancora una volta, se hai una modesta necessità di dati SERP di qualsiasi momento e il know-how per gestire le tue integrazioni API, questo rappresenta un grande valore.
• MEDIUM : la scelta più popolare di Zenserp, il livello MEDIUM ti farà guadagnare $ 74,99 al mese aumentando la tua quota mensile a un generoso 15.000 richieste. Tuttavia, questo livello sblocca una serie di nuove funzionalità, tra cui richieste batch e informazioni SEO fondamentali come il volume di ricerca delle parole chiave e il CPC delle parole chiave. Ottieni anche l'onboarding del concierge, un servizio clienti personalizzato e uno SLA. Ovviamente, ottieni comunque la preziosa crittografia HTTPS per proteggere la tua azienda da occhi indiscreti.
• GRANDE/MOLTO GRANDE – Questi due livelli includono set di funzionalità identici al livello MEDIO, ma migliorano notevolmente la capacità mensile. Il livello LARGE costa $ 174,99 al mese, offrendo 40.000 richieste; mentre VERY LARGE ha un prezzo di $ 379,99 per ben 100.000 richieste mensili. Scegli l'abbonamento più adatto alle esigenze della tua azienda!

Oltre ai livelli standard, Zenserp offre piani ad alto volume, che sono bloccati in uno schema di pagamento mensile. Ogni livello include tutte le funzionalità premium dei piani MEDIUM-VERY LARGE e ridimensiona la tua quota mensile in base a quanto paghi:

• PREMIUM – $ 599,99 e 250.000 richieste al mese
• PROFESSIONALE – $ 1.399,99 e 750.000 richieste al mese
• ENTERPRISE - $ 1,599.99 e 1.000.000 di richieste al mese

Non abbastanza? Puoi anche richiedere un piano personalizzato. Contatta semplicemente l'entusiasta team di supporto di Zenserp e lavoreranno con te per sviluppare soluzioni API personalizzate per soddisfare le tue esigenze.

Zenserp verdetto finale

SaaS Industries has produced an incredible offering with their Zenserp API. It’s customizable and highly scalable thanks to its robust infrastructure, yet dead-simple to integrate into your app thanks to easy parametric logic and wide coding language compatibility.

Our testing yielded consistent results without ever throwing up an error, though we suspect the service is not invulnerable to errors on the scale required by large enterprises. No matter what type of request we made, the results were always timely and meaningful. It is enormously helpful to be able to refine your SERPs request by search type, and as such it’s clear that Zenserp offers an invaluable yet affordable tool to any SEO dev.

If we had any criticism of the service, it’s that the documentation could use a touch more natural language to explain its contents. Of course, an experience developer should have no problems understanding what’s on offer, so this is likely a non-issue. Even if it is, all but the smallest payment tiers include concierge onboarding and personalized customer support, so you’ll always be able to address your needs perfectly.

All in all, Zenserp gets the Addictive Tips stamp of approval; we wholeheartedly recommend this API to anyone looking for a truly sophisticated SEO tool.

Got any questions or comments about Zenserp? Start a discussion in the comments below.