Grattage de SERPs en temps réel flexible et hautement évolutif avec Zenserp (REVIEW)

Google a une longue histoire de donner du fil à retordre aux développeurs de référencement qui tentent d'extraire les données accessibles au public de leurs pages de résultats de recherche. En effet, le scraping SERP est officiellement contraire aux conditions d'utilisation de Big G. Cependant, la pratique ne viole pas la loi sur la fraude et les abus informatiques (CFAA), et donc les actions en justice directes de Google pour réduire la pratique sont tombées à plat.

Ainsi, bien que le grattage ne soit pas réellement illégal ou ne blesse personne dans la pratique, les développeurs doivent toujours faire face aux obstacles conçus par Google pour entraver leur collecte de données. Les maux de tête courants incluent les Captchas et le blocage IP ; alors que des lettres de cessation et d'abstention ont été envoyées dans le passé, cette tactique est de plus en plus rare.

Mais et si vous n'aviez pas du tout à faire face à ces nuisances pour obtenir vos précieuses données ? Entrez Zenserp , une offre de base de SaaS Industries, basée en Autriche.

Zenserp en quelques mots

L'API Zenserp est un outil de rêve pour les développeurs SEO à la recherche d'une solution clé en main pour éliminer les obstacles courants au scraping. Il est extrêmement simple à utiliser et à intégrer, grâce au cycle de développement centré sur l'utilisateur de SaaS Industries et à sa large compatibilité avec les langages (Browser, Curl, Python, Node.js, PHP). De plus, leur appétit vorace pour les commentaires des consommateurs et les demandes de fonctionnalités a conduit à la mise à jour massive de l'API d'avril 2019 pour inclure une gamme complète de types de données, y compris des images Google, des vidéos, des cartes, des actualités, des achats et des tendances.

Combiné avec des prix compétitifs et un service client de classe mondiale, vous avez vraiment une solution tout-en-un à vos problèmes de grattage SERP dans Zenserp.

Premiers pas avec Zenserp

Alors, qu'est-ce que ça fait d'utiliser Zenserp ? Ci-dessous, nous couvrons le processus de démarrage avec Zenserp. Ensuite, nous examinons la documentation de leur API pour examiner de plus près les fonctionnalités robustes de Zenserp.

Présentation du tableau de bord

En supposant que vous jetiez juste un coup d'œil à ce qu'est Zenserp, vous cliquerez sur le bouton vert vif « S'inscrire à un forfait gratuit » sur leur page d'accueil. Une fois que vous avez créé et vérifié votre compte, cliquez sur « Connexion » pour accéder à votre tableau de bord.

La page sur laquelle vous accédez affiche un aperçu de vos informations d'utilisation les plus importantes, y compris votre clé API, votre quota de requêtes mensuel, l'utilisation de l'API au fil du temps, ainsi que la documentation de toutes les requêtes ayant échoué. Il existe également une section de création de requêtes pratique qui oriente les nouveaux utilisateurs de Zenserp vers une multitude de ressources utiles ; la plupart de ces éléments sont abordés dans la section Documentation de cette revue, alors accrochez-vous bien.

Pour l'instant, jetons un coup d'œil à toutes les options de la barre latérale :

• Tableau de bord – Vous êtes déjà là ! Il s'agit simplement d'un lien rapide pour revenir à votre page d'aperçu à tout moment.
• Aire de jeu - Bien nommée, cette page offre une interface entièrement visuelle (c'est-à-dire sans codage requis) et interactive pour vous permettre de vous amuser avec les différents points de terminaison de Zenserp. Ici, vous pouvez générer des exemples de réponses et les utiliser pour configurer votre demande d'API. Ne vous fiez pas à cela à 100%, car il existe des cas extrêmes au-delà des capacités de cet outil. Néanmoins, nous aimons la façon dont vous avez la possibilité d'exporter votre expérimentation vers du code (navigateur, Curl, Python, Node.js, PHP) lorsque vous trouvez quelque chose qui fonctionne vraiment.
• Documentation – Détaille les entrailles de l'API Zenserp. Nous couvrons cela en détail ci-dessous.
• Profil/Sécurité – Configuration de base du compte, y compris votre avatar, vos coordonnées et la gestion des mots de passe. Rien d'extraordinaire.
• Facturation - Se compose de trois options, où vous pouvez mettre à niveau/rétrograder/annuler votre niveau d'abonnement, gérer votre mode de paiement et votre numéro de TVA, ainsi qu'un champ libre où vous pouvez demander que du texte soit inclus sur vos factures Zenserp pour faciliter la comptabilité.

Tout cela est assez standard pour n'importe quelle API, mais nous apprécions à quel point tout est simple. Ce que vous voyez est ce que vous obtenez, et Zenserp n'essaie pas d'enterrer les paramètres d'abonnement dans des coins obscurs de votre profil.

La documentation de l'API Zenserp

Avec les bases à l'écart, nous pouvons maintenant entrer dans les bonnes choses : la documentation de Zenserp. Ici, vous verrez exactement de quoi l'API est capable et comment l'utiliser. Bien que la mise en œuvre complète de l'API dans votre application dépasse le cadre de cet examen, nous aborderons brièvement chaque point de terminaison, certains paramètres clés et fournirons quelques exemples de réponses.

Fonctionnalité de base

À partir de la page de documentation, il y a une section bien nommée « Mise en route », qui détaille vos fonctions API les plus élémentaires capables d'interagir avec tous les autres points de terminaison. Nous allons jeter un coup d'oeil:

• Authentification – Cela vous montre comment utiliser votre clé API pour l'authentification. Il y a un exemple d'utilisation dans l'en-tête, suivi d'exemples de requêtes GET et POST. Peasy facile.
• /status – Vous permet de demander le nombre de demandes restantes selon vos limites d'abonnement. Après tout, pourquoi s'embêter à se connecter à votre tableau de bord Zenserp alors que votre application peut simplement vous le dire directement ?
• /batch – L'ajout de ce point de terminaison vous permet d'effectuer jusqu'à 1 000 recherches en un seul lot. Vous avez la possibilité de demander tous les lots à la fois, spécifiques par ID de lot, ou de soumettre un nouveau lot ou de fusionner les lots existants selon vos besoins.
• Codes d'erreur – Zenserp a également la possibilité de renvoyer les erreurs au fur et à mesure qu'elles se produisent, y compris 403 Interdit lorsque vous avez atteint votre limite mensuelle ou utilisé une clé API incorrecte, 404 lorsqu'aucun résultat n'a été trouvé ou 500 chaque fois qu'il y a une erreur de serveur. N'oubliez pas que les demandes ayant échoué apparaissent également sur votre tableau de bord.

Le point de terminaison /search

La fonctionnalité principale de Zenserp est ici. En ajoutant /search à votre demande d'API, vous recevrez un éventail complet de données sur pratiquement tout ce que vous pouvez penser pour collecter des SERPS. Votre requête renverra un large éventail de résultats, notamment :

• Résultats de recherche organiques – L'interrogation des SERP organiques renvoie toutes sortes de données, y compris le classement de l'article, son titre, l'URL affichée et l'URL de destination, plusieurs types d'avis, si le lien est un lien Google AMP, des chaînes représentant la description de la page, et plus le Local 3-Pack qui contient des informations commerciales.
• Résultats payants – Vous obtiendrez également un aperçu complet des résultats payants. Les informations renvoyées incluent la position payante (en haut, à droite ou en bas), le titre, l'URL de suivi AdWords, le fil d'Ariane, l'URL visible telle qu'elle apparaît sur Google, la description de la page, ainsi que tout placement de produit payant (y compris la position, le titre, les images associées, l'URL , et bien sûr, le prix).
• Boîte de réponse/extrait vedette/top story – De l'or pur pour tout référencement. Voyez facilement ce qui fonctionne le mieux pour obtenir ces places convoitées sur les SERP, puis élaborez une stratégie pour reproduire ces résultats.
• Recherches associées / vouliez-vous dire - Zenserp améliore votre recherche de mots clés en renvoyant des données précieuses sur toutes les recherches liées à votre requête. Vous pouvez également anticiper la manière dont Google réagit aux erreurs courantes commises par les utilisateurs lors de la recherche de votre requête.

Voici une version réduite d' un exemple qui apparaît dans la documentation Zenserp , avec « Pied Piper » comme requête. Vous pouvez voir les différents types de résultats qui apparaissent dans l'ordre : l'entrée Wikipédia (1), les questions liées à la requête (2), un site Web avec un nom de domaine correspondant exactement (3), un article populaire sur les origines du joueur de flûte (4), plus quelques vidéos connexes sur le sujet (5). Vous verrez également des expressions de recherche associées, ainsi que le nombre total de résultats renvoyés.

net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969", "destination":"https://www.ancient-origins.net › myths-legends › inquiétant-true-story-pie. ..", "description":"14 août 2014 - Beaucoup connaissent l'histoire du joueur de flûte de Hamelin. Peu de gens réalisent cependant que l'histoire est basée sur des événements réels, qui ont évolué au fil de ...", "isAmp":false }, { "position":5, "videos":[ { "title":"Pied Piper", "url":"https://www.youtube.com/watch?v=VEZ_Ui6d9AM", "parsed":{ "source":"YouTube", "date":"2 mai 2018", "channel": "BTS - Topic" } }, { "title":"La véritable histoire du joueur de flûte de Hamelin | Contes de fées...", "url":"https :

Affiner votre demande par type de recherche

Au-delà de la demande de SERPs par défaut, vous pouvez affiner davantage votre requête de recherche Google par type de recherche (Image, Vidéo, Cartes, Shopping, Actualités, Shopping, etc.). Définissez simplement le paramètre tbm (« à faire correspondre ») sur l'une des options suivantes :

• isch - Renvoie les résultats de la recherche d'images Google. Cette requête renvoie une litanie de données, notamment la position, les vignettes, les URL sources, les titres, etc. (Pour la recherche d'images inversée, vous exécuterez le paramètre image_url au lieu de tbm=isch )
• vid – Renvoie les résultats de la recherche de vidéos Google. Vous obtiendrez des informations telles que le domaine source, l'URL de la vidéo, le titre, la description, ainsi que toutes les extensions ou vignettes.
• lcl – Une autre mine d'or de données SEO, le paramètre lcl renvoie les résultats de la recherche Google Maps. Vous verrez le nom de l'entreprise/l'emplacement, les URL du site Web, si le résultat est payant ou non, des étoiles ou des avis, ainsi que des informations vitales telles que l'adresse, les numéros de téléphone, les heures d'ouverture, les prix notables et même le type d'entreprise. Vous avez également la possibilité de demander des directions à ces entreprises.
• nws – Besoin de vous tenir au courant de l'actualité et des développements dans votre secteur ? Ajoutez le paramètre nws à votre requête pour renvoyer les résultats de recherche Google News en temps réel. Affichez les noms des articles, leurs liens, les dates de publication (et analysées par votre API), l'éditeur, une brève description de l'article, ainsi que toutes les vignettes disponibles.
• boutique - Accédez aux résultats de la recherche Google Shopping avec le  paramètre de la boutique . Jetons un coup d'œil à quelques exemples de résultats (fortement tronqués pour des raisons de lisibilité) pour les chauffe-eau à Atlanta, GA :

no_results_auto_correct": "Sponsorisé", "related_searches": [], "shopping_results": [ { "title": "Reliance Water Heater 219809 50 gal Hybrid Electric Heat Pump", "link": "/aclk?sa=l&ai=DChcSEwjR -LWBnPDoAhUI1WQKHSvMBFUYABAFGgJwag&sig=AOD64_2X7NgvfDv9ugCCLYqCFpiZP8Xq3g&ctype=5&q=&ved=0ahUKEwisl7GBnPDoAhWEr54KHf6zCRMQCFpiZP8Xq3g&ctype=5&q=&ved=0ahUKEwisl7GBnPDoAhWEr54KHf6zCRMWMQ2CkIj informations sur le produit" : show. Les fabricants, fournisseurs et autres fournissent ce que vous voyez ici ...", "price": "$59.99", "source": "resenta", "reviews": 0, "thumbnail": "data:image/jpeg;base64, /9j/4AAQSk...", "extensions": [ "Réservoir", "Électrique", "

Remarque : quel que soit le type de demande SERP que vous effectuez, vous avez toujours un accès complet à l'ensemble standard de paramètres sous le point de terminaison /search.

Le point de terminaison /shopping

Outre le point de terminaison principal /search , l'API Zenserp propose également /shopping , qui vous permet d'analyser les pages de produits Google Shopping. Vous ajouterez le paramètre product_id à votre requête /shopping , avec la possibilité de spécifier la géolocalisation de votre recherche ( location ), le code du pays ( gl ) et/ou la langue de l'interface Web ( hl ). Vous pouvez également changer quelle région variante de recherche Google que vous souhaitez utiliser avec la recherche-_engine .

Le point final /trends

Les demandes Google Trends sont effectuées en ajoutant /trends à votre demande (bien que la documentation de Zenserp indique à tort que vous devez utiliser /shopping ). Vos résultats Trends sont alimentés par le paramètre keyword[] , où vous transmettez votre expression de mot-clé comme argument dans le []. La documentation de Zenserp contient un rappel pratique des opérateurs utilisés par Trends (+ pour "ou", - pour "exclure", espace pour "et" et guillemets " " pour une correspondance exacte), ce qui sera déterminant dans votre requête.

Vous pouvez en outre spécifier le fuseau horaire ( tz ), l'ID de catégorie ( cat ), la période de temps pour vos résultats (horaire, quotidien, mensuel, annuel dans diverses subdivisions), le type de propriété Google à rechercher (comme, images, vols, YouTube, finance , etc.), la géolocalisation ou le code de localisation Google ( gl ), et même la résolution dans cette région (essentiellement, en définissant si vous recherchez à l'échelle du pays, de la ville, de la région, etc.)

Alors, disons que vous vouliez voir comment Kanye West a évolué au cours du mois dernier. Vous feriez la demande comme ceci :

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

L'API renvoie ensuite un mois d'informations sur Google Trends, suivies de requêtes connexes, qui incluent, sans surprise, Taylor Swift et Kim Kardashian. (Ci-dessous, nous examinons l'intérêt de la semaine dernière pour Yeezy afin d'économiser de l'espace sur cette page.)

{ "Kanye West": { "trends": { "2020-04-08T00:00:00.000Z": { "Kanye West": 26, "isPartial": false }, "2020-04-09T00:00:00.000 Z": { "Kanye West": 29, "isPartial": false }, "2020-04-10T00:00:00.000Z": { "Kanye West": 31, "isPartial": false }, "2020-04 -11T00:00:00.000Z": { "Kanye West": 35, "isPartial": false }, "2020-04-12T00:00:00.000Z": { "Kanye West": 38, "isPartial": false }, "2020-04-13T00:00:00.000Z": { "Kanye West": 31, "isPartial": false }, "2020-04-14T00:00:00.000Z": { "Kanye West": 24 , "isPartial": false }, "2020-04-15T00:00:00.000Z": { "Kanye West": 32, "isPartial": false } }, "requêtes": { "Kanye West": { "top": [ { "query": "taylor swift kanye west", "value": 100 }, { "query": "taylor swift", "value": 94 } , { "query": "kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "famous kanye west", "value ": 36 }, { "query": "famous", "value": 35 }, { "query": "valeur nette de kanye west", "value": 31 } ...kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "famous kanye west", "value": 36 }, { " query": "famous", "value": 35 }, { "query": "valeur nette de kanye west", "value": 31 } ...kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "famous kanye west", "value": 36 }, { " query": "famous", "value": 35 }, { "query": "valeur nette de kanye west", "value": 31 } ...

Performance 

Maintenant que nous avons terminé avec la présentation des fonctionnalités, comment Zenserp fonctionne-t-il réellement ? Après tout, toutes ces belles données sont inutiles si vous ne pouvez pas y accéder en raison des efforts de collecte de données programmatiques de Google.

D'après notre expérience, Zenserp a effectué ses tâches sans problème, peu importe ce que nous avons recherché et où dans le monde nous avons ciblé nos requêtes. L'arme secrète ici est l'incroyable réseau proxy mondial de Zenserp, qui redirige vos demandes là où elles doivent aller tout en modifiant votre adresse IP pour qu'elle s'adapte. Bien que Zenserp ne publie pas les chiffres réels de son réseau de serveurs, il s'est avéré suffisamment robuste pour ne jamais générer une seule erreur lorsque nous avons fait nos demandes de test.

Un solveur Captcha sophistiqué est également inclus sous le capot de l'API Zenserp. Encore une fois, nous n'avons pas de détails sur la façon dont ils ont fait fonctionner cela; mais cela a fonctionné, et de manière cohérente aussi.

Mais bon, ne nous croyez pas sur parole ! Rendez-vous sur Zenserp API Playground et exécutez vos propres tests en temps réel.

Qu'en est-il de la disponibilité ? Après tout, la clientèle de Zenserp a généralement un besoin continu d'informations SERP volumineuses et à jour. C'est beaucoup de données à traiter, potentiellement de l'ordre de millions de requêtes par mois selon la taille de votre entreprise. Heureusement, Zenserp est bien équipé pour gérer un tel trafic et rapporte une disponibilité incroyable de 99,9% au cours des 12 derniers mois.

Prix

L'infrastructure de Zenserp est suffisamment robuste pour satisfaire n'importe quelle échelle d'opération. Ils offrent une large gamme de prix d'abonnement afin que vous ne payiez que pour exactement ce dont vous avez besoin. Quel que soit le niveau que vous choisissez, vous pouvez payer des frais mensuels peu élevés ou profiter d'une remise de 20 % sur un forfait annuel.

Il existe cinq modèles d'abonnement de base :

• GRATUIT - Fidèle à son nom, le niveau gratuit ne vous coûte rien et n'exige pas que vous enregistriez les informations de votre carte de crédit. Votre allocation de demandes mensuelles est assez faible avec seulement 50 au total, mais cela vous donne beaucoup d'espace pour jouer avec tous les types de SERP disponibles. Nous apprécions vraiment que, contrairement à la plupart des API gratuites, Zenserp active le cryptage HTTPS par défaut. Même si vous êtes une petite startup avec un besoin limité de scraping SERPs, votre activité bénéficie du même niveau de sécurité et d'anonymat que celle d'une entreprise mondiale. Vous devrez intégrer l'API vous-même et toutes vos questions recevront une réponse par e-mail, mais dans l'ensemble, il s'agit d'une offre généreuse pour les personnes qui savent ce qu'elles font et souhaitent explorer Zenserp sans aucune obligation.
• PETIT – Ce niveau coûte 29,99 $ par mois. À vrai dire, ce niveau est identique en termes d'utilité au plan GRATUIT, même s'il voit votre quota multiplié par cent jusqu'à un maximum de 5 000 demandes mensuelles. Encore une fois, si vous avez un besoin modeste de données SERP à tout moment et le savoir-faire nécessaire pour gérer vos propres intégrations d'API, cela représente une grande valeur.
• MEDIUM - Le choix le plus populaire de Zenserp, le niveau MEDIUM vous coûtera 74,99 $ par mois tout en augmentant votre quota mensuel à 15 000 demandes généreuses. Cependant, ce niveau débloque une multitude de nouvelles fonctionnalités, notamment des demandes par lots et des informations essentielles sur le référencement, telles que le volume de recherche de mots clés et le CPC de mots clés. Vous bénéficiez également de l'intégration d'un concierge, d'un service client personnalisé et d'un SLA. Bien sûr, vous bénéficiez toujours du cryptage HTTPS toujours précieux pour protéger votre entreprise des regards indiscrets.
• GRAND/TRÈS GRAND – Ces deux niveaux incluent des ensembles de fonctionnalités identiques au niveau MOYEN, mais améliorent considérablement la capacité mensuelle. Le niveau LARGE coûte 174,99 $ par mois, offrant 40 000 demandes ; tandis que TRÈS GRAND est au prix de 379,99 $ pour 100 000 demandes mensuelles. Choisissez l'abonnement qui correspond le mieux aux besoins de votre entreprise !

In addition to the standard tiers, Zenserp offers High Volume Plans, which are locked into a monthly payment scheme. Each tier includes all premium features of the MEDIUM-VERY LARGE plans, and scales your monthly quota according to how much you pay:

• PREMIUM – $599.99 and 250,000 requests per month
• PROFESSIONAL – $1,399.99 and 750,000 requests per month
• ENTERPRISE – $1,599.99 and 1,000,000 requests per month

Not enough? You can also request a customized plan. Simply reach out Zenserp’s enthusiastic support team, and they’ll work with you to develop customized API solutions to fit your needs.

Zenserp final verdict

SaaS Industries has produced an incredible offering with their Zenserp API. It’s customizable and highly scalable thanks to its robust infrastructure, yet dead-simple to integrate into your app thanks to easy parametric logic and wide coding language compatibility.

Our testing yielded consistent results without ever throwing up an error, though we suspect the service is not invulnerable to errors on the scale required by large enterprises. No matter what type of request we made, the results were always timely and meaningful. It is enormously helpful to be able to refine your SERPs request by search type, and as such it’s clear that Zenserp offers an invaluable yet affordable tool to any SEO dev.

If we had any criticism of the service, it’s that the documentation could use a touch more natural language to explain its contents. Of course, an experience developer should have no problems understanding what’s on offer, so this is likely a non-issue. Even if it is, all but the smallest payment tiers include concierge onboarding and personalized customer support, so you’ll always be able to address your needs perfectly.

All in all, Zenserp gets the Addictive Tips stamp of approval; we wholeheartedly recommend this API to anyone looking for a truly sophisticated SEO tool.

Got any questions or comments about Zenserp? Start a discussion in the comments below.