Examen Serpstack : Une API JSON Rest pour les résultats de recherche Google

Si vous devez récupérer les résultats des moteurs de recherche, en particulier ceux de Google, une façon de le faire est d'exécuter une recherche réelle sur google.com et d'essayer d'analyser le code HTML complexe que vous obtiendrez en conséquence. C'est possible, mais c'est tout un effort. Si vous souhaitez emprunter un itinéraire plus facile, pourquoi ne pas utiliser une API SERP dédiée que vous pouvez alimenter avec votre terme de recherche et qui renverra les résultats dans un format facilement analysable. L' API Serpstack d'apilayer est l'un de ces produits . Il prend votre chaîne de requête de recherche et vos paramètres en entrée et renvoie les résultats de la recherche au format JSON. Examinons en profondeur le produit.

Nous commencerons comme nous le faisons souvent en discutant des SERP en général. Ensuite, nous expliquerons ce que c'est et décrirons quelques-uns des différents types de résultats qui sont généralement disponibles dans les moteurs de recherche. Nous explorerons également quelques raisons pour lesquelles on utiliserait une API SERP. Et une fois que nous serons tous sur la même longueur d'onde, nous examinerons en détail l'API Serpstack. Nous examinerons rapidement certaines de ses principales fonctionnalités avant de découvrir comment utiliser l'API. Et avant de conclure, nous allons explorer la structure tarifaire du service et les forfaits disponibles.

SERP en bref

Tout d'abord, SERP est l'acronyme de Search Engine Results Pages. Ce sont les pages Web qui sont proposées aux utilisateurs lorsqu'ils recherchent quelque chose en ligne à l'aide d'un moteur de recherche tel que Google ou Bing. L'utilisateur spécifie sa requête de recherche à l'aide de termes et d'expressions spécifiques communément appelés mots-clés, puis le moteur de recherche leur présente un SERP.

Chaque SERP est unique. Cela est même vrai pour plusieurs requêtes de recherche effectuées sur le même moteur de recherche en utilisant les mêmes mots-clés ou le même texte de requête. La principale raison en est que pratiquement tous les moteurs de recherche personnalisent l'expérience de leurs utilisateurs en présentant des résultats basés sur un large éventail de facteurs qui vont bien au-delà de leurs termes de recherche. Ces facteurs peuvent inclure l'emplacement physique de l'utilisateur, son historique de navigation et ses paramètres sociaux, etc. Et bien que deux SERP puissent sembler identiques et contenir bon nombre des mêmes résultats, ils présenteront souvent des différences subtiles.

Les fournisseurs de moteurs de recherche tels que Google, Bing ou d'autres acteurs font constamment évoluer leurs services et technologies et expérimentent leurs résultats. Leur objectif est d'offrir à leurs utilisateurs une expérience plus réactive et intuitive. Au fur et à mesure que de nouvelles technologies sont introduites dans l'espace de recherche - et elles sont à un rythme incroyable, l'apparence des SERP change, et elles sont aujourd'hui très différentes de ce qu'elles étaient autrefois.

Résultats organiques

Les SERP contiendront normalement deux types de contenu : les résultats organiques et les résultats payants. Les résultats organiques sont des listes de pages Web qui apparaissent à la suite de l'algorithme du moteur de recherche. Plus à ce sujet dans un instant. L'optimisation des moteurs de recherche, ou SEO, est la science - ou est-ce plutôt un art - de manipuler le contenu pour inciter les moteurs de recherche à répertorier notre site Web pour un mot-clé ou une chaîne de recherche spécifique.

À propos des algorithmes de recherche et des signaux de classement

Donc, revenons aux résultats organiques. En un mot, ce sont des listes qui ont été indexées par le moteur de recherche sur la base d'un certain nombre de facteurs qui sont collectivement appelés « signaux de classement ». Par exemple, l'algorithme de recherche utilisé par Google comporte des centaines de facteurs de classement. Les fournisseurs de moteurs de recherche ont tendance à garder secrets les détails de leur système de classement. Ainsi, bien que personne en dehors de Google - et peut-être pas tant de personnes à l'intérieur - ne sache précisément quels sont les signaux de classement, certains sont considérés comme plus importants que d'autres.

Pourquoi utiliser une API SERP ?

Il y a plusieurs raisons pour lesquelles n'importe qui aurait besoin d'une API SERP. Il est évident qu'il est nécessaire de récupérer périodiquement les données SERP de vos produits et sites Web et de les suivre au fil du temps, car il s'agit d'un élément essentiel de toute stratégie de référencement. Avec des classements fluctuant constamment et des mots-clés de recherche devenant plus ou moins applicables et précieux au fil du temps, il n'y a qu'une seule façon de rester au courant de ces changements et c'est d'utiliser un logiciel en tant que service (SaaS ) qui implémente les données SERP directement dans vos propres applications ou sites Web à l'aide d'une API SERP telle que Serpstack.

En un mot, la principale différence entre l'utilisation d'un navigateur pour récupérer des données SERP et l'utilisation d'une API SERP telle que Serpstack est le format de la réponse. L'API Serpstack renverra des données JSON qui seront facilement analysées par votre logiciel interne. Son utilisation vous évite d'avoir à extraire les données significatives de tout le formatage Web environnant.

Présentation de Serpstack

En une phrase, Serpstack est une API de résultats de recherche Google précise et en temps réel. Reconnue par certaines des plus grandes marques au monde, cette API JSON REST est rapide comme l'éclair et facile à utiliser. Le produit est construit et maintenu par apilayer, une société de logiciels basée à Londres, au Royaume-Uni et à Vienne, en Autriche. Créé à l'origine à partir d'un besoin interne de suivre les positions des moteurs de recherche de manière automatisée, le produit est devenu l'une des API SERP les plus fiables disponibles sur le marché. Quant à apilayer, il s'agit de la société à l'origine de certains des produits API et SaaS les plus populaires au monde, notamment Currencylayer, Invoicely et Eversign.

L'API Serpstack récupère les données SERP des moteurs de recherche de manière automatisée en utilisant un réseau proxy et une technologie de grattage propriétaire chaque fois que des demandes d'API sont effectuées. Les données SERP résultantes sont accessibles au public et tout le monde peut y accéder. De plus, l'API Serpstack prend en charge presque tous les types de résultats de recherche renvoyés par Google, y compris les résultats Web, les résultats d'images, les résultats de vidéos, les résultats d'actualités, les résultats d'achats, les annonces sponsorisées, les questions et bien plus encore.

Construite sur l'infrastructure cloud apilayer, un système sur lequel s'exécutent certains des services d'API en temps réel les plus populaires au monde, l'API Serpstack est hautement évolutive et flexible à tout moment. Il a été conçu pour offrir un moyen de récupérer les données Google SERP en temps réel et à n'importe quelle échelle. La mise en œuvre du service ne prend que quelques minutes à l'aide d'une simple structure d'URL HTTP GET, et les résultats sont renvoyés au format JSON ou CSV.

Principales caractéristiques de Serpstack

Du point de vue des fonctionnalités, l'API Serpstack ne laisse rien à désirer. Tout d'abord, le service est hautement évolutif et toujours sans file d'attente. La puissante infrastructure cloud d'Apilayer a été simplement conçue pour résister aux demandes d'API à volume élevé sans avoir besoin d'une file d'attente. Il a été au cœur de plusieurs des produits de l'entreprise. Il est également hautement personnalisable. Étant donné que deux clients n'ont pas les mêmes besoins, vous pouvez personnaliser vos requêtes de recherche automatisées en fonction d'une série d'options, notamment l'emplacement, la langue, l'appareil, etc.

En utilisant ce produit, plus besoin de vous soucier des adresses IP globales, des clusters de navigateurs ou des CAPTCHA. Grâce à un puissant réseau proxy sous-jacent, cette API de grattage SERP vous permet de couvrir à peu près toutes les situations. Et c'est aussi facile sur le budget. Vous obtenez jusqu'à 100 demandes mensuelles gratuitement et, si vous avez besoin de plus que cela, et vous en aurez probablement besoin, les forfaits payants commencent à seulement 29,99 $ par mois. Nous couvrirons le prix du produit plus en détail sous peu.

Voici un aperçu de certaines des caractéristiques les plus importantes du produit :

Intégration simple

L'utilisation de l'API Scrapestack pourrait difficilement être plus simple dès le départ. Cela ne prend que quelques minutes pour créer des requêtes personnalisées et commencer à gratter des pages SERP à n'importe quelle échelle en utilisant des emplacements, des appareils, des langues et plus encore.

Haut niveau de sécurité

Tous les flux de données envoyés et reçus de l'API Serpstack sont cryptés à l'aide du cryptage SSL 256 bits. Il s'agit du même type de sécurité que celui utilisé par les sites bancaires ou la plupart des plateformes de commerce électronique. Vous pouvez être assuré que vos données resteront protégées.

Vitesse et disponibilité inégalées

Avec un score de disponibilité presque parfait, vous pouvez être assuré que l'API Scrapestack sera là quand vous en aurez besoin. Et apilayer ne fait jamais de compromis sur la vitesse. Les requêtes API envoyées à l'API sont traitées en quelques millisecondes. Bien entendu, la rapidité avec laquelle les résultats arrivent dépend également des temps de réponse de Google.

Choix des formats de sortie

Pour faciliter encore plus la poursuite des données SERP, l'API REST facile à utiliser de Serpstack offre un choix de réponses JSON ou CSV. Cela le rend compatible avec n'importe quel langage de programmation.

Support de classe mondiale

On dit souvent qu'un produit est aussi bon que sa structure de support technique. Encore une fois, c'est un endroit où Scrapestack brille. Si vous avez des questions techniques, une équipe formée de spécialistes est là pour vous aider avec toutes les demandes que vous pourriez avoir. La réponse est rapide et le service fonctionne plutôt bien.

Documentation complète

Tout aussi importante que le support, la Documentation sera souvent votre principal moyen d'apprendre à utiliser un produit. Serpstack propose une documentation API complète qui attend d'être explorée. Son utilisation vous permettra de démarrer en quelques minutes et fera de vous un expert en quelques jours, et non des semaines ou des mois.

Utiliser Serpstack

Assez de vantardise sur les excellentes fonctionnalités du produit - et elles le sont vraiment, voyons comment vous pouvez réellement utiliser le produit et les différents types de demandes que vous pouvez faire et les réponses correspondantes auxquelles vous pouvez vous attendre.

Les bases

Pour utiliser l'API Serpstack, vous devez d'abord créer un compte. C'est gratuit et par conséquent, une clé d'accès API unique vous sera attribuée. C'est ce que vous utiliserez désormais pour vous authentifier auprès de l'API via de simples requêtes HTTP GET pour accéder à l'un des points de terminaison disponibles. Ainsi, pour utiliser l'API, vous devez simplement ajouter votre clé API à l'URL de base en utilisant le paramètre " access_key ". Voici à quoi ressemble une requête typique, bien que très basique et totalement inutile :

https://api.serpstack.com/search ? access_key = YOUR_ACCESS_KEY

Pour plus de sécurité, tous les forfaits payants permettent l'utilisation du cryptage SSL 256 bits. Pour l'utiliser, il vous suffit d'envoyer des requêtes HTTPS au lieu de requêtes HTTP. Par exemple, l'exemple ci-dessus avec cryptage deviendrait :

https://api.serpstack.com/search ? access_key = YOUR_ACCESS_KEY

Chaque fois qu'une requête d'API échoue, l'API Serpstack renvoie un objet JSON contenant des détails sur l'erreur. Par exemple, voici ce qui serait renvoyé par l'API si la limite maximale autorisée de demandes d'API était atteinte ou dépassée. Chaque plan d'abonnement a une limite différente du nombre de demandes que l'on peut faire.

{ "success": false, "error": { "code": 104, "type": "usage_limit_reached", "info": "Votre volume mensuel de requêtes API a été atteint. Veuillez mettre à niveau votre forfait." } }

Demande d'API et paramètres

Sauf indication contraire, l'API Serpstack fournira toujours par défaut les résultats de recherche de Google. Par conséquent, si vous souhaitez interroger l'API pour les résultats de recherche Google, il vous suffit d'ajouter le paramètre « requête » à l'URL de base de l'API et de le définir sur une requête de recherche de votre choix. Voici à quoi ressemble une requête utilisant « mcdonalds » comme terme de recherche avec l'authentification et le cryptage :

https://api.serpstack.com/search ? access_key = YOUR_ACCESS_KEY & query = mcdonalds

Comme vous pouvez le voir, il s'agit d'une syntaxe assez simple. Il existe, comme vous l'auriez certainement imaginé, une tonne de paramètres facultatifs qui peuvent être ajoutés à une demande pour affiner davantage les résultats de la recherche. Nous en explorerons quelques-uns dans un instant, mais une liste détaillée de tous est disponible dans la documentation en ligne de l'API.

Réponses de l'API

Les réponses que vous obtiendrez de l'API Serpstack dépendront fortement de votre requête de recherche et des paramètres que vous choisissez d'utiliser. Une requête de base sans filtrage spécifié renverra une tonne de données. Voici la première partie de la réponse que vous obtiendriez à partir de l'exemple de requête ci-dessus.

{ "request": { "success": true, "processed_timestamp": 1566207832, "search_url": "https://www.google.com/search?q=mcdonalds", "total_time_taken": 1.5 }, "search_parameters" : { "engine": "google", "query": "mcdonalds", "type": "web", "device": "desktop", "google_domain": "google.com", "hl": "fr ", "gl": "us", "page": "1", "num": "10" }, "search_information": { "total_results": 759000000, "time_taken_displayed": 0.91, "did_you_mean": null, "showing_results_for": null, "query_displayed": "mcdonalds", "detected_location": null,"no_results_for_original_query": false },

Le but de l'exemple ci-dessus est simplement de vous donner une idée de ce à quoi peuvent ressembler les résultats. Je n'ai inclus que les 25 premières lignes de la réponse qui, dans son intégralité, compte plus de quatre cents lignes.

Comme vous l'avez peut-être remarqué lors de l'utilisation de la recherche Google, une page de résultats de recherche typique comporte différentes sections, chacune affichant un type de résultats différent. Vous aurez des résultats d'annonces payantes, des résultats organiques, des images, des vidéos, etc. De plus, un ruban en haut de la page vous permettra d'afficher des types de résultats spécifiques tels que des cartes, des actualités, des achats ou des livres, pour n'en nommer que quelques-uns. . Divers paramètres facultatifs vous permettront de spécifier le type de résultats de recherche que vous souhaitez obtenir, rendant l'analyse du fichier JSON résultant beaucoup plus simple. Examinons de plus près certains des différents types de résultats que vous pouvez obtenir.

Résultats de l'annonce

Chaque fois qu'il y a des annonces sponsorisées pour votre requête de recherche, et il y en aura le plus souvent, la réponse de l'API sera accompagnée d'un objet d'annonces. Il contient toutes les annonces dans l'ordre où elles sont affichées dans le résultat de la recherche. Il comprend à la fois les annonces affichées en haut et en bas du résultat de la recherche.

Résultats organiques

Les résultats de recherche organiques sont les principaux résultats de recherche fournis par Google, et ce sont probablement ceux qui vous intéresseront particulièrement. Ils sont déterminés par une série de facteurs, tels que le trafic Web, les back-links, la présence sur les réseaux sociaux, et bien plus encore. , avec l'algorithme exact gardé secret par Google afin de garder son avantage concurrentiel. Ces résultats sont analysés en détail par l'API et renvoyés en tant que « resultats_organiques ».

Résultats d'images

Tout comme il existe deux manières d'obtenir des résultats d'image à partir d'une recherche Google, il existe deux manières de renvoyer des images par l'API. Lors d'une recherche Web standard, certaines images sont fournies par Google dans les résultats de la recherche. Ces images, appelées images en ligne, sont renvoyées par l'API Scrapestack dans un tableau « inline_images ».

"image_results": [ { "position": 1, "title": "McDonald's Gold Card: The True Story ...", "width": 1024, "height": 683, "image_url": "https:// www.rd.com/app/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg", "type": "png" , "url": "https://rd.com", "source": "https://rd.com" }, { "position": 2, "title": "McDonald's - Wikipedia", "width" : 1200, "hauteur": 1051, "image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png" , "type": "png", "url": "https://en.wikipedia.org/wiki/McDonald%27s", "source": "https://en.wikipedia.org" }, { "position": 3, "title": "Meilleurs nouveaux éléments de menu global ...", "width": 970, "height": 545, "image_url": "https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", "type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com" } ]"type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com" } ]"type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com" } ]

Si, d'autre part, les images sont recherchées spécifiquement, avec le paramètre type étant défini sur images, les images sont renvoyées sous la forme d'un tableau « image_results ». Dans ces situations, l'API renvoie 100 images par défaut.

Résultats vidéo

Les mêmes considérations que nous venons de parcourir pour les images sont également valables pour les résultats vidéo avec la disponibilité des deux vidéos en ligne avec les résultats de recherche globaux ou les résultats vidéo dédiés

Nous pourrions continuer sur des pages et vous donner des informations détaillées sur les différents types de résultats que l'API Serpstack peut renvoyer, mais nous pensons que vous avez compris. Il suffit de dire que tout type de résultats renvoyés par une recherche Google typique est également disponible dans la réponse de l'API. En plus des types de résultats déjà décrits, l'API renverra des résultats d'actualités, des résultats d'achats et des résultats locaux, ainsi que le contenu de la zone de réponse, de la zone météo, des événements, du carrousel supérieur, des meilleures histoires, etc. de la page de résultats.

Environnements de programmation pris en charge

L'une des meilleures choses à propos de l'API Serpstack est que vous pouvez facilement l'utiliser dans la plupart des environnements. Quelle que soit la langue que vous utilisez, tant que vous pouvez envoyer des requêtes HTTP, vous devriez être prêt à partir. Tous les langages Web populaires tels que PHP ou Python sont pris en charge. En fait, la documentation de l'API comprend des exemples d'utilisation à partir de PHP, Python, Nodejs, jQuery, Go et Ruby.

Voici, par exemple, le code PHP pour imprimer le nombre total de résultats de recherche ainsi que chaque résultat de recherche organique renvoyé par l'API Serpstack.

$queryString = http_build_query([ 'access_key' => 'YOUR_ACCESS_KEY', 'query' => 'mcdonalds', ]); $ch = curl_init(sprintf('%s?%s', 'https://api.serpstack.com/search', $queryString)); curl_setopt($ch, CURLOPT_RETURNTRANSFER, vrai); $json = curl_exec($ch); curl_close($ch); $api_result = json_decode($json, vrai); echo "Résultats totaux : ", $api_result['search_information']['total_results'], PHP_EOL ; foreach ($api_result['organic_results'] as $number => $result) { echo "{$number}. {$result['title']}", PHP_EOL; }

Et voici du code pour accomplir la même chose en Python :

import request params = { 'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds' } api_result = request.get('https://api.serpstack.com/search', params) api_response = api_result.json() print "Total results: ", api_response['search_information']['total_results'] pour nombre, résultat en énumérer(api_response['organic_results'], start=1): print "%s. %s" % (nombre, résultat ['Titre'])

Prix ​​et forfaits

L'API Serpstack est disponible sous plusieurs plans selon vos besoins. Le plan le plus basique est le plan gratuit. Comme son nom l'indique, il est gratuit mais, bien qu'il ne soit pas limité dans le temps comme les versions d'essai typiques, il est limité en termes de fonctionnalités et d'utilisation. Vous ne pourrez effectuer que 100 recherches par mois.

Les trois niveaux suivants sont complets et varient uniquement en fonction du nombre maximum de recherches mensuelles que vous êtes autorisé à effectuer. Le plan de base vous en donnera 5000 pour 29,99 $/mois, le plan Business à 99,99 $/mois le porte à 20 000, et le plan Business Pro vous permet d'effectuer 50 000 recherches pour 199,99 $ par mois. Si aucun de ces forfaits ne vous convient, il existe également un forfait Entreprise à prix variable qui peut être personnalisé selon vos besoins précis. Si vous choisissez une facturation annuelle plutôt que mensuelle, vous avez droit à une remise de 20 %, ce qui rend le service encore plus abordable.

Emballer

En un mot, l'API Serpstack est un produit complet et facile à utiliser que vous pouvez utiliser à bon escient chaque fois que vous avez besoin de récupérer des données SERP auprès de Google. Sa disponibilité exceptionnelle et son temps de réponse impressionnant sont quelques-uns de ses meilleurs atouts. Soutenu par apilayer qui nous a apporté d'autres excellentes API, nous sommes convaincus que celle-ci fournira les résultats que vous attendez. C'est un produit que nous ne pouvons que recommander.