Serpstack Review: Eine JSON-Rest-API für Google-Suchergebnisse

Wenn Sie Suchmaschinenergebnisse – insbesondere von Google – abrufen müssen, können Sie dies beispielsweise tun, indem Sie eine tatsächliche Suche auf google.com durchführen und versuchen, den komplizierten HTML-Code zu analysieren, den Sie als Ergebnis erhalten. Es kann getan werden, aber es ist ein ziemliches Unterfangen. Wenn Sie einen einfacheren Weg einschlagen möchten, verwenden Sie eine dedizierte SERP-API, die Sie mit Ihrem Suchbegriff füttern können und die die Ergebnisse in einem Format zurückgibt, das leicht geparst werden kann. Ein solches Produkt ist die Serpstack API von apilayer . Es verwendet Ihre Suchabfragezeichenfolge und Parameter als Eingabe und gibt die Suchergebnisse im JSON-Format zurück. Schauen wir uns das Produkt genauer an.

Wir beginnen wie so oft damit, dass wir SERP im Allgemeinen besprechen. Als Nächstes erklären wir, was es ist und beschreiben einige der verschiedenen Arten von Ergebnissen, die normalerweise von Suchmaschinen verfügbar sind. Wir werden auch einige Gründe untersuchen, warum man eine SERP-API verwenden sollte. Und wenn wir uns alle auf der gleichen Seite befinden, schauen wir uns die Serpstack-API im Detail an. Wir werfen einen kurzen Blick auf einige der Hauptfunktionen, bevor wir uns mit der Verwendung der API befassen. Und bevor wir zum Schluss kommen, werden wir die Preisstruktur des Dienstes und die verfügbaren Pläne untersuchen.

SERP in Kürze

Das Wichtigste zuerst, SERP ist ein Akronym für Search Engine Results Pages. Dies sind die Webseiten, die Benutzern angezeigt werden, wenn sie mit einer Suchmaschine wie Google oder Bing online nach etwas suchen. Der Benutzer spezifiziert seine Suchanfrage mit bestimmten Begriffen und Phrasen, die allgemein als Schlüsselwörter bezeichnet werden, und dann präsentiert die Suchmaschine ihm eine SERP.

Jede SERP ist einzigartig. Dies gilt sogar für mehrere Suchanfragen, die in derselben Suchmaschine mit denselben Schlüsselwörtern oder demselben Anfragetext ausgeführt werden. Der Hauptgrund dafür ist, dass praktisch jede Suchmaschine die Erfahrung für ihre Benutzer anpasst, indem sie Ergebnisse basierend auf einer Vielzahl von Faktoren präsentiert, die weit über ihre Suchbegriffe hinausgehen. Zu diesen Faktoren können der physische Standort des Benutzers, sein Browserverlauf und seine sozialen Einstellungen usw. gehören. Und obwohl zwei SERPs identisch erscheinen und viele der gleichen Ergebnisse enthalten können, weisen sie oft feine Unterschiede auf.

Suchmaschinenanbieter wie Google, Bing oder andere Player entwickeln ihre Dienste und Technologien ständig weiter und experimentieren mit ihren Ergebnissen. Ihr Ziel ist es, ihren Benutzern ein reaktionsschnelleres und intuitiveres Erlebnis zu bieten. Mit der Einführung neuer Technologien im Suchbereich – und zwar in einem erstaunlichen Tempo – ändert sich das Aussehen der SERPs, und sie unterscheiden sich heute deutlich von dem, was sie einmal waren.

Organische Ergebnisse

SERPs enthalten normalerweise zwei Arten von Inhalten: organische Ergebnisse und bezahlte Ergebnisse. Organische Ergebnisse sind Auflistungen von Webseiten, die als Ergebnis des Algorithmus der Suchmaschine erscheinen. Mehr dazu gleich. Suchmaschinenoptimierung oder SEO ist die Wissenschaft – oder eher eine Kunst – der Manipulation von Inhalten, um Suchmaschinen dazu zu bringen, unsere Website nach einem bestimmten Schlüsselwort oder einer bestimmten Suchzeichenfolge aufzulisten.

Über Suchalgorithmen und Ranking-Signale

Also zurück zu den organischen Ergebnissen. Kurz gesagt handelt es sich um Einträge, die von der Suchmaschine basierend auf einer Reihe von Faktoren indiziert wurden, die zusammen als „Ranking-Signale“ bezeichnet werden. Der von Google verwendete Suchalgorithmus bietet beispielsweise Hunderte von Ranking-Faktoren. Suchmaschinenanbieter neigen dazu, die Details ihres Ranking-Systems geheim zu halten. Während also niemand außerhalb von Google – und möglicherweise nicht so viele Leute innerhalb – genau weiß, was die Ranking-Signale sind, werden einige als wichtiger angesehen als andere.

Warum eine SERP-API verwenden?

Es gibt mehrere Gründe, warum jemand eine SERP-API verwenden könnte. Es besteht die offensichtliche Notwendigkeit, SERP-Daten für Ihre Produkte und Websites regelmäßig abzurufen und im Laufe der Zeit zu verfolgen, da dies ein wesentlicher Bestandteil jeder SEO-Strategie ist. Da Rankings ständig schwanken und Suchbegriffe im Laufe der Zeit mehr oder weniger zutreffend und wertvoll werden, gibt es nur eine Möglichkeit, diesen Veränderungen Schritt zu halten, und zwar mit einem vorgefertigten Software-as-a-Service (SaaS )-Lösung, die SERP-Daten mithilfe einer SERP-API wie Serpstack direkt in Ihre eigenen Anwendungen oder Websites implementiert.

Kurz gesagt, der Hauptunterschied zwischen der Verwendung eines Browsers zum Abrufen von SERP-Daten und der Verwendung einer SERP-API wie Serpstack ist das Format der Antwort. Die Serpstack-API gibt JSON-Daten zurück, die von Ihrer internen Software leicht geparst werden können. Die Verwendung befreit Sie davon, die aussagekräftigen Daten aus allen umliegenden Webformatierungen extrahieren zu müssen.

Einführung in Serpstack

In einem Satz ist Serpstack eine Echtzeit-API für genaue Google-Suchergebnisse. Einige der größten Marken weltweit vertrauen dieser JSON-REST-API und ist blitzschnell und einfach zu bedienen. Das Produkt wird von apilayer, einem Softwareunternehmen mit Sitz in London, Großbritannien und Wien, Österreich, entwickelt und gewartet. Ursprünglich aus dem internen Bedürfnis heraus entwickelt, Suchmaschinenpositionen automatisiert zu verfolgen, hat sich das Produkt zu einer der vertrauenswürdigsten SERP-APIs auf dem Markt entwickelt. Apilayer ist das Unternehmen hinter einigen der beliebtesten API- und SaaS-Produkte weltweit, darunter Currencylayer, Invoicely und Eversign.

Die Serpstack-API ruft SERP-Daten von Suchmaschinen automatisch ab, indem sie ein Proxy-Netzwerk und eine proprietäre Scraping-Technologie verwendet, wenn API-Anfragen gestellt werden. Die resultierenden SERP-Daten sind öffentlich verfügbar und jeder kann darauf zugreifen. Darüber hinaus unterstützt die Serpstack-API fast alle von Google zurückgegebenen Suchergebnistypen, einschließlich Webergebnisse, Bildergebnisse, Videoergebnisse, Nachrichtenergebnisse, Einkaufsergebnisse, gesponserte Anzeigen, Fragen und vieles mehr.

Aufbauend auf der apilayer-Cloud-Infrastruktur, einem System, auf dem einige der weltweit beliebtesten Echtzeit-API-Dienste ausgeführt werden, ist die Serpstack-API in jeder Phase hochgradig skalierbar und flexibel. Es wurde entwickelt, um eine Möglichkeit zu bieten, Google SERP-Daten in Echtzeit und in beliebiger Größenordnung zu erfassen. Die Implementierung des Dienstes dauert mit einer einfachen HTTP-GET-URL-Struktur nur wenige Minuten, und die Ergebnisse werden entweder im JSON- oder CSV-Format zurückgegeben.

Hauptmerkmale von Serpstack

Featuremäßig lässt die Serpstack API keine Wünsche offen. In erster Linie ist der Dienst hoch skalierbar und immer Warteschlangenlos. Die leistungsstarke Cloud-Infrastruktur von Apilayer wurde einfach entwickelt, um API-Anfragen mit hohem Volumen ohne die Notwendigkeit einer Warteschlange zu widerstehen. Es war das Herzstück mehrerer Produkte des Unternehmens. Es ist auch sehr anpassbar. Da keine zwei Kunden die gleichen Bedürfnisse haben, können Sie Ihre automatisierten Suchanfragen basierend auf einer Reihe von Optionen anpassen, darunter Standort, Sprache, Gerät und mehr.

Mit diesem Produkt entfällt die Sorge um globale IPs, Browsercluster oder CAPTCHAs. Dank eines leistungsstarken zugrunde liegenden Proxy-Netzwerks deckt Sie diese SERP-Scraping-API in so ziemlich jeder Situation ab. Und es schont auch das Budget. Sie erhalten bis zu 100 monatliche Anfragen kostenlos und sollten Sie mehr benötigen – und Sie werden es höchstwahrscheinlich tun – beginnen die kostenpflichtigen Pläne bei nur 29,99 USD pro Monat. Wir werden die Preise des Produkts in Kürze ausführlicher behandeln.

Hier ist ein Überblick über einige der wichtigsten Funktionen des Produkts:

Einfache Integration

Die Nutzung der Scrapestack API könnte von Anfang an kaum einfacher sein. Es dauert nur wenige Minuten, um benutzerdefinierte Abfragen zu erstellen und mit dem Scraping von SERP-Seiten in jeder Größenordnung mit benutzerdefinierten Standorten, Geräten, Sprachen und mehr zu beginnen.

Hohe Sicherheit

Alle Datenströme, die an die Serpstack-API gesendet und von ihr empfangen werden, werden mit einer 256-Bit-SSL-Verschlüsselung verschlüsselt. Dies ist die gleiche Art von Sicherheit, die von Banking-Sites oder den meisten E-Commerce-Plattformen verwendet wird. Sie können sicher sein, dass Ihre Daten geschützt bleiben.

Beispiellose Geschwindigkeit und Verfügbarkeit

Mit einer nahezu perfekten Verfügbarkeitsbewertung können Sie sicher sein, dass die Scrapestack-API zur Verfügung steht, wenn Sie sie brauchen. Und apilayer macht keine Kompromisse bei der Geschwindigkeit. An die API gesendete API-Anfragen werden innerhalb von Millisekunden verarbeitet. Wie schnell die Ergebnisse kommen, hängt natürlich auch von den Reaktionszeiten von Google ab.

Auswahl an Ausgabeformaten

Um die Abfrage der SERP-Daten noch einfacher zu machen, bietet die benutzerfreundliche REST-API von Serpstack eine Auswahl an JSON- oder CSV-Antworten. Das macht es kompatibel mit jeder Programmiersprache.

Erstklassiger Support

Oft wird behauptet, ein Produkt sei nur so gut wie seine technische Support-Struktur. Auch dies ist ein Ort, an dem Scrapestack glänzt. Bei technischen Fragen steht Ihnen ein geschultes Team von Spezialisten bei allen Anliegen zur Seite. Die Antwort ist schnell und der Service funktioniert ziemlich gut.

Umfangreiche Dokumentation

Genauso wichtig wie der Support ist die Dokumentation oft Ihr wichtigster Weg, um den Umgang mit einem Produkt zu erlernen. Serpstack bietet eine umfangreiche API-Dokumentation, die darauf wartet, erkundet zu werden. Wenn Sie es verwenden, können Sie innerhalb weniger Minuten loslegen und innerhalb von Tagen, nicht Wochen oder Monaten, zum Experten werden.

Verwenden von Serpstack

Genug damit, mit den großartigen Funktionen des Produkts zu prahlen – und das sind sie wirklich. Sehen wir uns an, wie Sie das Produkt tatsächlich nutzen können, welche Arten von Anfragen Sie stellen können und welche Antworten Sie erwarten können.

Die Grundlagen

Um die Serpstack-API zu verwenden, müssen Sie sich zunächst für ein Konto anmelden. Dies ist kostenlos und als Ergebnis wird Ihnen ein eindeutiger API-Zugriffsschlüssel zugewiesen. Dies ist, was Sie von nun an verwenden werden, um sich über einfache HTTP-GET-Anforderungen bei der API zu authentifizieren, um auf einen der verfügbaren Endpunkte zuzugreifen. Um die API zu verwenden, müssen Sie einfach Ihren API-Schlüssel mit dem Parameter „ access_key “ an die Basis-URL anhängen . So sieht eine typische – wenn auch sehr einfache und völlig nutzlose – Anfrage aus:

https://api.serpstack.com/search ? access_key = YOUR_ACCESS_KEY

Für zusätzliche Sicherheit ermöglichen alle kostenpflichtigen Pläne die Verwendung einer 256-Bit-SSL-Verschlüsselung. Um es zu verwenden, müssen Sie lediglich HTTPS-Anfragen anstelle von HTTP-Anfragen senden. Das obige Beispiel mit Verschlüsselung wäre zum Beispiel:

https://api.serpstack.com/search ? access_key = YOUR_ACCESS_KEY

Wenn eine API-Anfrage fehlschlägt, gibt die Serpstack-API ein JSON-Objekt zurück, das Details zum Fehler enthält. Folgendes würde beispielsweise von der API zurückgegeben, wenn das maximal zulässige API-Anforderungslimit erreicht oder überschritten wird. Jeder Abonnementplan hat ein anderes Limit für die Anzahl der Anfragen, die Sie stellen können.

{ "success": false, "error": { "code": 104, "type": "usage_limit_reached", "info": "Ihr monatliches API-Anforderungsvolumen wurde erreicht. Bitte aktualisieren Sie Ihren Plan." } }

API-Anfrage und Parameter

Sofern nicht anders angegeben, liefert die Serpstack-API standardmäßig immer Suchergebnisse von Google. Wenn Sie also die API nach Google-Suchergebnissen abfragen möchten, müssen Sie lediglich den Parameter " query " an die Basis-URL der API anhängen und auf eine Suchanfrage Ihrer Wahl setzen. So sieht eine Abfrage mit „mcdonalds“ als Suchbegriff mit Authentifizierung und Verschlüsselung aus:

https://api.serpstack.com/search ? access_key = YOUR_ACCESS_KEY & query = mcdonalds

Wie Sie sehen, handelt es sich hierbei um eine recht einfache Syntax. Es gibt, wie Sie sich sicherlich vorstellen können, eine Menge optionaler Parameter, die an eine Anfrage angehängt werden können, um die Suchergebnisse weiter einzugrenzen. Wir werden uns gleich einige davon ansehen, aber eine detaillierte Liste aller finden Sie in der Online-API-Dokumentation.

API-Antworten

Die Antworten, die Sie von der Serpstack-API erhalten, hängen stark von Ihrer Suchanfrage und den von Ihnen gewählten Parametern ab. Eine einfache Abfrage ohne festgelegte Filterung gibt eine Menge Daten zurück. Hier ist der erste Teil der Antwort, die Sie aus der obigen Beispielabfrage erhalten würden.

{ "request": { "success": true, "processed_timestamp": 1566207832, "search_url": "https://www.google.com/search?q=mcdonalds", "total_time_taken": 1,5 }, "search_parameters" : { "engine": "google", "query": "mcdonalds", "type": "web", "device": "desktop", "google_domain": "google.com", "hl": "de ", "gl": "us", "page": "1", "num": "10" }, "search_information": { "total_results": 759000000, "time_taken_displayed": 0.91, "did_you_mean": null, "showing_results_for": null, "query_displayed": "mcdonalds", "detected_location": null,"no_results_for_original_query": false },

Das obige Beispiel soll Ihnen lediglich eine Vorstellung davon geben, wie die Ergebnisse aussehen können. Ich habe nur die ersten 25 Zeilen der Antwort eingefügt, die insgesamt über 400 Zeilen lang ist.

Wie Sie vielleicht bei der Verwendung der Google-Suche bemerkt haben, besteht eine typische Suchergebnisseite aus verschiedenen Abschnitten, von denen jeder eine andere Art von Ergebnissen anzeigt. Sie haben bezahlte Anzeigenergebnisse, organische Ergebnisse, Bilder, Videos usw. Darüber hinaus können Sie mithilfe eines Menübands oben auf der Seite bestimmte Arten von Ergebnissen anzeigen, z. B. Karten, Nachrichten, Shopping oder Bücher, um nur einige zu nennen . Mit verschiedenen optionalen Parametern können Sie angeben, welche Art von Suchergebnissen Sie erhalten möchten, wodurch das Parsen der resultierenden JSON-Datei viel einfacher wird. Lassen Sie uns einen genaueren Blick auf einige der verschiedenen Arten von Ergebnissen werfen, die Sie erhalten können.

Anzeigenergebnisse

Immer wenn gesponserte Anzeigen für Ihre Suchanfrage vorhanden sind – und dies wird am häufigsten der Fall sein – wird die API-Antwort mit einem Anzeigenobjekt geliefert. Es enthält alle Anzeigen in der Reihenfolge, in der sie im Suchergebnis angezeigt werden. Es umfasst sowohl Anzeigen, die oben als auch unten im Suchergebnis angezeigt werden.

Organische Ergebnisse

Organische Suchergebnisse sind die wichtigsten Suchergebnisse von Google und werden Sie wahrscheinlich besonders interessieren. Sie werden durch eine Reihe von Faktoren bestimmt, z. B. Web-Traffic, Backlinks, Präsenz in sozialen Medien und vieles mehr , wobei der genaue Algorithmus von Google geheim gehalten wird, um seinen Wettbewerbsvorteil zu behalten. Diese Ergebnisse werden von der API im Detail geparst und als " organic_results " zurückgegeben.

Bildergebnisse

Genauso wie es zwei Möglichkeiten gibt, Bildergebnisse aus einer Google-Suche zu erhalten, gibt es zwei Möglichkeiten, Bilder von der API zurückzugeben. Bei einer Standard-Websuche werden einige Bilder von Google in den Suchergebnissen bereitgestellt. Diese Bilder – die als Inline-Bilder bezeichnet werden – werden von der Scrapestack-API in einem Array „ inline_images “ zurückgegeben.

"image_results": [ { "position": 1, "title": "McDonald's Gold Card: The True Story ...", "width": 1024, "height": 683, "image_url": "https:// www.rd.com/app/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg", "type": "png" , "url": "https://rd.com", "source": "https://rd.com" }, { "position": 2, "title": "McDonald's - Wikipedia", "width" : 1200, "height": 1051, "image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png" , "type": "png", "url": "https://de.wikipedia.org/wiki/McDonald%27s", "source": "https://en.wikipedia.org" }, { "position": 3, "title": "Best New Global Menu Items ...", "width": 970, "height": 545, "image_url": "https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", "type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com" } ]"type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com" } ]"type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com" } ]

Wenn dagegen gezielt nach Bildern gesucht wird, wobei der Typparameter auf images gesetzt ist, werden Bilder als Array „ image_results “ zurückgegeben. In diesen Situationen gibt die API standardmäßig 100 Bilder zurück.

Videoergebnisse

Die gleichen Überlegungen, die wir gerade für Bilder durchgegangen sind, gelten auch für Videoergebnisse, wenn sowohl Inline-Videos in den globalen Suchergebnissen als auch in dedizierten Videoergebnissen verfügbar sind

Wir könnten seitenweise fortfahren und Ihnen detaillierte Informationen zu den verschiedenen Arten von Ergebnissen geben, die die Serpstack-API zurückgeben kann, aber wir glauben, dass Sie sich ein Bild machen. Es genügt zu sagen, dass alle Arten von Ergebnissen, die von einer typischen Google-Suche zurückgegeben werden, auch in der Antwort der API verfügbar sind. Zusätzlich zu den bereits beschriebenen Ergebnistypen gibt die API Nachrichtenergebnisse, Einkaufsergebnisse und lokale Ergebnisse sowie den Inhalt der Antwortbox, der Wetterbox, der Ereignisse, des Top-Karussells, der Top-Storys usw. der Ergebnisseite zurück.

Unterstützte Programmierumgebungen

Eines der besten Dinge an der Serpstack-API ist, dass Sie sie in den meisten Umgebungen problemlos verwenden können. Egal welche Sprache Sie verwenden, solange Sie HTTP-Anfragen senden können, sollten Sie bereit sein. Alle gängigen Websprachen wie PHP oder Python werden unterstützt. Tatsächlich enthält die Dokumentation der API Beispiele für die Verwendung von PHP, Python, Nodejs, jQuery, Go und Ruby.

Hier ist zum Beispiel der PHP-Code zum Drucken der Gesamtzahl der Suchergebnisse sowie jedes organischen Suchergebnisses, das von der Serpstack-API zurückgegeben wird.

$queryString = http_build_query([ 'access_key' => 'IHR_ACCESS_KEY', 'query' => 'mcdonalds', ]); $ch = curl_init(sprintf('%s?%s', 'https://api.serpstack.com/search', $queryString)); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $json = curl_exec($ch); curl_close($ch); $api_result = json_decode($json, true); echo "Gesamtergebnisse: ", $api_result['search_information']['total_results'], PHP_EOL; foreach ($api_result['organic_results'] as $number => $result) { echo "{$number}. {$result['title']}", PHP_EOL; }

Und hier ist etwas Code, um dasselbe in Python zu erreichen:

import request params = { 'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds' } api_result = request.get('https://api.serpstack.com/search', params) api_response = api_result.json() print "Gesamtergebnisse: ", api_response['search_information']['total_results'] für Zahl, Ergebnis in enumerate(api_response['organic_results'], start=1): print "%s. %s" % (Zahl, Ergebnis ['Titel'])

Preise und Pläne

Die Serpstack-API ist je nach Ihren Anforderungen in mehreren Plänen verfügbar . Der einfachste Plan ist der kostenlose Plan. Wie der Name schon sagt, ist es kostenlos, aber obwohl es nicht wie typische Testversionen zeitlich begrenzt ist, ist es funktions- und nutzungsbeschränkt. Sie können nur bis zu 100 Suchanfragen pro Monat ausführen.

Die nächsten drei Ebenen sind voll funktionsfähig und unterscheiden sich nur durch die maximale Anzahl der monatlichen Suchen, die Sie ausführen dürfen. Der Basic-Plan bietet Ihnen 5000 für 29,99 USD / Monat, der Business-Plan für 99,99 USD / Monat bringt es auf 20.000 und der Business Pro-Plan ermöglicht es Ihnen, satte 50.000 Suchen für 199,99 USD pro Monat durchzuführen. Wenn keiner dieser Pläne zu Ihnen passt, gibt es auch einen Enterprise-Plan mit unterschiedlichen Preisen, der genau an Ihre Bedürfnisse angepasst werden kann. Wenn Sie sich für eine jährliche statt einer monatlichen Abrechnung entscheiden, haben Sie Anspruch auf einen Rabatt von 20 %, wodurch der Service noch erschwinglicher wird.

Einpacken

Kurz gesagt, die Serpstack API ist ein benutzerfreundliches Produkt mit vollem Funktionsumfang, das Sie immer dann einsetzen können, wenn Sie SERP-Daten von Google abrufen müssen. Seine herausragende Verfügbarkeit und beeindruckende Reaktionszeit sind einige seiner besten Vorteile. Unterstützt von apilayer, das uns andere ausgezeichnete APIs gebracht hat, sind wir zuversichtlich, dass diese die Ergebnisse liefern wird, die Sie erwarten. Dies ist ein Produkt, das wir nur empfehlen können.