Recenzja Serpstack: interfejs API JSON Rest dla wyników wyszukiwania Google

Jeśli chcesz pobrać wyniki wyszukiwania — w szczególności te z Google — jednym ze sposobów jest uruchomienie rzeczywistego wyszukiwania w witrynie google.com i próba przeanalizowania skomplikowanego kodu HTML, który otrzymasz w wyniku. Można to zrobić, ale to nie lada przedsięwzięcie. Jeśli chcesz obrać łatwiejszą trasę, dlaczego nie skorzystać z dedykowanego interfejsu API SERP, który możesz zasilić wyszukiwanym terminem i który zwróci wyniki w formacie, który można łatwo przeanalizować. Jednym z takich produktów jest Serpstack API firmy apilayer . Pobiera ciąg i parametry zapytania wyszukiwania jako dane wejściowe i zwraca wyniki wyszukiwania w formacie JSON. Przyjrzyjmy się bliżej produktowi.

Zaczniemy, jak to często robimy, od ogólnego omówienia SERP. Następnie wyjaśnimy, co to jest, i opiszemy kilka różnych typów wyników, które są zwykle dostępne w wyszukiwarkach. Zbadamy również niektóre powody, dla których używa się interfejsu API SERP. A kiedy wszyscy będziemy na tej samej stronie, przyjrzymy się szczegółowo interfejsowi API Serpstack. Zanim przejdziemy do sposobu korzystania z interfejsu API, przyjrzymy się szybko niektórym z jego głównych funkcji. A zanim zakończymy, zbadamy strukturę cenową usługi i dostępne plany.

SERP w pigułce

Po pierwsze, SERP to akronim oznaczający strony wyników wyszukiwania. Są to strony internetowe, które są wyświetlane użytkownikom, gdy szukają czegoś online za pomocą wyszukiwarki, takiej jak Google lub Bing. Użytkownik określa swoje zapytanie za pomocą określonych terminów i fraz, które są powszechnie nazywane słowami kluczowymi, a następnie wyszukiwarka przedstawia mu SERP.

Każdy SERP jest wyjątkowy. Dotyczy to nawet wielu zapytań wyszukiwania wykonywanych w tej samej wyszukiwarce przy użyciu tych samych słów kluczowych lub tekstu zapytania. Głównym tego powodem jest to, że praktycznie każda wyszukiwarka dostosowuje wrażenia dla swoich użytkowników, prezentując wyniki w oparciu o szeroki zakres czynników, które znacznie wykraczają poza ich wyszukiwane hasła. Czynniki te mogą obejmować fizyczną lokalizację użytkownika, jego historię przeglądania i ustawienia społecznościowe itp. I chociaż dwa SERP mogą wyglądać identycznie i mogą zawierać wiele takich samych wyników, często będą one zawierać subtelne różnice.

Dostawcy wyszukiwarek, tacy jak Google, Bing lub inni gracze, stale rozwijają swoje usługi i technologie oraz eksperymentują z ich wynikami. Ich celem jest zaoferowanie użytkownikom bardziej responsywnego i intuicyjnego doświadczenia. Wraz z wprowadzaniem nowych technologii do przestrzeni wyszukiwania — i to w niesamowitym tempie — zmienia się wygląd SERP i dziś są one zupełnie inne od tego, czym były kiedyś.

Wyniki organiczne

SERP zazwyczaj zawierają dwa rodzaje treści: wyniki organiczne i wyniki płatne. Wyniki organiczne to wykazy stron internetowych, które pojawiają się w wyniku działania algorytmu wyszukiwarki. Więcej o tym za chwilę. Search Engine Optimization, czyli SEO, to nauka – lub raczej sztuka – manipulowania treścią w celu nakłonienia wyszukiwarek do umieszczenia na naszej stronie internetowej określonego słowa kluczowego lub ciągu wyszukiwania.

Informacje o algorytmach wyszukiwania i sygnałach rankingowych

Wróćmy więc do wyników organicznych. Krótko mówiąc, są to aukcje, które zostały zindeksowane przez wyszukiwarkę na podstawie szeregu czynników, które łącznie określa się mianem „sygnałów rankingowych”. Na przykład algorytm wyszukiwania używany przez Google zawiera setki czynników rankingowych. Dostawcy wyszukiwarek mają tendencję do utrzymywania w tajemnicy szczegółów swojego systemu rankingowego. Tak więc, chociaż nikt poza Google – i prawdopodobnie nie tak wiele osób w środku – nie wie dokładnie, jakie są sygnały rankingowe, niektóre są uważane za ważniejsze niż inne.

Dlaczego warto korzystać z interfejsu API SERP?

Istnieje kilka powodów, dla których każdy może skorzystać z interfejsu API SERP. Istnieje oczywista potrzeba okresowego pobierania danych SERP dla produktów i witryn internetowych oraz śledzenia ich w czasie, ponieważ jest to niezbędna część każdej strategii SEO. Ponieważ rankingi stale się zmieniają, a słowa kluczowe wyszukiwania stają się z biegiem czasu coraz mniej lub bardziej przydatne i wartościowe, jest tylko jeden sposób na utrzymanie się na szczycie tych zmian i jest to użycie gotowego oprogramowania jako usługi (SaaS ) rozwiązanie, które implementuje dane SERP bezpośrednio do własnych aplikacji lub stron internetowych za pomocą interfejsu API SERP, takiego jak Serpstack.

W skrócie, główną różnicą między używaniem przeglądarki do pobierania danych SERP a używaniem interfejsu API SERP, takiego jak Serpstack, jest format odpowiedzi. Interfejs API Serpstack zwróci dane JSON, które można łatwo przeanalizować przez wewnętrzne oprogramowanie. Korzystanie z niego uwalnia Cię od konieczności wydobywania istotnych danych ze wszystkich otaczających formatów internetowych.

Przedstawiamy Serpstack

Jednym zdaniem, Serpstack to działający w czasie rzeczywistym i dokładny interfejs API wyników wyszukiwania Google. Ten interfejs API JSON REST, któremu zaufały jedne z największych marek na świecie, jest błyskawiczny i łatwy w użyciu. Produkt jest tworzony i utrzymywany przez apilayer, firmę programistyczną z siedzibą w Londynie (Wielka Brytania) i Wiedniu (Austria). Pierwotnie stworzony z wewnętrznej potrzeby śledzenia pozycji w wyszukiwarkach w sposób zautomatyzowany, produkt stał się jednym z najbardziej zaufanych interfejsów API SERP dostępnych na rynku. Jeśli chodzi o apilayer, jest to firma odpowiedzialna za niektóre z najpopularniejszych produktów API i SaaS na świecie, w tym Currencylayer, Invoicely i Eversign.

API Serpstack pobiera dane SERP z wyszukiwarek w sposób zautomatyzowany, korzystając z sieci proxy i zastrzeżonej technologii scrapingu za każdym razem, gdy wysyłane są żądania API. Uzyskane dane SERP są publicznie dostępne i każdy może uzyskać do nich dostęp. Co więcej, interfejs API Serpstack obsługuje prawie wszystkie typy wyników wyszukiwania zwracane przez Google, w tym wyniki internetowe, wyniki obrazów, wyniki wideo, wyniki wiadomości, wyniki zakupów, reklamy sponsorowane, pytania i wiele innych.

Zbudowany na bazie infrastruktury chmury apilayer, systemu, na którym działają niektóre z najpopularniejszych na świecie usług API czasu rzeczywistego, interfejs API Serpstack jest wysoce skalowalny i elastyczny na każdym etapie. Został zbudowany, aby oferować sposób na zbieranie danych Google SERP w czasie rzeczywistym i na dowolną skalę. Wdrożenie usługi zajmuje zaledwie kilka minut przy użyciu prostej struktury adresu URL HTTP GET, a wyniki są zwracane w formacie JSON lub CSV.

Główne cechy Serpstack

Pod względem funkcji interfejs API Serpstack nie pozostawia nic do życzenia. Przede wszystkim usługa jest wysoce skalowalna i zawsze bez kolejek. Potężna infrastruktura chmurowa Apilayer została po prostu zbudowana, aby wytrzymać duże żądania API bez potrzeby tworzenia kolejki. Był on podstawą kilku produktów firmy. Jest również wysoce konfigurowalny. Ponieważ nie ma dwóch klientów, którzy mają identyczne potrzeby, możesz dostosować swoje zapytania wyszukiwania automatycznego na podstawie szeregu opcji, w tym lokalizacji, języka, urządzenia i innych.

Korzystając z tego produktu, zniknęło zmartwienie o globalne adresy IP, klastry przeglądarek lub CAPTCHA. Dzięki potężnej podstawowej sieci proxy, ten interfejs API do zgarniania SERP zapewnia ochronę w praktycznie każdej sytuacji. I jest to również łatwe dla budżetu. Otrzymujesz do 100 próśb miesięcznie za darmo, a jeśli potrzebujesz więcej – i najprawdopodobniej to zrobisz – płatne plany zaczynają się od zaledwie 29,99 USD miesięcznie. Niedługo bardziej szczegółowo omówimy wycenę produktu.

Oto przegląd niektórych najważniejszych funkcji produktu:

Prosta integracja

Korzystanie z API Scrapestack nie może być prostsze od samego początku. Utworzenie niestandardowych zapytań i rozpoczęcie skrobania stron SERP w dowolnej skali zajmuje tylko kilka minut przy użyciu niestandardowych lokalizacji, urządzeń, języków i innych.

Wysoki poziom bezpieczeństwa

Wszystkie strumienie danych wysyłane i odbierane z interfejsu API Serpstack są szyfrowane przy użyciu 256-bitowego szyfrowania SSL. Jest to ten sam rodzaj zabezpieczeń, z którego korzystają strony bankowe lub większość platform handlu elektronicznego. Możesz mieć pewność, że Twoje dane pozostaną chronione.

Niezrównana szybkość i dostępność

Dzięki niemal idealnemu wynikowi dostępności możesz mieć pewność, że interfejs API Scrapestack będzie dostępny, gdy będziesz go potrzebować. Apilayer nigdy nie idzie na kompromisy w zakresie szybkości. Żądania API wysyłane do API są przetwarzane w ciągu milisekund. Oczywiście szybkość uzyskiwania wyników zależy również od czasów reakcji Google.

Wybór formatów wyjściowych

Aby jeszcze bardziej ułatwić pozyskiwanie danych SERP, łatwy w użyciu interfejs API REST Serpstack oferuje wybór odpowiedzi JSON lub CSV. Dzięki temu jest kompatybilny z dowolnym językiem programowania.

Wsparcie światowej klasy

Często mówi się, że produkt jest tak dobry, jak jego konstrukcja nośna. Ponownie, jest to miejsce, w którym świeci Scrapestack. Jeśli masz jakiekolwiek pytania techniczne, przeszkolony zespół specjalistów jest do Twojej dyspozycji. Odpowiedź jest szybka, a usługa działa całkiem dobrze.

Obszerna dokumentacja

Równie ważna jak wsparcie, Dokumentacja będzie często Twoim głównym sposobem nauczenia się korzystania z produktu. Serpstack oferuje obszerną dokumentację API, która czeka na zbadanie. Korzystanie z niego pozwoli Ci zacząć w ciągu zaledwie kilku minut i sprawi, że staniesz się ekspertem w ciągu kilku dni, a nie tygodni czy miesięcy.

Korzystanie z Serpstack

Dość chwalenia się wspaniałymi funkcjami produktu — a naprawdę są, przyjrzyjmy się, w jaki sposób możesz faktycznie korzystać z produktu i różnych typów próśb, które możesz złożyć, oraz odpowiadających im odpowiedzi, których możesz się spodziewać.

Podstawy

Aby korzystać z interfejsu API Serpstack, musisz najpierw założyć konto. Jest to bezpłatne, w wyniku czego otrzymasz unikalny klucz dostępu do interfejsu API. To jest to, czego będziesz od teraz używać do uwierzytelniania za pomocą interfejsu API za pomocą prostych żądań HTTP GET w celu uzyskania dostępu do dowolnego z dostępnych punktów końcowych. Tak więc, aby korzystać z API, wystarczy dołączyć klucz API do podstawowego adresu URL za pomocą parametru „ access_key ”. Oto jak wygląda typowe — choć bardzo podstawowe i całkowicie bezużyteczne — żądanie:

https://api.serpstack.com/search ? klucz_dostępu = TWÓJ_KLUCZ_DOSTĘPU

W celu zwiększenia bezpieczeństwa wszystkie płatne plany umożliwiają korzystanie z 256-bitowego szyfrowania SSL. Aby z niego skorzystać, wystarczy wysyłać żądania HTTPS zamiast żądań HTTP. Na przykład powyższy przykład z szyfrowaniem stałby się:

https://api.serpstack.com/search ? klucz_dostępu = TWÓJ_KLUCZ_DOSTĘPU

Za każdym razem, gdy żądanie API nie powiedzie się, interfejs API Serpstack zwróci obiekt JSON zawierający szczegółowe informacje o błędzie. Na przykład oto, co zostanie zwrócone przez interfejs API, jeśli osiągnięto lub przekroczono maksymalny dozwolony limit żądań interfejsu API. Każdy plan abonamentowy ma inny limit liczby wniosków, które można złożyć.

{ "success": false, "error": { "code": 104, "type": "usage_limit_reached", "info": "Twój miesięczny wolumen żądań API został osiągnięty. Zaktualizuj swój plan." } }

Żądanie API i parametry

O ile nie określono inaczej, interfejs API Serpstack zawsze będzie domyślnie dostarczać wyniki wyszukiwania z Google. W związku z tym, jeśli chcesz wysłać zapytanie do interfejsu API dla wyników wyszukiwania Google, wystarczy dodać parametr „ query ” do podstawowego adresu URL interfejsu API i ustawić go na wybrane przez siebie zapytanie wyszukiwania. Oto jak wygląda zapytanie wykorzystujące „mcdonalds” jako wyszukiwane hasło z uwierzytelnianiem i szyfrowaniem:

https://api.serpstack.com/search ? access_key = TWÓJ_KLUCZ_DOSTĘPU i zapytanie = mcdonalds

Jak widać, jest to dość prosta składnia. Istnieje, jak z pewnością można sobie wyobrazić, mnóstwo opcjonalnych parametrów, które można dołączyć do żądania w celu dalszego zawężenia wyników wyszukiwania. Kilka z nich omówimy za chwilę, ale szczegółowa lista wszystkich jest dostępna w dokumentacji API online.

Odpowiedzi API

Odpowiedzi, które otrzymasz z interfejsu API Serpstack, będą silnie zależeć od zapytania wyszukiwania i parametrów, które wybierzesz. Podstawowe zapytanie bez określonego filtrowania zwróci mnóstwo danych. Oto początkowa część odpowiedzi, którą otrzymasz z przykładowego zapytania powyżej.

{ "request": { "success": true, "processed_timestamp": 1566207832, "search_url": "https://www.google.com/search?q=mcdonalds", "total_time_taken": 1.5 }, "search_parameters" : { "engine": "google", "query": "mcdonalds", "type": "web", "device": "desktop", "google_domain": "google.com", "hl": "en ", "gl": "us", "page": "1", "num": "10" }, "search_information": { "total_results": 759000000, "time_taken_displayed": 0.91, "did_you_mean": null, "showing_results_for": null, "query_displayed": "mcdonalds", "detected_location": null,"no_results_for_original_query": fałsz },

Celem powyższej próbki jest po prostu dać wyobrażenie o tym, jak mogą wyglądać wyniki. Zamieściłem tylko 25 pierwszych linijek odpowiedzi, które w całości mają ponad czterysta linijek.

Jak mogłeś zauważyć podczas korzystania z wyszukiwarki Google, typowa strona wyników wyszukiwania ma różne sekcje, z których każda wyświetla inny typ wyników. Będziesz mieć płatne wyniki reklam, wyniki organiczne, obrazy, filmy itp. Ponadto wstążka u góry strony pozwoli Ci wyświetlać określone typy wyników, takie jak mapy, wiadomości, zakupy lub książki, żeby wymienić tylko kilka . Różne parametry opcjonalne pozwolą Ci określić, jakiego typu wyniki wyszukiwania chcesz uzyskać, co znacznie uprości analizę wynikowego pliku JSON. Przyjrzyjmy się dokładniej niektórym rodzajom wyników, które możesz uzyskać.

Wyniki reklam

Za każdym razem, gdy w wyszukiwanym zapytaniu pojawiają się reklamy sponsorowane — a najczęściej tak będzie, odpowiedź interfejsu API będzie zawierać obiekt reklamy. Zawiera wszystkie reklamy w kolejności, w jakiej są wyświetlane w wynikach wyszukiwania. Obejmuje zarówno reklamy, które są wyświetlane na górze, jak i na dole wyniku wyszukiwania.

Wyniki organiczne

Organiczne wyniki wyszukiwania to główne wyniki wyszukiwania udostępniane przez Google i prawdopodobnie te, które Cię szczególnie zainteresują. Są one określane przez szereg czynników, takich jak ruch w sieci, linki wsteczne, obecność w mediach społecznościowych i wiele innych. , z dokładnym algorytmem utrzymywanym w tajemnicy przez Google w celu utrzymania przewagi konkurencyjnej. Te wyniki są szczegółowo analizowane przez interfejs API i zwracane jako „ organiczne_wyniki ”.

Wyniki obrazów

Tak jak istnieją dwa sposoby uzyskiwania wyników graficznych z wyszukiwarki Google, istnieją dwa sposoby na zwrócenie obrazów przez interfejs API. Podczas standardowego wyszukiwania w Internecie niektóre obrazy są dostarczane przez Google w wynikach wyszukiwania. Te obrazy — które są określane jako obrazy wbudowane — są zwracane przez interfejs API Scrapestack w tablicy „ inline_images ”.

"image_results": [ { "position": 1, "title": "Złota karta McDonald's: The True Story ...", "width": 1024, "height": 683, "image_url": "https:// www.rd.com/app/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg", "type": "png" , "url": "https://rd.com", "source": "https://rd.com" }, { "position": 2, "title": "McDonald's - Wikipedia", "width" : 1200, "wysokość": 1051, "image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png" , "type": "png", "url": "https://en.wikipedia.org/wiki/McDonald%27s", "source": "https://en.wikipedia.org" }, { "position": 3, "title": "Najlepsze nowe pozycje menu globalnego ...", "width": 970, "height": 545, "image_url": "https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", "type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com" } ]"type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com" } ]"type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com" } ]

Z drugiej strony, jeśli obrazy są przeszukiwane konkretnie, a parametr type jest ustawiony na obrazy, obrazy są zwracane jako tablica „ image_results ”. W takich sytuacjach interfejs API domyślnie zwraca 100 obrazów.

Wyniki wideo

Dokładnie te same kwestie, które właśnie omówiliśmy w przypadku obrazów, dotyczą również wyników wideo, ponieważ dostępne są oba wbudowane filmy w globalnych wynikach wyszukiwania lub w dedykowanych wynikach wideo

Moglibyśmy przejść do stron i podać szczegółowe informacje na temat różnych typów wyników, które może zwrócić interfejs API Serpstack, ale uważamy, że masz obraz. Wystarczy powiedzieć, że każdy rodzaj wyników zwracanych przez typową wyszukiwarkę Google jest również dostępny w odpowiedzi API. Oprócz typów wyników już opisanych, interfejs API zwróci wyniki, wiadomości, wyniki zakupów i wyniki lokalne, a także zawartość pola odpowiedzi na stronie wyników, pola pogody, wydarzeń, najlepszych karuzeli, najważniejszych artykułów itp.

Obsługiwane środowiska programistyczne

Jedną z najlepszych rzeczy w interfejsie API Serpstack jest to, że można go łatwo używać w większości środowisk. Niezależnie od używanego języka, o ile możesz wysyłać żądania HTTP, powinieneś być gotowy. Obsługiwane są wszystkie popularne języki internetowe, takie jak PHP lub Python. W rzeczywistości dokumentacja API zawiera przykłady użycia go z PHP, Pythona, Nodejs, jQuery, Go i Ruby.

Oto na przykład kod PHP do drukowania całkowitej liczby wyników wyszukiwania, a także każdego organicznego wyniku wyszukiwania zwróconego przez interfejs API Serpstack.

$queryString = http_build_query([ 'access_key' => 'TWÓJ_KLUCZ_DOSTĘPU', 'query' => 'mcdonalds', ]); $ch = curl_init(sprintf('%s?%s', 'https://api.serpstack.com/search', $queryString)); curl_setopt($ch, CURLOPT_RETURNTRANSFER, prawda); $json = curl_exec($ch); curl_close($ch); $api_result = json_decode($json, prawda); echo "Wyniki łącznie: ", $api_result['search_information']['total_results'], PHP_EOL; foreach ($api_result['organic_results'] as $number => $result) { echo "{$number}. {$result['title']}", PHP_EOL; }

A oto kod do wykonania tego samego w Pythonie:

import request params = { 'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds' } api_result = requests.get('https://api.serpstack.com/search', params) api_response = api_result.json() print "Całkowite wyniki: ", api_response['search_information']['total_results'] dla liczby, wynik w enumerate(api_response['organic_results'], start=1): print "%s. %s" % (liczba, wynik ['tytuł'])

Ceny i plany

Interfejs API Serpstack jest dostępny w ramach kilku planów w zależności od Twoich potrzeb. Najbardziej podstawowym planem jest plan Free. Jak sama nazwa wskazuje, jest darmowy, ale chociaż nie jest ograniczony czasowo, jak typowe wersje próbne, jest ograniczony w zakresie funkcji i użytkowania. Będziesz mógł przeprowadzić maksymalnie 100 wyszukiwań miesięcznie.

Kolejne trzy poziomy są w pełni funkcjonalne i różnią się tylko maksymalną liczbą miesięcznych wyszukiwań, które możesz przeprowadzić. Plan podstawowy zapewnia 5000 za 29,99 USD miesięcznie, plan biznesowy za 99,99 USD miesięcznie zapewnia do 20 000, a plan Business Pro umożliwia przeprowadzanie aż 50 000 wyszukiwań za 199,99 USD miesięcznie. Jeśli żaden z tych planów Ci nie odpowiada, istnieje również plan Enterprise ze zmienną ceną, który można dostosować do własnych potrzeb. Jeśli wybierzesz rozliczenie roczne zamiast miesięcznego, masz prawo do 20% zniżki, dzięki czemu usługa będzie jeszcze bardziej przystępna.

Zawijanie

Krótko mówiąc, interfejs API Serpstack jest łatwym w użyciu, w pełni funkcjonalnym produktem, który można dobrze wykorzystać za każdym razem, gdy trzeba pobrać dane SERP z Google. Jego znakomity czas pracy i imponujący czas reakcji to tylko niektóre z jego najlepszych zalet. Wspierany przez apilayer, który przyniósł nam inne doskonałe interfejsy API, jesteśmy pewni, że ten przyniesie oczekiwane rezultaty. To produkt, który możemy tylko polecić.