Elastyczne, wysoce skalowalne SERP w czasie rzeczywistym Scraping z Zenserp (PRZEGLĄD)

Google ma długą historię sprawiania trudności programistom SEO, którzy próbują zeskrobać publicznie dostępne dane ze swoich stron wyników wyszukiwania. Rzeczywiście, skrobanie SERP jest oficjalnie sprzeczne z warunkami korzystania z usługi Big G. Praktyka ta nie narusza jednak ustawy o oszustwach komputerowych i nadużyciach (CAFAA), a tym samym bezpośrednie działania prawne Google mające na celu ukrócenie tej praktyki zostały umorzone.

Tak więc, chociaż w praktyce skrobanie nie jest nielegalne ani nie szkodzi niczyim odczuciom, programiści nadal muszą zmagać się z przeszkodami zaprojektowanymi przez Google, aby utrudnić gromadzenie danych. Typowe bóle głowy to Captchas i blokowanie adresów IP; chociaż w przeszłości wysyłano listy o zaprzestaniu działań, ta taktyka jest coraz rzadsza.

Ale co, jeśli w ogóle nie musiałbyś radzić sobie z tymi niedogodnościami, aby uzyskać cenne dane? Wejdź na Zenserp , podstawową ofertę firmy SaaS Industries z siedzibą w Austrii.

Zenserp w pigułce

Interfejs API Zenserp to wymarzone narzędzie dla programistów SEO, którzy szukają rozwiązania „pod klucz” do usuwania typowych przeszkód związanych ze skrobaniem. Jest śmiertelnie prosty w użyciu i integracji dzięki zorientowanemu na użytkownika cyklowi rozwoju SaaS Industries i szerokiej kompatybilności językowej (Browser, Curl, Python, Node.js, PHP). Co więcej, ich żarłoczny apetyt na opinie konsumentów i prośby o nowe funkcje doprowadził do ogromnej aktualizacji interfejsu API w kwietniu 2019 r., która obejmuje kompleksową gamę typów danych, w tym obrazy Google, filmy, mapy, wiadomości, zakupy i trendy.

W połączeniu z konkurencyjnymi cenami i światowej klasy obsługą klienta, naprawdę masz kompleksowe rozwiązanie dla Twoich problemów związanych z usuwaniem SERP w Zenserp.

Pierwsze kroki z Zenserp

Więc jak to jest faktycznie używać Zenserp? Poniżej opisujemy proces rozpoczęcia pracy z Zenserp. Następnie zagłębimy się w ich dokumentację API, aby bliżej przyjrzeć się solidnej funkcjonalności Zenserpa.

Przegląd pulpitu nawigacyjnego

Zakładając, że tylko rzucisz okiem na to, o co chodzi Zenserp, klikniesz jasnozielony przycisk „Zarejestruj się, aby uzyskać bezpłatny plan” na ich stronie głównej. Po utworzeniu i zweryfikowaniu konta kliknij „Zaloguj się”, aby uzyskać dostęp do pulpitu nawigacyjnego.

Strona, na którą wchodzisz, zawiera przegląd najważniejszych informacji o użytkowaniu, w tym klucz API, miesięczny limit żądań, wykorzystanie interfejsu API w czasie oraz dokumentację wszelkich nieudanych żądań, które mogły mieć miejsce. Dostępna jest również przydatna sekcja Konstruktora żądań, która kieruje nowych użytkowników Zenserp do bogactwa przydatnych zasobów; większość z nich to rzeczy, które omówimy w sekcji Dokumentacja tej recenzji, więc trzymaj się tego mocno.

Na razie rzućmy okiem na wszystkie opcje paska bocznego:

• Deska rozdzielcza – już tu jesteś! Jest to po prostu szybki link do powrotu do strony przeglądu w dowolnym momencie.
• Plac zabaw — odpowiednio nazwana, ta strona oferuje w pełni wizualny (tj. nie wymaga kodowania) i interaktywny interfejs, dzięki któremu możesz bawić się różnymi punktami końcowymi Zenserp. Tutaj możesz wygenerować przykładowe odpowiedzi i użyć ich do skonfigurowania żądania API. Nie polegaj na tym w 100%, ponieważ istnieją przypadki narożne wykraczające poza możliwości tego narzędzia. Niemniej jednak podoba nam się to, jak możesz wyeksportować swoje eksperymenty do kodu (Browser, Curl, Python, Node.js, PHP), gdy znajdziesz coś, co naprawdę działa.
• Dokumentacja — szczegółowe informacje na temat interfejsu API Zenserp. Omówimy to szczegółowo poniżej.
• Profil/Bezpieczeństwo — Podstawowa konfiguracja konta, w tym awatar, informacje kontaktowe i zarządzanie hasłami. Nic fajnego.
• Płatności — składa się z trzech opcji, w których można podwyższyć/obniżyć/anulować poziom subskrypcji, zarządzać metodą płatności i identyfikatorem VAT, a także skorzystać z bezpłatnego pola, w którym można poprosić o umieszczenie tekstu na fakturach Zenserp w celu ułatwienia księgowania.

Wszystko to jest dość standardową taryfą dla dowolnego interfejsu API, ale doceniamy prostotę tego wszystkiego. To, co widzisz, jest tym, co dostajesz, a Zenserp nie próbuje ukrywać ustawień subskrypcji w niejasnych zakamarkach Twojego profilu.

Dokumentacja API Zenserp

Po usunięciu podstaw, teraz możemy przejść do dobrych rzeczy: dokumentacji Zenserpa. Tutaj zobaczysz dokładnie, do czego jest zdolne API i jak z niego korzystać. Chociaż pełna implementacja interfejsu API w Twojej aplikacji wykracza poza zakres tego przeglądu, pokrótce omówimy każdy punkt końcowy, niektóre kluczowe parametry i podamy przykładowe odpowiedzi.

Podstawowa funkcjonalność

Strona dokumentacji zaczyna się od sekcji „Pierwsze kroki”, która zawiera szczegółowe informacje o najbardziej podstawowych funkcjach interfejsu API, które mogą współdziałać ze wszystkimi innymi punktami końcowymi. Spójrzmy:

• Uwierzytelnianie — pokazuje, jak używać klucza API do uwierzytelniania. W nagłówku znajduje się przykład użycia, a następnie przykłady żądań GET i POST. Bułka z masłem.
• /status — umożliwia zażądanie liczby pozostałych żądań zgodnie z limitami subskrypcji. W końcu po co zawracać sobie głowę logowaniem się do pulpitu nawigacyjnego Zenserp, skoro wystarczy, że aplikacja poinformuje Cię o tym bezpośrednio?
• /batch — dołączenie tego punktu końcowego umożliwia wykonanie do 1000 wyszukiwań w jednej partii. W razie potrzeby możesz zażądać wszystkich partii naraz, określonych według identyfikatora partii, lub przesłać nową partię lub scalić istniejące.
• Kody błędów – Zenserp ma również możliwość zwracania błędów w momencie ich wystąpienia, w tym 403 Forbidden, gdy osiągniesz swój miesięczny limit lub użyjesz nieprawidłowego klucza API, 404, gdy nie znaleziono żadnych wyników, lub 500, gdy wystąpi błąd serwera. Nie zapominaj, że nieudane żądania pojawiają się również na Twoim pulpicie nawigacyjnym.

Punkt końcowy /wyszukiwania

Podstawowa funkcjonalność Zenserp jest tutaj. Dołączając /search do swojego żądania API, otrzymasz obszerny zestaw danych dotyczących w zasadzie wszystkiego, dla czego możesz zebrać SERPS. Twoje zapytanie zwróci szeroką gamę wyników, w tym:

• Organiczne wyniki wyszukiwania – Zapytania o organiczne SERP zwracają wszelkiego rodzaju dane, w tym ranking elementu, jego tytuł, wyświetlany i docelowy adres URL, kilka rodzajów recenzji, czy link jest linkiem Google AMP, ciągi znaków reprezentujące opis strony oraz plus lokalny 3-pak zawierający informacje biznesowe.
• Płatne wyniki – Otrzymasz również pełny przegląd płatnych wyników. Zwracane informacje obejmują płatną pozycję (górną, prawą lub dolną), tytuł, link monitorujący AdWords, bułkę tartą, widoczny adres URL wyświetlany w Google, opis strony oraz wszelkie płatne lokowanie produktu (w tym pozycję, tytuł, powiązane obrazy, adres URL i oczywiście cena).
• Pole odpowiedzi/polecany fragment/najważniejszy artykuł – Czyste złoto dla każdego SEO. Łatwo zobacz, co działa najlepiej, aby zdobyć te pożądane miejsca w SERP, a następnie zbuduj strategię replikacji tych wyników.
• Powiązane wyszukiwania / czy chodziło Ci o — Zenserp usprawnia badanie słów kluczowych, zwracając cenne dane dotyczące wszystkich powiązanych wyszukiwań z Twoim zapytaniem. Możesz także przewidzieć, jak Google zareaguje na typowe błędy popełniane przez użytkowników podczas wyszukiwania Twojego zapytania.

Oto skrócona wersja przykładu, który pojawia się w dokumentacji Zenserp , z zapytaniem „Pied Piper”. Możesz zobaczyć różne typy wyników, które pojawiają się w kolejności: wpis w Wikipedii (1), pytania związane z zapytaniem (2), strona internetowa z dokładnie dopasowaną nazwą domeny (3), popularny artykuł o pochodzeniu Pied Piper (4) oraz kilka powiązanych filmów na ten temat (5). Zobaczysz także kilka pokrewnych wyszukiwanych fraz oraz łączną liczbę zwróconych wyników.

net/mity-legends/niepokojąca-prawdziwa-historia-pied-piper-hamelin-001969", "destination":"https://www.ancient-origins.net › mity-legendy › niepokojąca-prawdziwa-historia. ..", "description":"14.08.2014 - Wielu zna historię srokatego dudziarza z Hameln. Niewielu jednak zdaje sobie sprawę, że historia oparta jest na prawdziwych wydarzeniach, które ewoluowały na przestrzeni...", "isAmp":false }, { "position":5, "videos":[ { "title":"Pied Piper", "url":"https://www.youtube.com/watch?v=VEZ_Ui6d9AM", "parsed":{ "source":"YouTube", "date":"2 maja 2018", "kanał": "BTS - Topic" } }, { "title":"Prawdziwa historia frajera z Hameln | Bajki ...", "url":"https:

Doprecyzowanie zapytania według typu wyszukiwania

Poza domyślnym żądaniem SERP, możesz dodatkowo zawęzić zapytanie w wyszukiwarce Google według typu wyszukiwania (obraz, wideo, mapy, zakupy, wiadomości, zakupy itp.). Po prostu ustaw parametr tbm („do dopasowania”) na dowolną z następujących opcji:

• isch – Zwraca wyniki wyszukiwania grafiki Google. To żądanie zwraca litanię danych, w tym pozycję, miniatury, źródłowe adresy URL, tytuły i inne. (Dla Odwrotne wyszukiwanie grafiki, można uruchomić IMAGE_URL parametr zamiast TBM = isch )
• vid – Zwraca wyniki wyszukiwania Google Video. Otrzymasz informacje, takie jak domena źródłowa, adres URL filmu, tytuł, opis oraz wszelkie rozszerzenia i miniatury.
• lcl – Kolejna kopalnia danych SEO, parametr lcl zwraca wyniki wyszukiwania w Mapach Google. Zobaczysz nazwę firmy/lokalizacji, adresy URL witryn, niezależnie od tego, czy wynik jest płatny, wszelkie gwiazdki lub recenzje, a także ważne informacje, takie jak adres, numery telefonów, godziny pracy, ważne ceny, a nawet rodzaj firmy. Możesz również poprosić o wskazówki dojazdu do tych firm.
• nws – Chcesz być na bieżąco z bieżącymi wydarzeniami i rozwojem w swojej branży? Dodaj parametr nws do zapytania, aby zwracać wyniki wyszukiwania Google News w czasie rzeczywistym. Zobacz nazwy artykułów, ich linki, daty publikacji (i przeanalizowane przez Twój interfejs API), wydawcę, krótki opis artykułu oraz wszystkie dostępne miniatury.
• sklep – Uzyskaj dostęp do wyników wyszukiwania w Zakupach Google za pomocą  parametru sklep . Rzućmy okiem na kilka przykładowych wyników (mocno obciętych ze względu na czytelność) dla podgrzewaczy wody w Atlancie, GA:

no_results_auto_correct": "Sponsorowane", "related_searches": [], "shopping_results": [ { "title": "Reliance Water Heater 219809 50 gal Hybrydowa elektryczna pompa ciepła", "link": "/aclk?sa=l&ai=DChcSEwjR -LWBnPDoAhUI1WQKHSvMBFUYABAFGgJwag&sig=AOD64_2X7NgvfDv9ugCCLYqCFpiZP8Xq3g&ctype=5&q=&ved=0ahUKEwisl7GBnPDoAhWEr54KHf6zCRM.="wM.bA , aby wyświetlić dokładny opis produktu": Producenci, dostawcy i inni dostarczają to, co tu widzisz...", "cena": "59,99 USD", "źródło": "resenta", "recenzje": 0, "thumbnail": "data:image/jpeg;base64, /9j/4AAQSk...", "rozszerzenia": [ "Zbiornik", "Elektryczny", "

Uwaga: bez względu na rodzaj żądania SERP, nadal masz pełny dostęp do standardowego zestawu parametrów w punkcie końcowym /search.

/Punkt końcowy zakupów

Oprócz podstawowego punktu końcowego /search , interfejs API Zenserp zawiera również /shopping , który umożliwia analizowanie stron produktów w Zakupach Google. Do zapytania /shopping dołączysz parametr product_id z opcją określenia żądanej lokalizacji geograficznej ( lokalizacja ), kodu kraju ( gl ) i/lub języka interfejsu internetowego ( hl ). Można również zmienić jakim regionie wariant wyszukiwarce Google chcesz korzystać z wyszukiwarki-_engine .

Punkt końcowy /trends

Żądania Google Trends są wysyłane przez dodanie /trends do żądania (chociaż dokumentacja Zenserp błędnie stwierdza, że ​​należy użyć /shopping ). Twoje wyniki w Trendach są zasilane przez parametr słowo kluczowe[] , w którym jako argument w ciągu [] przekazujesz swoje wyrażenie kluczowe. Dokumentacja Zenserpa zawiera przydatne przypomnienie o tym, jakich operatorów używa Trends (+ dla „lub”, – dla „wyklucz”, spacja dla „i” i cudzysłów „ „ dla dokładnego dopasowania), które będą pomocne w zapytaniu.

Możesz dodatkowo określić strefę czasową ( tz ), identyfikator kategorii ( cat ), ramy czasowe dla Twoich wyników (godzinowe, dzienne, miesięczne, roczne w różnych podziałach), typ wyszukiwanej usługi Google (jak, obrazy, Loty, YouTube, Finanse itp.), lokalizację geograficzną lub kod lokalizacji Google ( gl ), a nawet rozdzielczość w tym regionie (zasadniczo określającą, czy wyszukiwanie obejmuje cały kraj, miasto, region itp.)

Załóżmy więc, że chciałeś zobaczyć, jak Kanye West rozwijał się w ciągu ostatniego miesiąca. Złożysz prośbę w ten sposób:

https://app.zenserp.com/api/v1/trends?apikey=TWÓJ-KLUCZ-API&keyword%5B%5D=kanye%20west&timeframe=today%201-m

Następnie interfejs API zwraca miesięczne informacje o Trendach Google, a następnie powiązane zapytania, które obejmują, jak można się spodziewać, Taylor Swift i Kim Kardashian. (Poniżej przyjrzymy się zainteresowaniu Yeezy w zeszłym tygodniu, aby zaoszczędzić miejsce na tej stronie.)

{ "Kanye West": { "trends": { "2020-04-08T00:00:00.000Z": { "Kanye West": 26, "isPartial": false }, "2020-04-09T00:00:00.000 Z": { "Kanye West": 29, "isPartial": false }, "2020-04-10T00:00:00.000Z": { "Kanye West": 31, "isPartial": false }, "2020-04 -11T00:00:00.000Z": { "Kanye West": 35, "isPartial": false }, "2020-04-12T00:00:00.000Z": { "Kanye West": 38, "isPartial": false }, "2020-04-13T00:00:00.000Z": { "Kanye West": 31, "isPartial": false }, "2020-04-14T00:00:00.000Z": { "Kanye West": 24 , "isPartial": false }, "2020-04-15T00:00:00.000Z": { "Kanye West": 32, "isPartial": false } }, "zapytania: { "Kanye West": { "top": [ { "query": "taylor swift kanye west", "value": 100 }, { "query": "taylor swift", "value": 94 } , { "query": "kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "słynny kanye west", "value ": 36 }, { "query": "famous", "value": 35 }, { "query": "kanye west wartość netto", "value": 31 } ...kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "słynny kanye west", "value": 36 }, { " query": "famous", "value": 35 }, { "query": "kanye west wartość netto", "value": 31 } ...kanye west kim kardashian", "value": 65 }, { "query": "kim kardashian", "value": 61 }, { "query": "słynny kanye west", "value": 36 }, { " query": "famous", "value": 35 }, { "query": "kanye west wartość netto", "value": 31 } ...

Wydajność 

Teraz, gdy skończyliśmy z przeglądem funkcji, jak właściwie działa Zenserp? W końcu wszystkie te ładne dane są bezużyteczne, jeśli nie możesz uzyskać do nich dostępu ze względu na programowe gromadzenie danych przez Google.

Z naszego doświadczenia wynika, że ​​Zenserp wykonywał swoje zadania bez żadnych problemów, bez względu na to, czego szukaliśmy i gdzie na świecie kierowaliśmy nasze zapytania. Tajną bronią jest tutaj niesamowita ogólnoświatowa sieć proxy firmy Zenserp, która przekierowuje Twoje żądania tam, gdzie muszą się udać, jednocześnie zmieniając adres IP, aby pasował. Chociaż Zenserp nie publikuje rzeczywistej liczby swojej sieci serwerów, okazał się wystarczająco solidny, aby nigdy nie zgłosić ani jednego błędu, gdy wysyłaliśmy żądania testowe.

Pod maską Zenserp API znajduje się również wyrafinowany solwer Captcha. Po raz kolejny nie mamy szczegółów na temat tego, jak to działało; ale działało, i to konsekwentnie.

Ale hej, nie wierz nam na słowo! Udaj się do Zenserp API Playground i przeprowadź własne testy w czasie rzeczywistym.

A co z dyspozycyjnością? W końcu klienci Zenserpa zazwyczaj mają ciągłe zapotrzebowanie na duże ilości aktualnych informacji SERP. To dużo danych do przetworzenia, potencjalnie rzędu milionów żądań miesięcznie, w zależności od wielkości Twojej firmy. Na szczęście Zenserp jest dobrze przygotowany do obsługi takiego ruchu i odnotowuje niesamowity 99,9% czasu działania w ciągu ostatnich 12 miesięcy.

cennik

Infrastruktura Zenserp jest wystarczająco solidna, aby zaspokoić każdą skalę działalności. Oferują szeroki zakres cen abonamentowych, dzięki czemu płacisz tylko za dokładnie to, czego potrzebujesz. Niezależnie od wybranego poziomu możesz zapłacić niską opłatę miesięczną lub skorzystać z 20% zniżki na roczny plan.

Istnieje pięć podstawowych modeli subskrypcji :

• BEZPŁATNY — zgodnie ze swoją nazwą warstwa Bezpłatna nic Cię nie kosztuje i nie wymaga przechowywania informacji o karcie kredytowej. Twój przydział miesięcznych żądań jest dość niski i wynosi tylko 50, ale daje ci dużo miejsca na zabawę ze wszystkimi dostępnymi typami SERP. Naprawdę doceniamy to, że w przeciwieństwie do większości darmowych interfejsów API, Zenserp domyślnie włącza szyfrowanie HTTPS. Nawet jeśli jesteś małym start-upem z ograniczoną potrzebą skrobania SERP, Twoja działalność zyskuje ten sam poziom bezpieczeństwa i anonimowości, co globalne przedsiębiorstwo. Będziesz musiał samodzielnie zintegrować API, a odpowiedzi na wszystkie Twoje pytania będą udzielane przez e-mail, ale ogólnie jest to hojna oferta dla ludzi, którzy wiedzą, co robią i chcą odkrywać Zenserp bez żadnych zobowiązań.
• MAŁY — ten poziom kosztuje 29,99 USD miesięcznie. Prawdę mówiąc, ten poziom jest identyczny pod względem użyteczności z planem BEZPŁATNYM, chociaż powoduje stukrotny wzrost limitu do maksymalnie 5000 miesięcznych żądań. Po raz kolejny, jeśli masz skromne zapotrzebowanie na dane SERP w dowolnym momencie i know-how do obsługi własnych integracji API, stanowi to wielką wartość.
• ŚREDNI — najpopularniejszy wybór firmy Zenserp, poziom ŚREDNI zapewni Ci zwrot 74,99 USD miesięcznie, jednocześnie zwiększając miesięczny limit do 15 000 żądań. Jednak ta warstwa odblokowuje wiele nowych funkcji, w tym żądania grupowe i kluczowe informacje dotyczące SEO, takie jak liczba wyszukiwań słów kluczowych i CPC słów kluczowych. Otrzymasz również dostęp do concierge, spersonalizowaną obsługę klienta oraz umowę SLA. Oczywiście nadal otrzymujesz bezcenne szyfrowanie HTTPS, które chroni Twoją firmę przed wścibskimi oczami.
• DUŻY/BARDZO DUŻY — Te dwie warstwy zawierają identyczne zestawy funkcji jak warstwa ŚREDNIA, ale znacznie zwiększają miesięczną pojemność. Poziom LARGE kosztuje 174,99 USD miesięcznie, oferując 40 000 żądań; podczas gdy BARDZO DUŻY jest wyceniony na 379,99 USD za 100 000 miesięcznych żądań. Wybierz abonament, który najlepiej odpowiada potrzebom Twojej firmy!

Oprócz standardowych poziomów, Zenserp oferuje plany o dużej objętości, które są zablokowane w miesięcznym schemacie płatności. Każdy poziom zawiera wszystkie funkcje premium planów ŚREDNI-BARDZO DUŻY i skaluje Twój miesięczny limit w zależności od tego, ile płacisz:

• PREMIUM – 599,99 $ i 250 000 żądań miesięcznie
• PROFESJONALNY – 1399,99 $ i 750 000 żądań miesięcznie
• PRZEDSIĘBIORSTWO – 1 599,99 USD i 1 000 000 żądań miesięcznie

Niewystarczająco? Możesz również poprosić o spersonalizowany plan. Po prostu skontaktuj się z entuzjastycznym zespołem pomocy technicznej Zenserp, a oni będą współpracować z Tobą, aby opracować niestandardowe rozwiązania API, które będą odpowiadać Twoim potrzebom.

Ostateczny werdykt Zenserp

SaaS Industries stworzył niesamowitą ofertę dzięki API Zenserp. Jest konfigurowalny i wysoce skalowalny dzięki solidnej infrastrukturze, a jednocześnie łatwy do zintegrowania z aplikacją dzięki łatwej logice parametrycznej i szerokiej kompatybilności języków kodowania.

Nasze testy dały spójne wyniki, nigdy nie zgłaszając błędu, chociaż podejrzewamy, że usługa nie jest odporna na błędy na skalę wymaganą przez duże przedsiębiorstwa. Bez względu na to, jakiego rodzaju prośby złożyliśmy, wyniki były zawsze aktualne i znaczące. Niezwykle pomocna jest możliwość doprecyzowania żądania SERP według typu wyszukiwania i jako takie jasne jest, że Zenserp oferuje nieocenione, ale niedrogie narzędzie dla każdego dewelopera SEO.

Jeśli mielibyśmy krytykę usługi, to to, że dokumentacja mogłaby używać nieco bardziej naturalnego języka do wyjaśnienia jej zawartości. Oczywiście programista zajmujący się doświadczeniem nie powinien mieć problemów ze zrozumieniem, co jest w ofercie, więc prawdopodobnie nie stanowi to problemu. Nawet jeśli tak jest, wszystkie poziomy płatności oprócz najmniejszych obejmują onboarding concierge i spersonalizowaną obsługę klienta, dzięki czemu zawsze będziesz w stanie idealnie zaspokoić swoje potrzeby.

Podsumowując, Zenserp otrzymuje pieczęć aprobaty Addictive Tips; z całego serca polecamy to API każdemu, kto szuka naprawdę wyrafinowanego narzędzia SEO.

Masz jakieś pytania lub komentarze dotyczące Zenserp? Rozpocznij dyskusję w komentarzach poniżej.