Гибкий, масштабируемый парсинг результатов поиска в реальном времени с помощью Zenserp (ОБЗОР)

Google имеет долгую историю затруднений с разработчиками SEO, пытающимися очистить общедоступные данные со своих страниц результатов поиска. Действительно, парсинг поисковой выдачи официально противоречит условиям обслуживания Big G. Однако эта практика не нарушает Закон о компьютерном мошенничестве и злоупотреблении (CFAA), и, таким образом, прямые юридические действия со стороны Google, направленные на ограничение этой практики, не увенчались успехом.

Таким образом, хотя на самом деле парсинг не является незаконным и не оскорбляет чьи-либо чувства на практике, разработчики все же должны бороться с препятствиями, созданными Google, чтобы препятствовать сбору их данных. Общие головные боли включают Captcha и блокировку IP; хотя в прошлом рассылались письма о прекращении противоправных действий, такая тактика становится все более редкой.

Но что, если бы вам вообще не приходилось сталкиваться с этими неприятностями, чтобы получить свои драгоценные данные? Войдите в Zenserp , основное предложение от австрийской SaaS Industries.

Вкратце о Zenserp

Zenserp API - это инструмент мечты для SEO-разработчиков, которые ищут готовое решение для устранения распространенных препятствий при парсинге. Его чрезвычайно просто использовать и интегрировать благодаря ориентированному на пользователя циклу разработки SaaS Industries и широкой языковой совместимости (браузер, Curl, Python, Node.js, PHP). Более того, их ненасытный аппетит к отзывам потребителей и запросам функций привел к массовому обновлению API в апреле 2019 года, которое включает в себя полный набор типов данных, включая изображения Google, видео, карты, новости, покупки и тенденции.

В сочетании с конкурентоспособными ценами и обслуживанием клиентов мирового класса у вас действительно есть комплексное решение для ваших проблем со сканированием результатов поиска в Zenserp.

Начало работы с Zenserp

Итак, каково на самом деле использовать Zenserp? Ниже мы рассмотрим процесс начала работы с Zenserp. Затем мы углубимся в их документацию по API, чтобы поближе познакомиться с надежной функциональностью Zenserp.

Обзор приборной панели

Предполагая, что вы просто хотите узнать, что такое Zenserp, вы нажмете ярко-зеленую кнопку «Зарегистрироваться на бесплатный план» на их домашней странице. После того, как вы создали и подтвердили свою учетную запись, нажмите «Войти», чтобы получить доступ к панели управления.

Страница, на которую вы попадаете, отображает обзор вашей наиболее важной информации об использовании, включая ваш ключ API, ежемесячную квоту запросов, использование API с течением времени, а также документацию о любых неудачных запросах, которые могли произойти. Также есть удобный раздел Request Builder, который направляет новых пользователей Zenserp к множеству полезных ресурсов; большую часть этого мы рассмотрим в разделе «Документация» этого обзора, так что держитесь за это крепко.

А пока давайте кратко рассмотрим все параметры боковой панели:

• Панель управления - вы уже здесь! Это просто быстрая ссылка для возврата на страницу обзора в любое время.
• Игровая площадка - эта страница с соответствующим названием предлагает полностью визуальный (т.е. не требует кодирования) и интерактивный интерфейс, чтобы вы могли возиться с различными конечными точками Zenserp. Здесь вы можете сгенерировать несколько примеров ответов и использовать их для настройки своего запроса API. Не полагайтесь на это на все 100%, поскольку есть такие моменты, которые выходят за рамки возможностей этого инструмента. Тем не менее, нам нравится, что у вас есть возможность экспортировать свои эксперименты в код (браузер, Curl, Python, Node.js, PHP), когда вы находите что-то, что действительно работает.
• Документация - Подробная информация о Zenserp API. Мы подробно рассмотрим это ниже.
• Профиль / Безопасность - базовая конфигурация учетной записи, включая ваш аватар, контактную информацию и управление паролями. Ничего фантастического.
• Биллинг - Состоит из трех опций, где вы можете повысить / понизить / отменить уровень подписки, управлять способом оплаты и идентификатором плательщика НДС, а также свободным полем, где вы можете запросить включение текста в свои счета-фактуры Zenserp для упрощения бухгалтерского учета.

Все это довольно стандартная плата для любого API, но мы ценим, насколько все просто продумано. Вы получаете то, что видите, и Zenserp не пытается скрыть настройки подписки в темных углах вашего профиля.

Документация по API Zenserp

Изложив основы, теперь мы можем перейти к хорошему: документации Zenserp. Здесь вы точно увидите, на что способен API и как его использовать. Хотя полная реализация API в вашем приложении выходит за рамки этого обзора, мы кратко коснемся каждой конечной точки, некоторых ключевых параметров и предоставим несколько примеров ответов.

Базовая функциональность

Страница документации начинается с раздела с метко названным «Начало работы», в котором подробно описаны ваши самые основные функции API, способные взаимодействовать со всеми другими конечными точками. Давайте взглянем:

• Аутентификация - здесь показано, как использовать ключ API для аутентификации. В заголовке есть пример использования, за которым следуют примеры запросов GET и POST. Очень просто.
• / status - позволяет запрашивать количество оставшихся запросов в соответствии с лимитами вашей подписки. В конце концов, зачем вообще входить в личный кабинет Zenserp, если ваше приложение может сообщать вам напрямую?
• / batch - добавление этой конечной точки позволяет выполнять до 1000 поисков за один пакет. У вас есть возможность запросить все пакеты сразу, в зависимости от идентификатора пакета, или отправить новый пакет или объединить существующие вместе по мере необходимости.
• Коды ошибок - Zenserp также может возвращать ошибки по мере их возникновения, в том числе 403 Forbidden, когда вы достигли своего месячного лимита или использовали неправильный ключ API, 404, если результаты не были найдены, или 500, когда есть ошибка сервера. Не забывайте, что неудавшиеся запросы также появляются на вашей панели инструментов.

Конечная точка / search

Здесь находятся основные функции Zenserp. Добавляя / выполняя поиск к вашему запросу API, вы получите исчерпывающий массив данных практически обо всем, что вы можете придумать для сбора SERPS. Ваш запрос вернет широкий спектр результатов, в том числе:

• Органические результаты поиска - при запросе органических результатов поиска возвращаются все виды данных, включая рейтинг элемента, его заголовок, отображаемый и целевой URL, несколько типов обзоров, является ли ссылка ссылкой Google AMP, строки, представляющие описание страницы, а также локальный 3 пакета с деловой информацией.
• Платные результаты - вы также получите полный обзор платных результатов. Возвращаемая информация включает оплачиваемую позицию (вверху, справа или внизу), заголовок, URL-адрес отслеживания AdWords, хлебные крошки, видимый URL-адрес, отображаемый в Google, описание страницы, а также любые оплачиваемые места размещения продуктов (включая позицию, заголовок, связанные изображения, URL-адрес). , ну и конечно же цена).
• Поле для ответов / избранный фрагмент / главный сюжет - чистое золото для любого оптимизатора поисковых систем. Легко увидеть, что лучше всего подходит для получения этих желанных позиций в поисковой выдаче, а затем разработать стратегию для воспроизведения этих результатов.
• Связанные поиски / вы имели в виду - Zenserp расширяет возможности поиска ключевых слов, возвращая ценные данные по всем поисковым запросам, связанным с вашим запросом. Вы также можете предвидеть, как Google будет реагировать на типичные ошибки, которые пользователи совершают при поиске по вашему запросу.

Вот сокращенная версия примера из документации Zenserp с запросом «Крысолов». Вы можете увидеть различные типы результатов, которые отображаются по порядку: запись в Википедии (1), вопросы, связанные с запросом (2), веб-сайт с точным совпадением доменного имени (3), популярная статья о происхождении Крысолова. (4), а также несколько видео по теме (5). Вы также увидите несколько связанных поисковых фраз, а также общее количество возвращенных результатов.

net / мифы-легенды / тревожащая-правдивая-история-крысолов-хамелин-001969 "," пункт назначения ":" https://www.ancient-origins.net ›мифы-легенды› тревожный-правдивый-пирог. .. »,« description »:« 14 августа 2014 г. - Многие знакомы с историей о Гамелинском крысолове. Однако немногие осознают, что история основана на реальных событиях, которые развивались в течение ... "," isAmp ": false}, {" position ": 5," videos ": [{" title ":" Крысолов ", "url": "https://www.youtube.com/watch?v=VEZ_Ui6d9AM", "parsed": {"source": "YouTube", "date": "2 мая 2018 г.", "channel": "BTS - Topic"}}, {"title": "Правдивая история крысолова из Хамлена | Сказки ... "," url ":" https:

Уточнение запроса по типу поиска

Помимо запроса поисковой выдачи по умолчанию, вы можете дополнительно уточнить свой поисковый запрос Google по типу поиска (изображение, видео, карты, покупки, новости, покупки и т. Д.). Просто установите для параметра tbm («to be matched») любую из следующих опций:

• isch - возвращает результаты поиска картинок Google. Этот запрос возвращает множество данных, включая положение, эскизы, исходные URL-адреса, заголовки и многое другое. (Для обратного поиска изображений вы запустите параметр image_url вместо tbm = isch )
• vid - возвращает результаты поиска Google Video. Вы получите такую ​​информацию, как исходный домен, URL-адрес видео, заголовок, описание, а также любые расширения или эскизы.
• lcl - еще одна золотая жила данных SEO, параметр lcl возвращает результаты поиска Google Maps. Вы увидите название компании / местоположения, URL-адреса веб-сайтов, независимо от того, оплачен ли результат, какие-либо звезды или отзывы, а также важную информацию, такую ​​как адрес, номера телефонов, часы работы, заметные цены и даже тип бизнеса. У вас также есть возможность запросить маршруты к этим предприятиям.
• nws - Вам нужно быть в курсе текущих событий и событий в вашей отрасли? Добавьте в запрос параметр nws, чтобы возвращать результаты поиска в Новостях Google в режиме реального времени. Просматривайте названия статей, их ссылки, даты публикации (и анализируемые вашим API), издателя, краткое описание статьи, а также любые доступные эскизы.
• магазин - доступ к результатам поиска в Google Покупках с  параметром магазин . Давайте взглянем на некоторые образцы результатов (сильно усеченные для удобства чтения) для водонагревателей в Атланте, Джорджия:

no_results_auto_correct ":" Sponsored "," related_searches ": []," shopping_results ": [{" title ":" Водонагреватель Reliance 219809, гибридный электрический тепловой насос, 50 ​​галлонов "," link ":" / aclk? sa = l & ai = DChcSEwjR -LWBnPDoAhUI1WQKHSvMBFUYABAFGgJwag & sig = AOD64_2X7NgvfDv9ugCCLYqCFpiZP8Xq3g & ctype = 5 & q = & ved = 0ahUKEwisl7GBnPDoAhWEr54KHf6kz, чтобы показать вам точную информацию о продукте: Производители, поставщики и другие лица предоставляют то, что вы видите здесь ... "," price ":" 59,99 $ "," source ":" resenta "," reviews ": 0," thumbnail ":" data: image / jpeg; base64, / 9j / 4AAQSk ... "," extension ": [" Tank "," Electric ","

Примечание. Независимо от типа запроса на поисковую выдачу вы все равно имеете полный доступ к стандартному набору параметров в конечной точке / search.

Конечная точка / shopping

Помимо ядра / конечной точки поиска , Zenserp API также поддерживает / shopping , который позволяет анализировать страницы продуктов Google Покупок . Вы добавите параметр product_id в свой запрос / shopping с возможностью указать желаемое географическое местоположение ( местоположение ) для поиска , код страны ( gl ) и / или язык веб-интерфейса ( hl ). Вы также можете изменить какой регион вариант поиска Google вы хотите использовать с поиском _engine .

Конечная точка / Trends

Google Trends запросы сделаны путем добавления / тенденции к запросу (хотя документация Zenserp в ошибочно указано , что вы должны использовать / покупку ). Результаты ваших Трендов основаны на параметре keyword [] , где вы передаете ключевую фразу в качестве аргумента в []. В документации Zenserp есть удобное напоминание о том, какие операторы используются в Trends (+ для «или», - для «исключить», пробел для «и» и кавычки «« для точного совпадения), которые будут использоваться в вашем запросе.

Вы также можете указать часовой пояс ( tz ), идентификатор категории ( cat ), временные рамки для ваших результатов (ежечасно, ежедневно, ежемесячно, ежегодно в различных подразделениях), тип ресурса Google для поиска (например, изображения, авиабилеты, YouTube, финансы и т. д.), географическое местоположение или код местоположения Google ( gl ) и даже разрешение в этом регионе (по сути, настройка того, выполняете ли вы поиск по всей стране, по городу, по региону и т. д.)

Итак, допустим, вы хотели узнать, как Канье Уэст был в тренде за последний месяц. Вы бы сделали такой запрос:

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

Затем API возвращает информацию Google Trends за месяц, за которой следуют связанные запросы, в число которых, что неудивительно, входят Тейлор Свифт и Ким Кардашьян. (Ниже мы рассмотрим интерес к Yeezy на прошлой неделе, чтобы сэкономить место на этой странице.)

{"Канье Уэст": {"тенденции": {"2020-04-08T00: 00: 00.000Z": {"Канье Уэст": 26, "isPartial": false}, "2020-04-09T00: 00: 00.000 Z ": {" Канье Уэст ": 29," isPartial ": false}," 2020-04-10T00: 00: 00.000Z ": {" Канье Уэст ": 31," isPartial ": false}," 2020-04 -11T00: 00: 00.000Z ": {" Канье Уэст ": 35," isPartial ": false}," 2020-04-12T00: 00: 00.000Z ": {" Канье Уэст ": 38," isPartial ": false }, "2020-04-13T00: 00: 00.000Z": {"Канье Уэст": 31, "isPartial": false}, "2020-04-14T00: 00: 00.000Z": {"Канье Уэст": 24 , "isPartial": false}, "2020-04-15T00: 00: 00.000Z": {"Канье Уэст": 32, "isPartial": false}}, "запросы ": {" Канье Уэст ": {" верх ": [{" запрос ":" Тейлор Свифт, Канье Уэст "," значение ": 100}, {" запрос ":" Тейлор Свифт "," значение ": 94} , {"query": "kanye west kim kardashian", "value": 65}, {"query": "kim kardashian", "value": 61}, {"query": "знаменитый канье-уэст", "значение ": 36}, {" query ":" знаменитый "," value ": 35}, {" query ":" kanye west networth "," value ": 31} ...канье уэст ким кардашьян "," value ": 65}, {" query ":" kim kardashian "," value ": 61}, {" query ":" знаменитый канье-уэст "," value ": 36}, {" query ":" знаменитый "," value ": 35}, {" query ":" kanye west networth "," value ": 31} ...канье уэст ким кардашьян "," value ": 65}, {" query ":" kim kardashian "," value ": 61}, {" query ":" знаменитый канье-уэст "," value ": 36}, {" query ":" знаменитый "," value ": 35}, {" query ":" kanye west networth "," value ": 31} ...

Представление 

Теперь, когда мы закончили с обзором функций, как на самом деле работает Zenserp? В конце концов, все эти хорошие данные бесполезны, если вы не можете получить к ним доступ из-за упорных усилий Google по сбору программных данных.

По нашему опыту, Zenserp справлялся со своими задачами без сбоев, независимо от того, что мы искали и в какой точке мира нацеливали наши запросы. Секретным оружием здесь является невероятная всемирная прокси-сеть Zenserp, которая перенаправляет ваши запросы туда, куда им нужно, при изменении вашего IP-адреса. Хотя Zenserp не публикует фактические номера своей серверной сети, она оказалась достаточно надежной, чтобы никогда не выдавать ни одной ошибки, когда мы делали наши тестовые запросы.

Также под капотом Zenserp API находится сложный решатель Captcha. Опять же, у нас нет подробностей о том, как они сделали эту работу; но сработало, и последовательно тоже.

Но не верьте нам на слово! Перейдите на площадку для тестирования Zenserp API и запустите свои собственные тесты в реальном времени.

А как насчет времени безотказной работы? В конце концов, у клиентов Zenserp обычно есть постоянная потребность в большом объеме актуальной информации из результатов поиска. Это много данных для обработки, потенциально порядка миллионов запросов в месяц в зависимости от размера вашей компании. К счастью, Zenserp хорошо оборудован для обработки такого трафика и сообщает о невероятном времени безотказной работы 99,9% за последние 12 месяцев.

Ценообразование

Инфраструктура Zenserp достаточно надежна, чтобы удовлетворить требования любого масштаба. Они предлагают широкий диапазон цен на подписку, так что вы платите только за то, что вам нужно. Какой бы уровень вы ни выбрали, вы можете платить небольшую ежемесячную плату или получить скидку 20% на годовой план.

Существует пять основных моделей подписки :

• БЕСПЛАТНО - как следует из названия, уровень бесплатного пользования ничего не стоит и не требует, чтобы вы указали данные кредитной карты в файле. Ваше распределение ежемесячных запросов довольно невелико - всего 50, но это дает вам достаточно места, чтобы поиграть со всеми доступными типами поисковой выдачи. Мы очень ценим, что, в отличие от большинства бесплатных API, Zenserp по умолчанию включает шифрование HTTPS. Даже если вы небольшой стартап с ограниченной потребностью в парсинге поисковой выдачи, ваша деятельность получит такой же уровень безопасности и анонимности, как и у глобального предприятия. Вам придется самостоятельно интегрировать API, и на все ваши вопросы ответят по электронной почте, но в целом это щедрое предложение для людей, которые знают, что делают и хотят изучить Zenserp без каких-либо обязательств.
• МАЛЕНЬКИЙ - этот уровень стоит 29,99 долларов в месяц. По правде говоря, этот уровень идентичен по полезности плану БЕСПЛАТНО, хотя он предусматривает стократное увеличение вашей квоты до максимум 5000 ежемесячных запросов. Еще раз, если у вас есть скромная потребность в данных поисковой выдачи в любое время и ноу-хау для обработки ваших собственных интеграций API, это представляет большую ценность.
• СРЕДНИЙ - самый популярный выбор Zenserp, уровень СРЕДНИЙ обойдется вам в 74,99 доллара в месяц, при этом ваша ежемесячная квота увеличится до щедрых 15 000 запросов. Однако этот уровень открывает множество новых функций, включая пакетные запросы и важную информацию о SEO, такую ​​как объем поиска по ключевым словам и цена за клик по ключевым словам. Вы также получаете услуги консьержа, персонализированное обслуживание клиентов и соглашение об уровне обслуживания. Конечно, вы по-прежнему получаете ценное шифрование HTTPS, чтобы защитить ваш бизнес от посторонних глаз.
• БОЛЬШОЙ / ОЧЕНЬ БОЛЬШОЙ - эти два уровня включают наборы функций, идентичные уровню СРЕДНИЙ, но значительно увеличивают ежемесячную емкость. Уровень БОЛЬШОЙ стоит 174,99 долларов в месяц, предлагая 40 000 запросов; в то время как ОЧЕНЬ БОЛЬШОЙ стоит 379,99 долларов за колоссальные 100 000 запросов в месяц. Выберите подписку, которая наилучшим образом соответствует потребностям вашей компании!

В дополнение к стандартным уровням Zenserp предлагает планы с большим объемом, которые привязаны к ежемесячной схеме оплаты. Каждый уровень включает в себя все премиум-функции планов СРЕДНИЙ-ОЧЕНЬ БОЛЬШОЙ и масштабирует вашу ежемесячную квоту в зависимости от того, сколько вы платите:

• ПРЕМИУМ - 599,99 $ и 250 000 запросов в месяц
• ПРОФЕССИОНАЛЬНЫЙ - 1399,99 долларов США и 750 000 запросов в месяц
• ENTERPRISE - 1599,99 $ и 1000000 запросов в месяц

Недостаточно? Вы также можете запросить индивидуальный план. Просто обратитесь в команду поддержки Zenserp, и они вместе с вами разработают индивидуальные решения API, соответствующие вашим потребностям.

Окончательный приговор Зензерпу

SaaS Industries представила невероятное предложение со своим Zenserp API. Он настраивается и хорошо масштабируется благодаря надежной инфраструктуре, но чрезвычайно прост для интеграции в ваше приложение благодаря простой параметрической логике и широкой совместимости с языками кодирования.

Наше тестирование дало стабильные результаты без каких-либо ошибок, хотя мы подозреваем, что сервис неуязвим для ошибок в масштабах, требуемых крупными предприятиями. Независимо от типа запроса, результаты всегда были своевременными и значимыми. Чрезвычайно полезно иметь возможность уточнять свой запрос выдачи по типу поиска, и поэтому ясно, что Zenserp предлагает бесценный, но доступный инструмент для любого разработчика SEO.

Если мы и критиковали сервис, так это за то, что в документации можно было бы использовать более естественный язык для объяснения ее содержания. Конечно, у опытного разработчика не должно возникнуть проблем с пониманием того, что предлагается, так что это, скорее всего, не проблема. Даже если это так, все уровни оплаты, кроме самых маленьких, включают в себя подключение консьержа и персональную поддержку клиентов, поэтому вы всегда сможете идеально удовлетворить свои потребности.

В общем, Zenserp получает печать одобрения Addictive Tips; мы искренне рекомендуем этот API всем, кто ищет действительно продвинутый инструмент SEO.

Есть вопросы или комментарии о Zenserp? Начните обсуждение в комментариях ниже.