Обзор Serpstack: API JSON Rest для результатов поиска Google

Если вам нужно получить результаты поисковой системы, в частности, из Google, один из способов сделать это - запустить фактический поиск на google.com и попытаться проанализировать сложный HTML-код, который вы получите в результате. Это можно сделать, но это непростое дело. Если вы хотите выбрать более простой путь, почему бы не использовать специальный API-интерфейс поисковой выдачи, который вы можете заполнить своим поисковым запросом и который будет возвращать результаты в формате, который можно легко проанализировать. Одним из таких продуктов является API-интерфейс Serpstack от apilayer . Он принимает в качестве входных данных строку вашего поискового запроса и параметры и возвращает результаты поиска в формате JSON. Давайте подробно рассмотрим продукт.

Мы начнем, как мы часто делаем, с обсуждения результатов выдачи в целом. Далее мы объясним, что это такое, и опишем несколько различных типов результатов, которые обычно доступны из поисковых систем. Мы также рассмотрим некоторые причины, по которым можно использовать API поисковой выдачи. И когда мы все на одной странице, мы подробно рассмотрим Serpstack API. Мы быстро рассмотрим некоторые из его основных функций, прежде чем углубимся в то, как использовать API. И прежде чем мы закончим, мы рассмотрим структуру цен на услугу и доступные планы.

SERP в двух словах

Перво-наперво, SERP - это аббревиатура от Search Engine Results Pages. Это веб-страницы, которые обслуживаются пользователями, когда они ищут что-то в Интернете с помощью такой поисковой системы, как Google или Bing. Пользователь указывает свой поисковый запрос, используя определенные термины и фразы, которые обычно называют ключевыми словами, а затем поисковая система представляет им поисковую выдачу.

Каждая поисковая выдача уникальна. Это справедливо даже для нескольких поисковых запросов, выполняемых в одной поисковой системе с использованием одних и тех же ключевых слов или текста запроса. Основная причина этого заключается в том, что практически каждая поисковая система настраивает опыт для своих пользователей, представляя результаты на основе широкого спектра факторов, которые выходят далеко за рамки их условий поиска. Эти факторы могут включать в себя физическое местоположение пользователя, его историю просмотров, социальные настройки и т. Д. И хотя две выдачи могут выглядеть одинаковыми и содержать многие из одинаковых результатов, они часто будут иметь небольшие различия.

Поставщики поисковых систем, такие как Google, Bing или другие игроки, постоянно развивают свои услуги и технологии и экспериментируют с их результатами. Их цель - предложить своим пользователям более отзывчивый и интуитивно понятный интерфейс. По мере того, как новые технологии вводятся в пространство поиска - и они развиваются невероятными темпами, внешний вид поисковых страниц меняется, и сегодня они сильно отличаются от того, чем были когда-то.

Органические результаты

Результаты поиска обычно содержат два типа контента: обычные результаты и платные результаты. Органические результаты - это списки веб-страниц, которые появляются в результате работы алгоритма поисковой системы. Подробнее об этом чуть позже. Поисковая оптимизация, или SEO, - это наука - или, скорее, искусство - манипулирования контентом, чтобы обмануть поисковые системы, чтобы они перечислили наш веб-сайт по определенному ключевому слову или строке поиска.

О поисковых алгоритмах и сигналах ранжирования

Итак, вернемся к органическим результатам. Вкратце, это списки, которые были проиндексированы поисковой системой на основе ряда факторов, которые вместе именуются «ранжирующими сигналами». Например, алгоритм поиска, используемый Google, включает сотни факторов ранжирования. Провайдеры поисковых систем обычно хранят в секрете детали своей системы ранжирования. Итак, хотя никто за пределами Google - и, возможно, не так много людей внутри - точно знает, каковы сигналы ранжирования, некоторые из них считаются более важными, чем другие.

Зачем использовать SERP API?

Есть несколько причин, по которым кто-то может использовать API поисковой выдачи. Очевидно, что необходимо периодически получать данные результатов поиска по вашим продуктам и веб-сайтам и отслеживать их с течением времени, поскольку это важная часть любой стратегии SEO. Поскольку рейтинг постоянно колеблется, а ключевые слова для поиска становятся более или менее применимыми и ценными с течением времени, есть только один способ оставаться в курсе этих изменений - использовать готовое программное обеспечение как услуга (SaaS ) решение, которое реализует данные поисковой выдачи непосредственно в ваших собственных приложениях или на веб-сайтах с помощью API поисковой выдачи, такого как Serpstack.

Вкратце, основное различие между использованием браузера для получения данных SERP и использованием API SERP, такого как Serpstack, заключается в формате ответа. API Serpstack возвращает данные JSON, которые легко анализируются вашим внутренним программным обеспечением. Его использование освобождает вас от необходимости извлекать значимые данные из всего окружающего веб-форматирования.

Представляем Serpstack

Одним предложением Serpstack - это точный API результатов поиска Google в реальном времени. Этот JSON REST API, которому доверяют некоторые из крупнейших мировых брендов, молниеносно быстр и прост в использовании. Продукт создан и поддерживается apilayer, компанией-разработчиком программного обеспечения, расположенной в Лондоне, Великобритания, и Вене, Австрия. Первоначально созданный из-за внутренней потребности отслеживать позиции в поисковых системах в автоматическом режиме, продукт вырос и стал одним из самых надежных API-интерфейсов поисковой выдачи, доступных на рынке. Что касается apilayer, то это компания, стоящая за некоторыми из самых популярных продуктов API и SaaS во всем мире, включая Currencylayer, Invoicely и Eversign.

API-интерфейс Serpstack извлекает данные SERP из поисковых систем в автоматическом режиме, используя прокси-сеть и запатентованную технологию очистки всякий раз, когда выполняются запросы API. Полученные данные результатов поисковой выдачи общедоступны, и любой может получить к ним доступ. Кроме того, Serpstack API поддерживает почти все типы результатов поиска, возвращаемые Google, включая результаты в Интернете, результаты изображений, результаты видео, результаты новостей, результаты покупок, спонсируемую рекламу, вопросы и многое другое.

Построенный на основе двухуровневой облачной инфраструктуры, системы, в которой работают некоторые из самых популярных в мире служб API реального времени, API Serpstack отличается высокой масштабируемостью и гибкостью на любом этапе. Он был создан для того, чтобы предлагать способ очистки данных поисковой выдачи Google в режиме реального времени и в любом масштабе. Реализация службы занимает всего несколько минут с использованием простой структуры URL-адреса HTTP GET, а результаты возвращаются в формате JSON или CSV.

Основные характеристики Serpstack

Что касается функций, API Serpstack не оставляет желать лучшего. Прежде всего, сервис отличается высокой масштабируемостью и всегда без очереди. Мощная облачная инфраструктура Apilayer была просто создана, чтобы выдерживать большие объемы запросов API без необходимости в очереди. Он лежит в основе нескольких продуктов компании. Он также легко настраивается. Поскольку у двух клиентов нет одинаковых потребностей, вы можете настроить свои автоматизированные поисковые запросы на основе ряда параметров, включая местоположение, язык, устройство и т. Д.

Используя этот продукт, больше не нужно беспокоиться о глобальных IP-адресах, кластерах браузеров или CAPTCHA. Благодаря мощной базовой прокси-сети этот API парсинга SERP поможет вам практически в любой ситуации. К тому же это экономно на бюджете. Вы получаете до 100 ежемесячных запросов бесплатно, а если вам понадобится больше - а вы, скорее всего, сделаете это, - платные планы начинаются всего с 29,99 долларов в месяц. Вскоре мы рассмотрим цены на продукт более подробно.

Вот обзор некоторых из наиболее важных функций продукта:

Простая интеграция

Использование Scrapestack API с самого начала вряд ли могло быть проще. Создание настраиваемых запросов и начало очистки страниц поисковой выдачи в любом масштабе с использованием настраиваемых местоположений, устройств, языков и т. Д. Займет всего несколько минут.

Высокий уровень безопасности

Все потоки данных, отправляемые и получаемые от Serpstack API, зашифрованы с использованием 256-битного SSL-шифрования. Это тот же тип безопасности, который используется банковскими сайтами или большинством платформ электронной коммерции. Вы можете быть уверены, что ваши данные останутся под защитой.

Беспрецедентная скорость и доступность

Имея почти идеальный показатель доступности, вы можете быть уверены, что Scrapestack API будет там, когда он вам понадобится. И apilayer никогда не идет на компромисс по скорости. Запросы API, отправленные в API, обрабатываются за миллисекунды. Конечно, скорость получения результатов также зависит от времени отклика Google.

Выбор форматов вывода

Чтобы упростить рассмотрение данных поисковой выдачи, простой в использовании REST API Serpstack предлагает на выбор ответы в формате JSON или CSV. Это делает его совместимым с любым языком программирования.

Поддержка мирового уровня

Часто говорят, что продукт хорош настолько, насколько хорош его структура технической поддержки. Опять же, это место, где сияет Scrapestack. Если у вас есть какие-либо технические вопросы, обученная команда специалистов готова помочь вам с любыми вопросами, которые могут у вас возникнуть. Ответ быстрый, сервис работает неплохо.

Обширная документация

Документация, столь же важная, как и поддержка, часто будет вашим основным способом обучения использованию продукта. Serpstack предлагает обширную документацию по API, которая ждет своего изучения. Его использование поможет вам начать работу всего за несколько минут и сделает вас экспертом за считанные дни, а не недели или месяцы.

Использование Serpstack

Достаточно хвастаться замечательными функциями продукта - и они действительно есть, давайте посмотрим, как вы на самом деле можете использовать продукт, и различные типы запросов, которые вы можете сделать, и соответствующие ответы, которые вы можете ожидать.

Основы

Чтобы использовать Serpstack API, вам сначала необходимо зарегистрировать учетную запись. Это бесплатно, и в результате вам будет присвоен уникальный ключ доступа к API. Это то, что вы теперь будете использовать для аутентификации с помощью API с помощью простых HTTP-запросов GET для доступа к любой из доступных конечных точек. Итак, чтобы использовать API, вам просто нужно добавить свой ключ API к базовому URL-адресу с помощью параметра « access_key ». Вот как выглядит типичный - хотя и очень простой и совершенно бесполезный - запрос:

https://api.serpstack.com/search? access_key = ВАШ_ACCESS_KEY

Для дополнительной безопасности все платные планы позволяют использовать 256-битное шифрование SSL. Чтобы использовать его, все, что вам нужно, это отправлять запросы HTTPS вместо запросов HTTP. Например, приведенный выше пример с шифрованием будет выглядеть следующим образом:

https://api.serpstack.com/search? access_key = ВАШ_ACCESS_KEY

При сбое запроса API Serpstack API возвращает объект JSON, содержащий подробную информацию об ошибке. Например, вот что вернет API, если будет достигнут или превышен максимально допустимый лимит запросов API. Каждый план подписки имеет разное ограничение на количество запросов, которые можно сделать.

{"success": false, "error": {"code": 104, "type": "usage_limit_reached", "info": "Ваш ежемесячный объем запросов API достигнут. Обновите свой план." }}

Запрос и параметры API

Если не указано иное, Serpstack API всегда по умолчанию предоставляет результаты поиска от Google. Следовательно, если вы хотите запросить API для результатов поиска Google, все, что вам нужно сделать, это добавить параметр « запрос » к базовому URL-адресу API и установить его для поискового запроса по вашему выбору. Вот как выглядит запрос с использованием «mcdonalds» в качестве поискового запроса с аутентификацией и шифрованием:

https://api.serpstack.com/search? access_key = ВАШ_ACCESS_KEY & query = mcdonalds

Как видите, это довольно простой синтаксис. Как вы наверняка могли представить, существует масса дополнительных параметров, которые можно добавить к запросу, чтобы еще больше сузить результаты поиска. Мы рассмотрим некоторые из них чуть позже, но подробный список всех из них доступен в онлайн-документации по API.

Ответы API

Ответы, которые вы получите от Serpstack API, будут сильно зависеть от вашего поискового запроса и выбранных вами параметров. Базовый запрос без указанной фильтрации вернет тонну данных. Вот начальная часть ответа, который вы получите на приведенный выше пример запроса.

{"request": {"success": true, "processing_timestamp": 1566207832, "search_url": "https://www.google.com/search?q=mcdonalds", "total_time_taken": 1.5}, "search_parameters" : {"engine": "google", "query": "mcdonalds", "type": "web", "device": "desktop", "google_domain": "google.com", "hl": "ru "," gl ":" us "," page ":" 1 "," num ":" 10 "}," search_information ": {" total_results ": 759000000," time_taken_displayed ": 0,91," did_you_mean ": null, "show_results_for": null, "query_displayed": "mcdonalds", "detect_location": null,"no_results_for_original_query": false},

Цель приведенного выше примера - просто дать вам представление о том, как могут выглядеть результаты. Я включил только первые 25 строк ответа, который в целом превышает четыреста строк.

Как вы могли заметить при использовании поиска Google, типичная страница результатов поиска состоит из разных разделов, в каждом из которых отображается свой тип результатов. У вас будут результаты платной рекламы, обычные результаты, изображения, видео и т. Д. Кроме того, лента в верхней части страницы позволит вам отображать определенные типы результатов, такие как карты, новости, покупки или книги, и это лишь некоторые из них. . Различные необязательные параметры позволят вам указать, какой тип результатов поиска вы хотите получить, что значительно упростит синтаксический анализ итогового файла JSON. Давайте подробнее рассмотрим некоторые из различных типов результатов, которые вы можете получить.

Результаты объявления

Всякий раз, когда по вашему поисковому запросу появляются спонсируемые объявления, а чаще всего они будут, в ответ API будет добавлен объект объявлений. Он содержит все объявления в том порядке, в котором они отображаются в результатах поиска. Он включает в себя как объявления, которые отображаются вверху и внизу результатов поиска.

Органические результаты

Органические результаты поиска - это основные результаты поиска, предоставляемые Google, и, вероятно, они могут вас особенно заинтересовать. Они определяются рядом факторов, таких как веб-трафик, обратные ссылки, присутствие в социальных сетях и многое другое. , с точным алгоритмом, который Google держит в секрете, чтобы сохранить свои конкурентные преимущества. Эти результаты подробно анализируются API и возвращаются как « organic_results ».

Результаты изображения

Подобно тому, как есть два способа получить результаты изображений из поиска Google, есть два способа, которыми изображения могут быть возвращены API. При выполнении стандартного веб-поиска некоторые изображения предоставляются Google в результатах поиска. Эти изображения, называемые встроенными изображениями, возвращаются Scrapestack API в массиве inline_images .

«image_results»: [{«position»: 1, «title»: «Золотая карта McDonald's: Правдивая история ...», «width»: 1024, «height»: 683, «image_url»: «https: // www.rd.com/app/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg "," type ":" png " , "url": "https://rd.com", "source": "https://rd.com"}, {"position": 2, "title": "McDonald's - Wikipedia", "width" : 1200, «высота»: 1051, «image_url»: «https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png» , "type": "png", "url": "https: // en.wikipedia.org/wiki/McDonald%27s "," source ":" https://en.wikipedia.org "}, {" position ": 3," title ":" Лучшие новые пункты глобального меню ... ", «width»: 970, «height»: 545, «image_url»: «https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg», «type»: «png», "url": "https://thrillist.com/", "source": "https://thrillist.com"}]"type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com"}]"type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com"}]

If, on the other hand, images are searched specifically, with the type parameter being set to images, images are returned as an “image_results” array. In these situations, the API returns 100 images by default.

Video Results

The exact same considerations we just went over for images are also valid for video results with the availability of both inline videos withing the global search results or dedicated video results

We could go on for pages and give you detailed information on the various types of results that the Serpstack API can return, but we think you’re getting the picture. Suffice to say that whatever type of results are returned by a typical Google search is also available within the API’s response. In addition to the types of results already described, the API will return, news results, shopping results, and local results as well as the contents of the results page’s answer box, weather box, events, top carousel, top stories, etc.

Supported Programming Environments

One of the best things about the Serpstack API is that you can easily use it from within most environments, Whatever the language you are using, as long as you can send HTTP requests, you should be good to go. All the popular web languages such as PHP or Python are supported. In fact, the API’s documentation includes examples of how to use it from PHP, Python, Nodejs, jQuery, Go, and Ruby.

Here is, for instance, the PHP code to print the total number of search results as well as each organic search result returned by the Serpstack API.

$queryString = http_build_query([ 'access_key' => 'YOUR_ACCESS_KEY', 'query' => 'mcdonalds', ]); $ch = curl_init(sprintf('%s?%s', 'https://api.serpstack.com/search', $queryString)); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $json = curl_exec($ch); curl_close($ch); $api_result = json_decode($json, true); echo "Total results: ", $api_result['search_information']['total_results'], PHP_EOL; foreach ($api_result['organic_results'] as $number => $result) { echo "{$number}. {$result['title']}", PHP_EOL; }

And here’s some code to accomplish the same thing in Python:

import requests params = { 'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds' } api_result = requests.get('https://api.serpstack.com/search', params) api_response = api_result.json() print "Total results: ", api_response['search_information']['total_results'] for number, result in enumerate(api_response['organic_results'], start=1): print "%s. %s" % (number, result['title'])

Pricing And Plans

The Serpstack API is available under several plans depending on your needs. The most basic plan is the Free plan. As its name implies, it is free but, although it is not time-limited like typical trial versions it is feature-limited as well as usage limited. You’ll only be able to run up to 100 searches per month.

The next three levels are full-featured and vary only by the maximum number of monthly searches you’re allowed to run. The Basic plan will give you 5000 for $29.99/month, the Business plan at $99.99/month brings it up to 20 000, and the Business Pro plan lets you run a whopping 50 000 searches for $199.99 per month. If none of these plans suit you, there’s also a variably-priced Enterprise plan that can be customized to your exact needs. If you choose yearly billing instead of monthly, you’re entitled to a 20% discount, making the service even more affordable.

Wrapping Up

Вкратце, Serpstack API - это простой в использовании полнофункциональный продукт, который можно использовать всякий раз, когда вам нужно получить данные поисковой выдачи из Google. Его безупречное время безотказной работы и впечатляющее время отклика - одни из его лучших преимуществ. При поддержке apilayer, который предоставил нам другие отличные API, мы уверены, что этот даст ожидаемые результаты. Это продукт, который мы можем только рекомендовать.