Revisión de Serpstack: una API JSON Rest para los resultados de búsqueda de Google

Si necesita obtener los resultados del motor de búsqueda, en particular los de Google, una forma de hacerlo es ejecutar una búsqueda real en google.com e intentar analizar el intrincado código HTML que obtendrá como resultado. Se puede hacer, pero es todo un esfuerzo. Si desea tomar una ruta más fácil, ¿por qué no utilizar una API SERP dedicada que puede alimentar con su término de búsqueda y que devolverá los resultados en un formato que se puede analizar fácilmente? Uno de esos productos es la API Serpstack de apilayer . Toma la cadena de consulta de búsqueda y los parámetros como entrada y devuelve los resultados de la búsqueda en formato JSON. Echemos un vistazo en profundidad al producto.

Comenzaremos, como solemos hacer, hablando de SERP en general. A continuación, explicaremos qué es y describiremos algunos de los diferentes tipos de resultados que suelen estar disponibles en los motores de búsqueda. También exploraremos algunas razones por las que se usaría una API SERP. Y una vez que estemos todos en la misma página, veremos detalladamente la API de Serpstack. Echaremos un vistazo rápido a algunas de sus características principales antes de profundizar en cómo usar la API. Y antes de concluir, exploraremos la estructura de precios del servicio y los planes disponibles.

SERP en pocas palabras

Primero lo primero, SERP es un acrónimo de Search Engine Results Pages. Estas son las páginas web que se sirven a los usuarios cuando buscan algo en línea utilizando un motor de búsqueda como Google o Bing. El usuario especifica su consulta de búsqueda utilizando términos y frases específicos que comúnmente se denominan palabras clave y luego el motor de búsqueda les presenta un SERP.

Cada SERP es único. Esto es cierto incluso para varias consultas de búsqueda realizadas en el mismo motor de búsqueda utilizando las mismas palabras clave o texto de consulta. La razón principal de esto es que prácticamente todos los motores de búsqueda personalizan la experiencia de sus usuarios al presentar resultados basados ​​en una amplia gama de factores que van mucho más allá de sus términos de búsqueda. Estos factores pueden incluir la ubicación física del usuario, su historial de navegación y configuración social, etc. Y aunque dos SERP pueden parecer idénticos y pueden contener muchos de los mismos resultados, a menudo presentarán diferencias sutiles.

Los proveedores de motores de búsqueda como Google, Bing u otros jugadores están en constante evolución de sus servicios y tecnologías y experimentan con sus resultados. Su objetivo es ofrecer a sus usuarios una experiencia más receptiva e intuitiva. A medida que se introducen nuevas tecnologías en el espacio de búsqueda, y lo hacen a un ritmo asombroso, la apariencia de los SERP cambia, y hoy en día son bastante diferentes de lo que eran antes.

Resultados orgánicos

Los SERP normalmente contendrán dos tipos de contenido: resultados orgánicos y resultados pagados. Los resultados orgánicos son listados de páginas web que aparecen como resultado del algoritmo del motor de búsqueda. Más sobre esto en un momento. La optimización de motores de búsqueda, o SEO, es la ciencia, o es más bien un arte, de manipular el contenido para engañar a los motores de búsqueda para que incluyan nuestro sitio web en una lista de palabras clave o cadenas de búsqueda específicas.

Acerca de los algoritmos de búsqueda y las señales de clasificación

Entonces, volvamos a los resultados orgánicos. En pocas palabras, son listados que han sido indexados por el motor de búsqueda en función de una serie de factores que se denominan colectivamente "señales de clasificación". Por ejemplo, el algoritmo de búsqueda utilizado por Google presenta cientos de factores de clasificación. Los proveedores de motores de búsqueda tienden a mantener en secreto los detalles de su sistema de clasificación. Por lo tanto, aunque nadie fuera de Google, y posiblemente no mucha gente dentro, sabe con precisión cuáles son las señales de clasificación, algunas se consideran más importantes que otras.

¿Por qué utilizar una API SERP?

Hay varias razones por las que cualquiera podría usar una API SERP. Existe la necesidad obvia de recuperar periódicamente datos SERP para sus productos y sitios web y realizar un seguimiento a lo largo del tiempo, ya que es una parte esencial de cualquier estrategia de SEO. Dado que las clasificaciones fluctúan constantemente y las palabras clave de búsqueda se vuelven más o menos aplicables y valiosas en el transcurso del tiempo, solo hay una forma de mantenerse al tanto de estos cambios y es utilizar un Software-as-a-Service (SaaS ) que implementa datos SERP directamente en sus propias aplicaciones o sitios web utilizando una API SERP como Serpstack.

En pocas palabras, la principal diferencia entre usar un navegador para recuperar datos SERP y usar una API SERP como Serpstack es el formato de la respuesta. La API de Serpstack devolverá datos JSON que su software interno puede analizar fácilmente. Su uso le libera de tener que extraer los datos significativos de todo el formato web circundante.

Presentando Serpstack

En una oración, Serpstack es una API de resultados de búsqueda de Google precisa y en tiempo real. Con la confianza de algunas de las marcas más importantes del mundo, esta API JSON REST es increíblemente rápida y fácil de usar. Apilayer, una empresa de software con sede en Londres, Reino Unido y Viena, Austria, fabrica y mantiene el producto. Originalmente creado a partir de una necesidad interna de realizar un seguimiento de las posiciones de los motores de búsqueda de forma automatizada, el producto ha crecido hasta convertirse en una de las API SERP más confiables disponibles en el mercado. En cuanto a apilayer, esta es la compañía detrás de algunos de los productos API y SaaS más populares en todo el mundo, incluidos Currencylayer, Invoicely y Eversign.

La API de Serpstack recupera datos SERP de los motores de búsqueda de forma automatizada mediante el uso de una red proxy y una tecnología de raspado patentada cada vez que se realizan solicitudes de API. Los datos de SERP resultantes están disponibles públicamente y cualquiera puede acceder a ellos. Además, la API de Serpstack admite casi todos los tipos de resultados de búsqueda devueltos por Google, incluidos resultados web, resultados de imágenes, resultados de videos, resultados de noticias, resultados de compras, anuncios patrocinados, preguntas y mucho más.

Construida sobre una infraestructura de nube de capas, un sistema en el que se ejecutan algunos de los servicios de API en tiempo real más populares del mundo, la API de Serpstack es altamente escalable y flexible en cualquier etapa. Fue creado para ofrecer una forma de extraer datos SERP de Google en tiempo real y a cualquier escala. La implementación del servicio toma solo unos minutos usando una estructura de URL HTTP GET simple, y los resultados se devuelven en formato JSON o CSV.

Características principales de Serpstack

En cuanto a características, la API de Serpstack no deja nada que desear. En primer lugar, el servicio es altamente escalable y siempre sin colas. La poderosa infraestructura en la nube de Apilayer se creó simplemente para soportar solicitudes de API de gran volumen sin la necesidad de una cola. Ha sido el núcleo de varios de los productos de la empresa. También es altamente personalizable. Dado que no hay dos clientes con necesidades idénticas, puede personalizar sus consultas de búsqueda automatizadas en función de una serie de opciones, que incluyen ubicación, idioma, dispositivo y más.

Al usar este producto, se acabó la preocupación por las IP globales, los clústeres de navegadores o CAPTCHA. Gracias a una poderosa red de proxy subyacente, esta API de raspado SERP lo tiene cubierto en casi todas las situaciones. Y también es económico. Obtiene hasta 100 solicitudes mensuales gratis y, si necesita más que eso, y lo más probable es que lo haga, los planes pagos comienzan en solo $ 29.99 al mes. Cubriremos los precios del producto con mayor detalle en breve.

A continuación, se ofrece una descripción general de algunas de las características más importantes del producto:

Integración simple

Usar la API de Scrapestack no podría ser más fácil desde el principio. Solo lleva unos minutos crear consultas personalizadas y comenzar a extraer páginas SERP a cualquier escala utilizando ubicaciones, dispositivos, idiomas personalizados y más.

Alto nivel de seguridad

Todos los flujos de datos enviados y recibidos desde la API de Serpstack se cifran mediante cifrado SSL de 256 bits. Este es el mismo tipo de seguridad que utilizan los sitios bancarios o la mayoría de las plataformas de comercio electrónico. Puede estar seguro de que sus datos permanecerán protegidos.

Velocidad y disponibilidad incomparables

Con una puntuación de disponibilidad casi perfecta, puede estar seguro de que la API de Scrapestack estará allí cuando la necesite. Y una capa nunca compromete la velocidad. Las solicitudes de API enviadas a la API se procesan en cuestión de milisegundos. Por supuesto, la rapidez con que se obtengan los resultados también depende de los tiempos de respuesta de Google.

Elección de formatos de salida

Para facilitar aún más la demanda de los datos SERP, la API REST fácil de usar de Serpstack ofrece una opción de respuestas JSON o CSV. Eso lo hace compatible con cualquier lenguaje de programación.

Soporte de clase mundial

A menudo se dice que un producto es tan bueno como su estructura de soporte técnico. Nuevamente, este es un lugar donde Scrapestack brilla. Si tiene alguna pregunta técnica, un equipo capacitado de especialistas está allí para ayudarlo con cualquier solicitud que pueda tener. La respuesta es rápida y el servicio funciona bastante bien.

Documentación extensa

Tan importante como el soporte, la documentación será a menudo su forma principal de aprender a usar un producto. Serpstack ofrece una extensa documentación de API que está esperando ser explorada. Su uso lo ayudará a comenzar en solo unos minutos y lo convertirá en un experto en cuestión de días, no de semanas o meses.

Usando Serpstack

Basta de fanfarronear sobre las excelentes características del producto, y realmente lo son, echemos un vistazo a cómo puede usar realmente el producto y los diferentes tipos de solicitudes que puede realizar y las respuestas correspondientes que puede esperar.

Los basicos

Para usar la API de Serpstack, primero deberá registrarse para obtener una cuenta. Esto es gratis y, como resultado, se le asignará una clave de acceso API única. Esto es lo que usará a partir de ahora para autenticarse con la API a través de simples solicitudes HTTP GET para acceder a cualquiera de los puntos finales disponibles. Entonces, para usar la API, simplemente necesita agregar su clave API a la URL base usando el parámetro " access_key ". Así es como se ve una solicitud típica, aunque muy básica y totalmente inútil:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

Para mayor seguridad, todos los planes pagos permiten el uso de cifrado SSL de 256 bits. Para usarlo, todo lo que necesita es enviar solicitudes HTTPS en lugar de solicitudes HTTP. Por ejemplo, el ejemplo anterior con cifrado se convertiría en:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

Siempre que falla una solicitud de API, la API de Serpstack devolverá un objeto JSON que contiene detalles sobre el error. Por ejemplo, esto es lo que devolvería la API si se alcanza o se supera el límite máximo permitido de solicitudes de API. Cada plan de suscripción tiene un límite diferente al número de solicitudes que se pueden realizar.

{"success": false, "error": {"code": 104, "type": "use_limit_reached", "info": "Se alcanzó el volumen mensual de solicitudes de API. Actualice su plan". }}

Solicitud y parámetros de API

A menos que se especifique lo contrario, la API de Serpstack siempre mostrará de forma predeterminada los resultados de búsqueda de Google. En consecuencia, si desea consultar la API para los resultados de búsqueda de Google, todo lo que necesita hacer es agregar el parámetro " consulta " a la URL base de la API y configurarlo para una consulta de búsqueda de su elección. Así es como se ve una consulta que usa "mcdonalds" como término de búsqueda con autenticación y encriptación:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY & query = mcdonalds

Como puede ver, esta es una sintaxis bastante simple. Hay, como seguramente habría imaginado, una tonelada de parámetros opcionales que se pueden agregar a una solicitud para limitar aún más los resultados de la búsqueda. Exploraremos algunos de ellos en un momento, pero una lista detallada de todos ellos está disponible en la documentación de la API en línea.

Respuestas API

Las respuestas que obtendrá de la API de Serpstack dependerán en gran medida de su consulta de búsqueda y de los parámetros que elija utilizar. Una consulta básica sin filtrado especificado devolverá una tonelada de datos. Aquí está la parte inicial de la respuesta que obtendría de la consulta de ejemplo anterior.

{"request": {"success": true, "processing_timestamp": 1566207832, "search_url": "https://www.google.com/search?q=mcdonalds", "total_time_taken": 1.5}, "search_parameters" : {"engine": "google", "query": "mcdonalds", "type": "web", "device": "desktop", "google_domain": "google.com", "hl": "en "," gl ":" us "," page ":" 1 "," num ":" 10 "}," search_information ": {" total_results ": 759000000," time_taken_displayed ": 0.91," did_you_mean ": null, "show_results_for": nulo, "query_displayed": "mcdonalds", "ubicación_detectada": nulo,"no_results_for_original_query": falso},

El propósito de la muestra anterior es solo darle una idea de cómo pueden verse los resultados. Solo he incluido las primeras 25 líneas de la respuesta que, en su totalidad, tiene más de cuatrocientas líneas.

Como habrá notado al usar la búsqueda de Google, una página de resultados de búsqueda típica tiene diferentes secciones, cada una de las cuales muestra un tipo diferente de resultados. Tendrá resultados de anuncios pagados, resultados orgánicos, imágenes, videos, etc. Además, una cinta en la parte superior de la página le permitirá mostrar tipos específicos de resultados, como mapas, noticias, compras o libros, solo por nombrar algunos. . Varios parámetros opcionales le permitirán especificar qué tipo de resultados de búsqueda le interesa obtener, lo que simplifica mucho el análisis del archivo JSON resultante. Echemos un vistazo más profundo a algunos de los diferentes tipos de resultados que puede obtener.

Resultados de anuncios

Siempre que haya anuncios patrocinados para su consulta de búsqueda, y lo habrá más a menudo, la respuesta de la API vendrá con un objeto de anuncios. Contiene todos los anuncios en el orden en que se muestran en el resultado de la búsqueda. Incluye tanto anuncios que se muestran en la parte superior como en la parte inferior del resultado de la búsqueda.

Resultados orgánicos

Los resultados de búsqueda orgánicos son los principales resultados de búsqueda proporcionados por Google, y probablemente sean aquellos que le interesen particularmente. Están determinados por una serie de factores, como el tráfico web, los vínculos de retroceso, la presencia en las redes sociales y mucho más. , con el algoritmo exacto mantenido en secreto por Google para mantener su ventaja competitiva. La API analiza estos resultados en detalle y los devuelve como " organic_results ".

Resultados de la imagen

Así como hay dos formas de obtener resultados de imágenes de una búsqueda de Google, hay dos formas en que la API puede devolver imágenes. Al realizar una búsqueda web estándar, Google proporciona algunas imágenes dentro de los resultados de la búsqueda. Estas imágenes, que se denominan imágenes en línea, son devueltas por la API Scrapestack dentro de una matriz " inline_images ".

"image_results": [{"position": 1, "title": "Tarjeta dorada de McDonald's: La verdadera historia ...", "width": 1024, "height": 683, "image_url": "https: // www.rd.com/app/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg "," tipo ":" png " , "url": "https://rd.com", "fuente": "https://rd.com"}, {"posición": 2, "título": "McDonald's - Wikipedia", "ancho" : 1200, "altura": 1051, "image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png" , "type": "png", "url": "https: // en.wikipedia.org/wiki/McDonald%27s "," source ":" https://en.wikipedia.org "}, {" position ": 3," title ":" Mejores nuevos elementos del menú global ... ", "width": 970, "height": 545, "image_url": "https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", "type": "png", "url": "https://thrillist.com/", "fuente": "https://thrillist.com"}]"tipo": "png", "url": "https://thrillist.com/", "fuente": "https://thrillist.com"}]"tipo": "png", "url": "https://thrillist.com/", "fuente": "https://thrillist.com"}]

Si, por otro lado, las imágenes se buscan específicamente, con el parámetro de tipo establecido en imágenes, las imágenes se devuelven como una matriz " image_results ". En estas situaciones, la API devuelve 100 imágenes de forma predeterminada.

Resultados de video

Las mismas consideraciones exactas que acabamos de revisar para las imágenes también son válidas para los resultados de video con la disponibilidad de videos en línea dentro de los resultados de búsqueda globales o resultados de video dedicados

Podríamos continuar buscando páginas y brindarle información detallada sobre los diversos tipos de resultados que la API de Serpstack puede devolver, pero creemos que se está haciendo una idea. Basta decir que cualquier tipo de resultados que devuelva una búsqueda típica de Google también está disponible dentro de la respuesta de la API. Además de los tipos de resultados ya descritos, la API devolverá, resultados de noticias, resultados de compras y resultados locales, así como el contenido del cuadro de respuestas de la página de resultados, cuadro del clima, eventos, carrusel superior, historias principales, etc.

Entornos de programación compatibles

Una de las mejores cosas de la API de Serpstack es que puede usarla fácilmente desde la mayoría de los entornos. Independientemente del idioma que esté utilizando, siempre que pueda enviar solicitudes HTTP, debería estar listo para comenzar. Se admiten todos los lenguajes web populares, como PHP o Python. De hecho, la documentación de la API incluye ejemplos de cómo usarla desde PHP, Python, Nodejs, jQuery, Go y Ruby.

Aquí está, por ejemplo, el código PHP para imprimir el número total de resultados de búsqueda, así como cada resultado de búsqueda orgánico devuelto por la API de Serpstack.

$ queryString = http_build_query (['access_key' => 'YOUR_ACCESS_KEY', 'query' => 'mcdonalds',]); $ ch = curl_init (sprintf ('% s?% s', 'https://api.serpstack.com/search', $ queryString)); curl_setopt ($ ch, CURLOPT_RETURNTRANSFER, verdadero); $ json = curl_exec ($ ch); curl_close ($ ch); $ api_result = json_decode ($ json, verdadero); echo "Resultados totales:", $ api_result ['search_information'] ['total_results'], PHP_EOL; foreach ($ api_result ['organic_results'] como $ número => $ resultado) {echo "{$ número}. {$ resultado ['título']}", PHP_EOL; }

Y aquí hay un código para lograr lo mismo en Python:

importar solicitudes params = {'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds'} api_result = orders.get ('https://api.serpstack.com/search', params) api_response = api_result.json () print "Total results:", api_response ['search_information'] ['total_results'] para el número, resultado en enumerate (api_response ['organic_results'], start = 1): print "% s.% s"% (número, resultado ['título'])

Precios y planes

La API de Serpstack está disponible en varios planes según sus necesidades. El plan más básico es el plan gratuito. Como su nombre lo indica, es gratuito pero, aunque no está limitado en el tiempo como las versiones de prueba típicas, tiene funciones limitadas y un uso limitado. Solo podrá realizar hasta 100 búsquedas por mes.

Los siguientes tres niveles tienen todas las funciones y varían solo según el número máximo de búsquedas mensuales que puede realizar. El plan Básico le dará 5000 por $ 29,99 / mes, el plan Business a $ 99,99 / mes lo eleva a 20 000, y el plan Business Pro le permitirá ejecutar la friolera de 50 000 búsquedas por $ 199,99 por mes. Si ninguno de estos planes le conviene, también existe un plan Enterprise de precio variable que puede personalizarse según sus necesidades exactas. Si elige la facturación anual en lugar de la mensual, tiene derecho a un descuento del 20%, lo que hace que el servicio sea aún más asequible.

Terminando

En pocas palabras, la API de Serpstack es un producto fácil de usar y con todas las funciones que puede hacer un buen uso siempre que necesite obtener datos SERP de Google. Su tiempo de actividad estelar y su impresionante tiempo de respuesta son algunos de sus mejores activos. Con el respaldo de una capa que nos ha brindado otras API excelentes, estamos seguros de que esta brindará los resultados que espera. Este es un producto que solo podemos recomendar.