Revisão de Serpstack: uma API JSON Rest para resultados de pesquisa do Google

Se você precisar buscar resultados de mecanismos de pesquisa - em particular os do Google - uma maneira de fazer isso é executar uma pesquisa real no google.com e tentar analisar o código HTML intrincado que você obterá como resultado. Isso pode ser feito, mas é um grande esforço. Se você quiser seguir um caminho mais fácil, por que não usar uma API SERP dedicada que você pode alimentar com seu termo de pesquisa e que retornará os resultados em um formato que pode ser facilmente analisado. Um desses produtos é a API Serpstack da apilayer . Ele pega sua string de consulta de pesquisa e parâmetros como entrada e retorna os resultados da pesquisa no formato JSON. Vamos dar uma olhada aprofundada no produto.

Começaremos como sempre fazemos, discutindo SERP em geral. A seguir, explicaremos o que é e descreveremos alguns dos diferentes tipos de resultados que normalmente estão disponíveis nos mecanismos de pesquisa. Também exploraremos algumas razões pelas quais alguém usaria uma API SERP. E quando estivermos todos na mesma página, daremos uma olhada detalhada na API Serpstack. Vamos dar uma olhada rápida em alguns de seus principais recursos antes de nos aprofundarmos em como usar a API. E antes de concluirmos, vamos explorar a estrutura de preços do serviço e os planos disponíveis.

SERP em poucas palavras

Em primeiro lugar, SERP é um acrônimo para Search Engine Results Pages. Essas são as páginas da web que são servidas aos usuários quando eles procuram algo online usando um mecanismo de busca como o Google ou o Bing. O usuário especifica sua consulta de pesquisa usando termos e frases específicos que são comumente referidos como palavras-chave e, em seguida, o mecanismo de pesquisa os apresenta com um SERP.

Cada SERP é único. Isso também é verdadeiro para várias consultas de pesquisa realizadas no mesmo mecanismo de pesquisa usando as mesmas palavras-chave ou texto de consulta. A principal razão para isso é que praticamente todos os mecanismos de pesquisa personalizam a experiência de seus usuários, apresentando resultados com base em uma ampla gama de fatores que vão muito além de seus termos de pesquisa. Esses fatores podem incluir a localização física do usuário, seu histórico de navegação e configurações sociais, etc. E, embora dois SERPs possam parecer idênticos e conter muitos dos mesmos resultados, eles geralmente apresentam diferenças sutis.

Provedores de mecanismos de pesquisa como Google, Bing ou outros jogadores estão constantemente evoluindo seus serviços e tecnologias e experimentando seus resultados. Seu objetivo é oferecer aos usuários uma experiência mais responsiva e intuitiva. À medida que novas tecnologias são introduzidas no espaço de busca - e elas estão em um ritmo incrível, a aparência dos SERPs muda, e eles são hoje muito diferentes do que eram antes.

Resultados Orgânicos

SERPs normalmente conterão dois tipos de conteúdo: resultados orgânicos e resultados pagos. Os resultados orgânicos são listas de páginas da web que aparecem como resultado do algoritmo do mecanismo de pesquisa. Mais sobre isso em um momento. A Otimização de Mecanismos de Busca, ou SEO, é a ciência - ou melhor, uma arte - de manipular conteúdo para enganar os mecanismos de busca para listar nosso site para uma palavra-chave ou string de busca específica.

Sobre algoritmos de pesquisa e sinais de classificação

Então, de volta aos resultados orgânicos. Em suma, eles são listagens que foram indexadas pelo mecanismo de pesquisa com base em uma série de fatores que são chamados coletivamente de "sinais de classificação". Por exemplo, o algoritmo de pesquisa usado pelo Google apresenta centenas de fatores de classificação. Os provedores de mecanismos de pesquisa tendem a manter em segredo os detalhes de seu sistema de classificação. Portanto, embora ninguém fora do Google - e possivelmente nem tantas pessoas lá dentro - saiba exatamente quais são os sinais de classificação, alguns são considerados mais importantes do que outros.

Por que usar uma API SERP?

Existem vários motivos pelos quais alguém teria um uso para uma API SERP. Há a necessidade óbvia de recuperar dados SERP periodicamente para seus produtos e sites e mantê-los sob controle ao longo do tempo, pois é uma parte essencial de qualquer estratégia de SEO. Com as classificações em constante flutuação e as palavras-chave de pesquisa se tornando mais ou menos aplicáveis ​​e valiosas com o passar do tempo, só há uma maneira de ficar por dentro dessas mudanças: usar um software como serviço (SaaS) pronto para uso ) solução que implementa dados SERP diretamente em seus próprios aplicativos ou sites usando uma API SERP como o Serpstack.

Resumindo, a principal diferença entre usar um navegador para recuperar dados SERP e usar uma API SERP como o Serpstack é o formato da resposta. A API Serpstack retornará dados JSON que são facilmente analisados ​​por seu software interno. Usá-lo libera você de ter que extrair os dados significativos de toda a formatação da web circundante.

Apresentando Serpstack

Em uma frase, o Serpstack é uma API de resultados de pesquisa do Google precisa e em tempo real. Com a confiança de algumas das maiores marcas em todo o mundo, esta API JSON REST é extremamente rápida e fácil de usar. O produto é desenvolvido e mantido por apilayer, uma empresa de software com sede em Londres, Reino Unido e Viena, Áustria. Originalmente criado a partir de uma necessidade interna de rastrear as posições dos mecanismos de pesquisa de maneira automatizada, o produto cresceu e se tornou uma das APIs SERP mais confiáveis ​​disponíveis no mercado. Quanto a uma camada, esta é a empresa por trás de alguns dos produtos API e SaaS mais populares em todo o mundo, incluindo Currencylayer, Invoicely e Eversign.

A API Serpstack recupera dados SERP de mecanismos de pesquisa de maneira automatizada, usando uma rede proxy e uma tecnologia de captura proprietária sempre que solicitações de API são feitas. Os dados SERP resultantes estão disponíveis publicamente e qualquer pessoa pode acessá-los. Além disso, a API Serpstack suporta quase todos os tipos de resultados de pesquisa retornados pelo Google, incluindo resultados da web, resultados de imagem, resultados de vídeo, resultados de notícias, resultados de compras, anúncios patrocinados, perguntas e muito mais.

Construída com base em uma infraestrutura de nuvem de camada, um sistema em que alguns dos serviços de API em tempo real mais populares do mundo estão em execução, a API Serpstack é altamente escalonável e flexível em qualquer estágio. Ele foi construído para oferecer uma maneira de obter dados SERP do Google em tempo real e em qualquer escala. A implementação do serviço leva apenas alguns minutos usando uma estrutura de URL HTTP GET simples e os resultados são retornados no formato JSON ou CSV.

Principais características do Serpstack

Em termos de recursos, a API Serpstack não deixa nada a desejar. Em primeiro lugar, o serviço é altamente escalonável e sempre sem fila. A poderosa infraestrutura de nuvem da Apilayer foi construída simplesmente para suportar solicitações de API de alto volume sem a necessidade de uma fila. Tem estado no centro de vários produtos da empresa. Também é altamente personalizável. Como não há dois clientes com necessidades idênticas, você pode personalizar suas consultas de pesquisa automatizadas com base em uma série de opções, incluindo localização, idioma, dispositivo e muito mais.

Usando este produto, acabou a preocupação com IPs globais, clusters de navegador ou CAPTCHAs. Graças a uma poderosa rede de proxy subjacente, esta API de scraping SERP cobre quase todas as situações. E também é fácil no orçamento. Você recebe até 100 solicitações mensais gratuitamente e, caso precise de mais do que isso - e provavelmente o fará - os planos pagos começam em apenas $ 29,99 por mês. Abordaremos os preços do produto com mais detalhes em breve.

Esta é uma visão geral de alguns dos recursos mais importantes do produto:

Integração Simples

Usar a API Scrapestack dificilmente poderia ser mais fácil desde o início. Leva apenas alguns minutos para criar consultas personalizadas e começar a copiar páginas SERP em qualquer escala usando locais, dispositivos, idiomas personalizados e muito mais.

Alto Nível de Segurança

Todos os fluxos de dados enviados e recebidos da API Serpstack são criptografados usando criptografia SSL de 256 bits. É o mesmo tipo de segurança usado por sites de bancos ou pela maioria das plataformas de e-commerce. Você pode ter certeza de que seus dados permanecerão protegidos.

Velocidade e disponibilidade incomparáveis

Com uma pontuação de disponibilidade quase perfeita, você pode ter certeza de que a API do Scrapestack estará lá quando você precisar dela. E uma camada nunca compromete a velocidade. As solicitações de API enviadas para a API são processadas em questão de milissegundos. Claro, a rapidez com que os resultados surgem também depende dos tempos de resposta do Google.

Escolha de formatos de saída

Para tornar o processamento dos dados SERP ainda mais fácil, a API REST fácil de usar do Serpstack oferece uma opção de respostas JSON ou CSV. Isso o torna compatível com qualquer linguagem de programação.

Suporte de classe mundial

Costuma-se dizer que um produto é tão bom quanto sua estrutura de suporte técnico. Novamente, este é um lugar onde o Scrapestack brilha. Se você tiver alguma dúvida técnica, uma equipe treinada de especialistas está disponível para ajudá-lo com qualquer solicitação que você possa ter. A resposta é rápida e o serviço funciona muito bem.

Documentação Extensa

Tão importante quanto o suporte, a Documentação geralmente será sua principal forma de aprender a usar um produto. O Serpstack oferece uma extensa documentação de API que está esperando para ser explorada. Usá-lo o ajudará a começar em apenas alguns minutos e o tornará um especialista em questão de dias, não semanas ou meses.

Usando Serpstack

Chega de se gabar dos excelentes recursos do produto - e eles realmente são, vamos dar uma olhada em como você pode realmente usar o produto e os diferentes tipos de solicitações que você pode fazer e as respostas correspondentes que pode esperar.

O básico

Para usar a API Serpstack, você primeiro precisa se inscrever para uma conta. Isso é gratuito e, como resultado, você receberá uma chave de acesso API exclusiva. Isso é o que você usará a partir de agora para autenticar com a API por meio de solicitações HTTP GET simples para acessar qualquer um dos endpoints disponíveis. Portanto, para usar a API, você simplesmente precisa anexar sua chave de API ao URL base usando o parâmetro “ access_key ”. Aqui está o que um pedido típico - embora muito básico e totalmente inútil - se parece:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

Para maior segurança, todos os planos pagos permitem o uso de criptografia SSL de 256 bits. Para usá-lo, tudo que você precisa é enviar solicitações HTTPS em vez de solicitações HTTP. Por exemplo, o exemplo acima com criptografia seria:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

Sempre que uma solicitação de API falha, a API Serpstack retornará um objeto JSON contendo detalhes sobre o erro. Por exemplo, aqui está o que seria retornado pela API se o limite máximo permitido de solicitações de API fosse atingido ou excedido. Cada plano de assinatura tem um limite diferente para o número de solicitações que podem ser feitas.

{"success": false, "error": {"code": 104, "type": "usage_limit_reached", "info": "Seu volume mensal de solicitações de API foi atingido. Atualize seu plano." }}

Solicitação de API e parâmetros

A menos que seja especificado de outra forma, a API Serpstack sempre terá como padrão a entrega de resultados de pesquisa do Google. Consequentemente, se você deseja consultar a API para obter os resultados de pesquisa do Google, tudo o que você precisa fazer é anexar o parâmetro “ consulta ” ao URL base da API e defini-lo como uma consulta de pesquisa de sua escolha. Veja como uma consulta usando “mcdonalds” como o termo de pesquisa se parece com autenticação e criptografia:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY & query = mcdonalds

Como você pode ver, esta é uma sintaxe bastante simples. Existem, como você certamente teria imaginado, uma tonelada de parâmetros opcionais que podem ser anexados a uma solicitação para restringir ainda mais os resultados da pesquisa. Exploraremos alguns deles em um momento, mas uma lista detalhada de todos eles está disponível na documentação da API online.

Respostas API

As respostas que você obterá da API Serpstack dependerão fortemente de sua consulta de pesquisa e dos parâmetros que você escolher usar. Uma consulta básica sem filtragem especificada retornará uma tonelada de dados. Aqui está a parte inicial da resposta que você obteria da consulta de exemplo acima.

{"request": {"success": true, "processing_timestamp": 1566207832, "search_url": "https://www.google.com/search?q=mcdonalds", "total_time_taken": 1.5}, "search_parameters" : {"engine": "google", "query": "mcdonalds", "type": "web", "device": "desktop", "google_domain": "google.com", "hl": "en "," gl ":" us "," page ":" 1 "," num ":" 10 "}," search_information ": {" total_results ": 759000000," time_taken_displayed ": 0.91," did_you_mean ": null, "showing_results_for": null, "query_displayed": "mcdonalds", "installed_location": null,"no_results_for_original_query": false},

O objetivo do exemplo acima é apenas dar uma ideia de como podem ser os resultados. Incluí apenas as primeiras 25 linhas da resposta que, em sua totalidade, tem mais de quatrocentas linhas.

Como você deve ter notado ao usar a pesquisa do Google, uma página de resultado de pesquisa típica possui diferentes seções, cada uma exibindo um tipo diferente de resultados. Você terá resultados de anúncios pagos, resultados orgânicos, imagens, vídeos, etc. Além disso, uma faixa na parte superior da página permitirá que você exiba tipos específicos de resultados, como mapas, notícias, compras ou livros, apenas para citar alguns . Vários parâmetros opcionais permitirão que você especifique que tipo de resultados de pesquisa você está interessado em obter, tornando a análise do arquivo JSON resultante muito mais simples. Vamos dar uma olhada em alguns dos diferentes tipos de resultados que você pode obter.

Resultados do anúncio

Sempre que houver anúncios patrocinados para sua consulta de pesquisa - e na maioria das vezes haverá, a resposta da API virá com um objeto de anúncios. Ele contém todos os anúncios na ordem em que são exibidos no resultado da pesquisa. Inclui os anúncios que são exibidos na parte superior e na parte inferior do resultado da pesquisa.

Resultados Orgânicos

Os resultados da pesquisa orgânica são os principais resultados da pesquisa fornecidos pelo Google e, provavelmente, são aqueles nos quais você terá particular interesse. Eles são determinados por uma série de fatores, como tráfego da web, backlinks, presença na mídia social e muito mais , com o algoritmo exato mantido em segredo pelo Google para manter sua vantagem competitiva. Esses resultados são analisados ​​pela API em detalhes e retornados como “ organic_results ”.

Resultados da imagem

Assim como há duas maneiras de obter resultados de imagens em uma pesquisa do Google, há duas maneiras de as imagens serem retornadas pela API. Ao fazer uma pesquisa na web padrão, algumas imagens são fornecidas pelo Google nos resultados da pesquisa. Essas imagens - que são chamadas de imagens inline - são retornadas pela API Scrapestack dentro de um array “ inline_images ”.

"image_results": [{"position": 1, "title": "McDonald's Gold Card: The True Story ...", "width": 1024, "height": 683, "image_url": "https: // www.rd.com/app/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg "," type ":" png " , "url": "https://rd.com", "source": "https://rd.com"}, {"position": 2, "title": "McDonald's - Wikipedia", "width" : 1200, "height": 1051, "image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png" , "tipo": "png", "url": "https: // en.wikipedia.org/wiki/McDonald%27s "," source ":" https://en.wikipedia.org "}, {" position ": 3," title ":" Best New Global Menu Items ... ", "largura": 970, "altura": 545, "imagem_url": "https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", "tipo": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com"}]"type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com"}]"type": "png", "url": "https://thrillist.com/", "source": "https://thrillist.com"}]

Se, por outro lado, as imagens são pesquisadas especificamente, com o parâmetro de tipo definido para imagens, as imagens são retornadas como um array “ image_results ”. Nessas situações, a API retorna 100 imagens por padrão.

Resultados de Vídeo

As mesmas considerações que acabamos de examinar para imagens também são válidas para resultados de vídeo com a disponibilidade de ambos os vídeos embutidos nos resultados de pesquisa global ou resultados de vídeo dedicados

Poderíamos prosseguir para as páginas e fornecer informações detalhadas sobre os vários tipos de resultados que a API Serpstack pode retornar, mas achamos que você está entendendo. Basta dizer que qualquer tipo de resultado retornado por uma pesquisa típica do Google também está disponível na resposta da API. Além dos tipos de resultados já descritos, a API retornará, resultados de notícias, resultados de compras e resultados locais, bem como o conteúdo da caixa de resposta da página de resultados, caixa de previsão do tempo, eventos, carrossel principal, notícias principais, etc.

Ambientes de programação com suporte

Uma das melhores coisas sobre a API Serpstack é que você pode usá-la facilmente na maioria dos ambientes. Qualquer que seja a linguagem que você está usando, contanto que você possa enviar solicitações HTTP, você deve estar pronto para ir. Todas as linguagens populares da web, como PHP ou Python, são suportadas. Na verdade, a documentação da API inclui exemplos de como usá-la em PHP, Python, Nodejs, jQuery, Go e Ruby.

Aqui está, por exemplo, o código PHP para imprimir o número total de resultados da pesquisa, bem como cada resultado da pesquisa orgânica retornado pela API Serpstack.

$ queryString = http_build_query (['access_key' => 'YOUR_ACCESS_KEY', 'query' => 'mcdonalds',]); $ ch = curl_init (sprintf ('% s?% s', 'https://api.serpstack.com/search', $ queryString)); curl_setopt ($ ch, CURLOPT_RETURNTRANSFER, true); $ json = curl_exec ($ ch); curl_close ($ ch); $ api_result = json_decode ($ json, true); echo "Resultados totais:", $ api_result ['search_information'] ['total_results'], PHP_EOL; foreach ($ api_result ['organic_results'] as $ number => $ result) {echo "{$ number}. {$ result ['title']}", PHP_EOL; }

E aqui está um código para realizar a mesma coisa em Python:

pedidos de importação params = {'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds'} api_result = requests.get ('https://api.serpstack.com/search', params) api_response = api_result.json () print "Resultados totais:", api_response ['search_information'] ['total_results'] para número, resultado em enumerar (api_response ['organic_response'], start = 1): print "% s.% s"% (número, resultado ['título'])

Preços e planos

A API Serpstack está disponível em vários planos, dependendo de suas necessidades. O plano mais básico é o plano Gratuito. Como o próprio nome indica, é gratuito, mas, embora não seja limitado no tempo como as versões de teste típicas, é limitado em recursos e também em uso. Você só poderá fazer até 100 pesquisas por mês.

Os próximos três níveis são completos e variam apenas de acordo com o número máximo de pesquisas mensais que você pode executar. O plano básico lhe dará 5.000 por $ 29,99 / mês, o plano de negócios a $ 99,99 / mês aumenta para 20.000 e o plano Business Pro permite que você execute 50.000 pesquisas colossais por $ 199,99 por mês. Se nenhum desses planos for adequado para você, há também um plano Enterprise de preço variável que pode ser personalizado de acordo com suas necessidades específicas. Caso opte pelo faturamento anual em vez do mensal, você tem direito a um desconto de 20%, tornando o serviço ainda mais acessível.

Empacotando

Resumindo, a API Serpstack é um produto fácil de usar e com todos os recursos que você pode usar sempre que precisar buscar dados SERP do Google. Seu tempo de atividade estelar e tempo de resposta impressionante são alguns de seus melhores ativos. Com o respaldo de uma camada que nos trouxe outras APIs excelentes, estamos confiantes de que esta fornecerá os resultados que você espera. Este é um produto que só podemos recomendar.