Serpstackレビュー：Google検索結果用のJSON Rest API

検索エンジンの結果（特にGoogleからの結果）を取得する必要がある場合、そのための1つの方法は、google.comで実際の検索を実行し、結果として得られる複雑なHTMLコードを解析することです。それは可能ですが、それはかなりの努力です。より簡単なルートを使用したい場合は、検索用語を入力できる専用のSERP APIを使用して、簡単に解析できる形式で結果を返すようにしてください。そのような製品の1つは、apilayerのSerpstackAPIです。検索クエリ文字列とパラメータを入力として受け取り、検索結果をJSON形式で返します。製品を詳しく見てみましょう。

よくあることですが、SERP全般について説明することから始めます。次に、それが何であるかを説明し、検索エンジンから通常利用できるさまざまなタイプの結果のいくつかについて説明します。また、SERPAPIを使用する理由についても説明します。そして、すべてが同じページになったら、SerpstackAPIについて詳しく見ていきます。APIの使用方法を掘り下げる前に、その主な機能のいくつかを簡単に見ていきます。結論を出す前に、サービスの料金体系と利用可能なプランについて説明します。

一言で言えばSERP

まず最初に、SERPは検索エンジンの結果ページの頭字語です。これらは、ユーザーがGoogleやBingなどの検索エンジンを使用してオンラインで何かを検索するときに提供されるWebページです。ユーザーは、一般にキーワードと呼ばれる特定の用語やフレーズを使用して検索クエリを指定すると、検索エンジンがそれらにSERPを提示します。

すべてのSERPは一意です。これは、同じキーワードまたはクエリテキストを使用して同じ検索エンジンで実行される複数の検索クエリにも当てはまります。その主な理由は、事実上すべての検索エンジンが、検索用語をはるかに超えるさまざまな要因に基づいて結果を表示することにより、ユーザーのエクスペリエンスをカスタマイズすることです。これらの要因には、ユーザーの物理的な場所、閲覧履歴、ソーシャル設定などが含まれます。2つのSERPは同じように見え、同じ結果の多くが含まれている場合がありますが、多くの場合、微妙な違いがあります。

Google、Bing、その他のプレーヤーなどの検索エンジンプロバイダーは、サービスとテクノロジーを絶えず進化させ、その結果を実験しています。彼らの目標は、ユーザーにより応答性が高く直感的なエクスペリエンスを提供することです。サーチスペースに新しいテクノロジーが導入されると、それらは驚くべきペースで変化し、SERPの外観は変化し、今日では以前とはまったく異なります。

有機的な結果

SERPには通常、オーガニック検索結果と有料検索結果の2種類のコンテンツが含まれます。オーガニック検索結果は、検索エンジンのアルゴリズムの結果として表示されるWebページのリストです。これについてはすぐに詳しく説明します。検索エンジン最適化（SEO）は、コンテンツを操作して検索エンジンをだまし、特定のキーワードまたは検索文字列のWebサイトを一覧表示させる科学です。

検索アルゴリズムとランキング信号について

では、有機的な結果に戻りましょう。一言で言えば、それらはまとめて「ランキング信号」と呼ばれるいくつかの要因に基づいて検索エンジンによって索引付けされたリストです。たとえば、Googleが使用する検索アルゴリズムには、何百ものランキング要素があります。検索エンジンプロバイダーは、ランキングシステムの詳細を秘密にしておく傾向があります。したがって、Googleの外部の誰も、そしておそらく内部の多くの人々は、ランキング信号が何であるかを正確に知っていませんが、一部は他よりも重要であると考えられています。

なぜSERPAPIを使用するのですか？

誰もがSERPAPIを使用する理由はいくつかあります。SEO戦略の重要な部分であるため、製品やWebサイトのSERPデータを定期的に取得し、それを長期にわたって追跡する必要があることは明らかです。ランキングは絶えず変動し、検索キーワードは時間の経過とともに多かれ少なかれ適用可能で価値のあるものになります。これらの変化を把握する唯一の方法は、既製のサービスとしてのソフトウェア（SaaS）を使用することです。 ）SerpstackなどのSERP APIを使用して、SERPデータを独自のアプリケーションまたはWebサイトに直接実装するソリューション。

一言で言えば、ブラウザを使用してSERPデータを取得することと、SerpstackなどのSERP APIを使用することの主な違いは、応答の形式です。Serpstack APIは、社内ソフトウェアで簡単に解析できるJSONデータを返します。これを使用すると、周囲のすべてのWebフォーマットから意味のあるデータを抽出する必要がなくなります。

Serpstackの紹介

一言で言えば、Serpstackはリアルタイムで正確なGoogle検索結果APIです。世界最大のブランドのいくつかから信頼されているこのJSONREST APIは、非常に高速で使いやすいです。この製品は、英国のロンドンとオーストリアのウィーンに拠点を置くソフトウェア会社であるapilayerによって構築および保守されています。もともとは自動化された方法で検索エンジンの位置を追跡するという内部の必要性から作成されましたが、この製品は市場で入手可能な最も信頼できるSERPAPIの1つに成長しました。apilayerに関しては、これは、Currencylayer、Invoicely、Eversignなど、世界中で最も人気のあるAPIおよびSaaS製品の背後にある会社です。

Serpstack APIは、APIリクエストが行われるたびに、プロキシネットワークと独自のスクレイピングテクノロジーを使用して、自動化された方法で検索エンジンからSERPデータを取得します。結果のSERPデータは公開されており、誰でもアクセスできます。さらに、Serpstack APIは、ウェブ結果、画像結果、動画結果、ニュース結果、ショッピング結果、スポンサー広告、質問など、Googleから返されるほぼすべての検索結果タイプをサポートしています。

世界で最も人気のあるリアルタイムAPIサービスのいくつかが実行されているシステムであるapilayerクラウドインフラストラクチャ上に構築されたSerpstackAPIは、どの段階でも非常にスケーラブルで柔軟性があります。これは、GoogleSERPデータをリアルタイムおよび任意の規模でスクレイピングする方法を提供するために構築されました。単純なHTTPGET URL構造を使用してサービスを実装するのに数分かかり、結果はJSONまたはCSV形式で返されます。

Serpstackの主な機能

機能面では、SerpstackAPIには何も望まれていません。何よりもまず、このサービスは非常にスケーラブルで、常にキューレスです。Apilayerの強力なクラウドインフラストラクチャは、キューを必要とせずに大量のAPIリクエストに耐えるように構築されただけです。これは、同社のいくつかの製品の中核となっています。また、高度にカスタマイズ可能です。2人の顧客が同じニーズを持っているわけではないため、場所、言語、デバイスなどの一連のオプションに基づいて自動検索クエリを調整できます。

この製品を使用すると、グローバルIP、ブラウザークラスター、またはCAPTCHAについての心配がなくなります。強力な基盤となるプロキシネットワークのおかげで、このSERPスクレイピングAPIにより、ほぼすべての状況に対応できます。そしてそれはまた予算で簡単です。毎月最大100件のリクエストを無料で受け取ることができます。それ以上のリクエストが必要な場合は、おそらく必要になりますが、有料プランは月額わずか29.99ドルからです。製品の価格については、後ほど詳しく説明します。

製品の最も重要な機能の概要は次のとおりです。

シンプルな統合

Scrapestack APIの使用は、最初から簡単なことではありません。カスタマイズされたクエリを作成し、カスタムの場所、デバイス、言語などを使用して任意の規模でSERPページのスクレイピングを開始するのに数分しかかかりません。

高レベルのセキュリティ

Serpstack APIとの間で送受信されるすべてのデータストリームは、256ビットSSL暗号化を使用して暗号化されます。これは、銀行のサイトやほとんどのeコマースプラットフォームで使用されているのと同じタイプのセキュリティです。データは引き続き保護されますのでご安心ください。

比類のない速度と可用性

ほぼ完璧な可用性スコアにより、ScrapestackAPIが必要なときにそこにあるので安心できます。そして、apilayerは速度に妥協することはありません。APIに送信されたAPIリクエストは、数ミリ秒で処理されます。もちろん、結果がどのくらいの速さで得られるかは、Googleの応答時間にも依存します。

出力フォーマットの選択

SERPデータの訴えをさらに簡単にするために、Serpstackの使いやすいREST APIは、JSONまたはCSV応答の選択肢を提供します。これにより、あらゆるプログラミング言語と互換性があります。

ワールドクラスのサポート

製品はそのテクニカルサポート構造と同じくらい良いとよく言われます。繰り返しになりますが、これはScrapestackが輝く場所です。技術的な質問がある場合は、訓練を受けた専門家チームが、お客様からのリクエストに対応します。応答は迅速で、サービスはかなりうまく機能します。

広範なドキュメント

サポートと同じくらい重要なことですが、ドキュメントは多くの場合、製品の使用方法を学ぶための主要な方法になります。Serpstackは、調査されるのを待っている広範なAPIドキュメントを提供します。これを使用すると、わずか数分で開始でき、数週間や数か月ではなく、数日でエキスパートになります。

Serpstackの使用

製品の優れた機能について自慢することは十分ですが、実際に製品をどのように使用できるか、さまざまな種類の要求とそれに対応する期待できる応答を見てみましょう。

基礎

Serpstack APIを使用するには、最初にアカウントにサインアップする必要があります。これは無料であり、その結果、一意のAPIアクセスキーが割り当てられます。これは、利用可能なエンドポイントのいずれかにアクセスするための単純なHTTP GETリクエストを介してAPIで認証するために、これから使用するものです。したがって、APIを使用するには、「access_key」パラメータを使用してAPIキーをベースURLに追加するだけです。非常に基本的でまったく役に立たないものの、典型的なリクエストは次のようになります。

https://api.serpstack.com/search？access_key = YOUR_ACCESS_KEY

セキュリティを強化するために、すべての有料プランで256ビットSSL暗号化を使用できます。これを使用するには、HTTPリクエストの代わりにHTTPSリクエストを送信するだけです。たとえば、暗号化を使用した上記の例は次のようになります。

https://api.serpstack.com/search？access_key = YOUR_ACCESS_KEY

APIリクエストが失敗するたびに、SerpstackAPIはエラーに関する詳細を含むJSONオブジェクトを返します。たとえば、許可されているAPIリクエストの最大制限に達した場合、または超えた場合にAPIから返される内容は次のとおりです。サブスクリプションプランごとに、実行できるリクエストの数に異なる制限があります。

{"success"：false、 "error"：{"code"：104、 "type"： "usage_limit_reached"、 "info"： "毎月のAPIリクエスト量に達しました。プランをアップグレードしてください。" }}

APIリクエストとパラメータ

特に指定がない限り、SerpstackAPIは常にデフォルトでGoogleからの検索結果を配信します。したがって、Google検索結果のAPIをクエリする場合は、「query」パラメータをAPIのベースURLに追加し、選択した検索クエリに設定するだけです。検索語として「mcdonalds」を使用したクエリは、認証と暗号化でどのように表示されますか。

https://api.serpstack.com/search？access_key = YOUR_ACCESS_KEY＆query = mcdonalds

ご覧のとおり、これはかなり単純な構文です。ご想像のとおり、検索結果をさらに絞り込むためにリクエストに追加できるオプションのパラメータがたくさんあります。それらのいくつかについてはすぐに説明しますが、それらすべての詳細なリストは、オンラインAPIドキュメントで入手できます。

APIレスポンス

Serpstack APIから取得する応答は、検索クエリと使用するパラメーターに大きく依存します。フィルタリングが指定されていない基本的なクエリは、大量のデータを返します。上記のクエリ例から得られる応答の最初の部分は次のとおりです。

{"request"：{"success"：true、 "processed_timestamp"：1566207832、 "search_url"： "https://www.google.com/search?q=mcdonalds"、 "total_time_taken"：1.5}、 "search_parameters" ：{"engine"： "google"、 "query"： "mcdonalds"、 "type"： "web"、 "device"： "desktop"、 "google_domain"： "google.com"、 "hl"： "en "、" gl "：" us "、" page "：" 1 "、" num "：" 10 "}、" search_information "：{" total_results "：759000000、" time_taken_displayed "：0.91、" did_you_mean "：null、 "showing_results_for"：null、 "query_displayed"： "mcdonalds"、 "detected_location"：null、"no_results_for_original_query"：false}、

上記のサンプルの目的は、結果がどのようになるかを理解することだけです。応答の最初の25行のみを含めましたが、全体で400行を超えています。

Google検索を使用しているときに気付いたかもしれませんが、一般的な検索結果ページにはさまざまなセクションがあり、それぞれに異なるタイプの結果が表示されます。有料広告の結果、オーガニック検索結果、画像、動画などが表示されます。さらに、ページ上部のリボンを使用すると、地図、ニュース、ショッピング、書籍など、特定の種類の結果を表示できます。 。さまざまなオプションのパラメーターを使用すると、取得する検索結果のタイプを指定できるため、結果のJSONファイルの解析がはるかに簡単になります。取得できるさまざまなタイプの結果のいくつかを詳しく見ていきましょう。

広告の結果

検索クエリにスポンサー広告がある場合は常に、ほとんどの場合、API応答には広告オブジェクトが含まれます。検索結果に表示された順序ですべての広告が含まれています。これには、検索結果の上部と下部に表示される両方の広告が含まれます。

有機的な結果

オーガニック検索結果は、Googleが提供する主な検索結果であり、特に関心のある検索結果である可能性があります。これらは、Webトラフィック、バックリンク、ソーシャルメディアの存在など、一連の要因によって決定されます。 、その競争力を維持するためにグーグルによって秘密にされた正確なアルゴリズムで。これらの結果はAPIによって詳細に解析され、「organic_results」として返されます。

画像結果

Google検索から画像の結果を取得する方法が2つあるのと同様に、APIによって画像を返す方法も2つあります。標準のウェブ検索を行う場合、一部の画像は検索結果内にGoogleによって提供されます。これらの画像（インライン画像と呼ばれます）は、「inline_images」配列内のScrapestackAPIによって返されます。

"image_results"：[{"position"：1、 "title"： "マクドナルドのゴールドカード：実話..."、 "width"：1024、 "height"：683、 "image_url"： "https：// www.rd.com/app/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg "、" type "：" png " 、 "url"： "https://rd.com"、 "source"： "https://rd.com"}、{"position"：2、 "title"： "マクドナルド-ウィキペディア"、 "width" ：1200、 "高さ"：1051、 "image_url"： "https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png" 、 "type"： "png"、 "url"： "https：// en。wikipedia.org/wiki/McDonald%27s "、" source "：" https://en.wikipedia.org "}、{" position "：3、" title "：" Best New Global Menu Items ... "、 "幅"：970、 "高さ"：545、 "画像_url"： "https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg"、 "タイプ"： "png"、 "url"： "https://thrillist.com/"、 "source"： "https://thrillist.com"}]"type"： "png"、 "url"： "https://thrillist.com/"、 "source"： "https://thrillist.com"}]"type"： "png"、 "url"： "https://thrillist.com/"、 "source"： "https://thrillist.com"}]

一方、typeパラメータをimagesに設定して画像を具体的に検索すると、画像は「image_results」配列として返されます。このような状況では、APIはデフォルトで100枚の画像を返します。

ビデオ結果

画像について説明したのとまったく同じ考慮事項は、グローバル検索結果または専用のビデオ結果を含むインラインビデオの両方を利用できるビデオ結果にも当てはまります。

ページに進んで、Serpstack APIが返すことができるさまざまなタイプの結果に関する詳細情報を提供することもできますが、全体像を把握していると思います。通常のGoogle検索で返される結果の種類はすべて、APIの応答内でも利用できると言えば十分です。すでに説明したタイプの結果に加えて、APIは、ニュース結果、ショッピング結果、ローカル結果、および結果ページの回答ボックス、天気ボックス、イベント、トップカルーセル、トップストーリーなどのコンテンツを返します。

サポートされているプログラミング環境

Serpstack APIの最も優れている点の1つは、ほとんどの環境から簡単に使用できることです。使用している言語が何であれ、HTTPリクエストを送信できる限り、問題はありません。PHPやPythonなどの一般的なWeb言語がすべてサポートされています。実際、APIのドキュメントには、PHP、Python、Nodejs、jQuery、Go、Rubyからの使用方法の例が含まれています。

たとえば、検索結果の総数と、SerpstackAPIによって返される各オーガニック検索結果を出力するPHPコードを次に示します。

$ queryString = http_build_query（['access_key' => 'YOUR_ACCESS_KEY'、 'query' => 'mcdonalds'、]）; $ ch = curl_init（sprintf（ '％s？％s'、 'https：//api.serpstack.com/search'、$ queryString））; curl_setopt（$ ch、CURLOPT_RETURNTRANSFER、true）; $ json = curl_exec（$ ch）; curl_close（$ ch）; $ api_result = json_decode（$ json、true）; echo "合計結果："、$ api_result ['search_information'] ['total_results']、PHP_EOL; foreach（$ api_result ['organic_results'] as $ number => $ result）{echo "{$ number}。{$ result ['title']}"、PHP_EOL; }

そして、Pythonで同じことを実現するためのコードを次に示します。

import requests params = {'access_key'： 'YOUR_ACCESS_KEY'、 'query'： 'mcdonalds'} api_result = requests.get（ 'https://api.serpstack.com/search'、params）api_response = api_result.json（） print "Total results："、api_response ['search_information'] ['total_results'] for number、result in enumerate（api_response ['organic_results']、start = 1）：print "％s。％s"％（number、result ['タイトル']）

価格とプラン

Serpstack APIは、ニーズに応じていくつかのプランで利用できます。最も基本的なプランは無料プランです。その名前が示すように、無料ですが、通常の試用版のように時間制限はありませんが、機能制限と使用制限があります。1か月に実行できる検索は最大100回までです。

次の3つのレベルはフル機能であり、実行できる月間検索の最大数によってのみ異なります。基本プランでは月額$ 29.99で5000、月額$ 99.99のビジネスプランでは最大20000、ビジネスプロプランでは月額$ 199.99でなんと50000回の検索を実行できます。これらのプランのいずれもあなたに合わない場合は、正確なニーズに合わせてカスタマイズできるさまざまな価格のエンタープライズプランもあります。月単位ではなく年単位の請求を選択すると、20％の割引が受けられ、サービスがさらに手頃な価格になります。

まとめ

一言で言えば、Serpstack APIは使いやすく、フル機能の製品であり、GoogleからSERPデータを取得する必要があるときにいつでも有効に活用できます。その優れた稼働時間と印象的な応答時間は、その最高の資産の一部です。他の優れたAPIを提供してくれたapilayerに支えられて、これが期待どおりの結果をもたらすと確信しています。お勧めできる商品です。