Zenserpを使用した柔軟で拡張性の高いリアルタイムSERPスクレイピング（レビュー）

Googleには、検索結果ページから公開されているデータを取得しようとするSEO開発者に苦労してきた長い歴史があります。実際、SERPスクレイピングは公式にはBigGの利用規約に違反しています。ただし、この慣行はコンピュータ犯罪取締法（CFAA）に違反していないため、この慣行を削減するためのGoogleによる直接的な法的措置は横ばいになっています。

したがって、スクレイピングは実際には違法ではなく、実際には誰かの気持ちを傷つけるものではありませんが、開発者は、データ収集を妨げるためにGoogleが設計した障害に対処する必要があります。一般的な頭痛の種には、キャプチャとIPブロッキングが含まれます。過去に排除措置の手紙が送られてきましたが、この戦術はますますまれになっています。

しかし、貴重なデータを取得するためにこれらの迷惑行為にまったく対処する必要がなかったとしたらどうでしょうか。オーストリアを拠点とするSaaSIndustriesのコア製品であるZenserpに参加してください。

一言で言えばZenserp

Zenserp APIは、一般的なスクレイピングのハードルをクリアするためのターンキーソリューションを探しているSEO開発者にとって夢のツールです。SaaS Industriesのユーザー中心の開発サイクルと幅広い言語互換性（Browser、Curl、Python、Node.js、PHP）のおかげで、使用と統合は非常に簡単です。さらに、消費者のフィードバックや機能のリクエストに対する彼らの貪欲な欲求により、2019年4月の大規模なAPIアップデートにより、Google画像、動画、地図、ニュース、ショッピング、トレンドなど、さまざまなデータタイプが含まれるようになりました。

競争力のある価格設定と世界クラスのカスタマーサービスを組み合わせることで、ZenserpのSERPスクレイピングの問題に対するオールインワンソリューションを真に実現できます。

Zenserpの使用を開始する

では、実際にZenserpを使用するのはどのようなものですか？以下では、Zenserpの使用を開始するプロセスについて説明します。次に、APIドキュメントを詳しく調べて、Zenserpの堅牢な機能を詳しく見ていきます。

ダッシュボードの概要

Zenserpのすべてを覗き見していると仮定すると、ホームページの明るい緑色の[無料プランにサインアップ]ボタンをクリックします。アカウントを作成して確認したら、[ログイン]をクリックしてダッシュボードにアクセスします。

表示されるページには、APIキー、月間リクエストクォータ、APIの使用状況、発生した可能性のある失敗したリクエストのドキュメントなど、最も重要な使用情報の概要が表示されます。新しいZenserpユーザーを豊富な有用なリソースに導く便利なRequestBuilderセクションもあります。これのほとんどは、このレビューのドキュメンテーションセクションでカバーするものなので、それに固執してください。

今のところ、すべてのサイドバーオプションを簡単に見てみましょう。

• ダッシュボード–あなたはすでにここにいます！これは、いつでも概要ページに戻るためのクイックリンクです。
• 遊び場–適切な名前が付けられたこのページは、Zenserpのさまざまなエンドポイントをいじくり回すための、完全に視覚的な（つまり、コーディングが不要な）インタラクティブなインターフェイスを提供します。ここでは、いくつかのサンプルレスポンスを生成し、それらを使用してAPIリクエストを構成できます。このツールの機能を超えるコーナーケースがあるため、この100％に依存しないでください。それでも、実際に機能するものを見つけたときに、実験をコード（Browser、Curl、Python、Node.js、PHP）にエクスポートするオプションがあることを私たちは気に入っています。
• ドキュメント– ZenserpAPIの本質について詳しく説明します。これについては、以下で詳しく説明します。
• プロファイル/セキュリティ–アバター、連絡先情報、パスワード管理などの基本的なアカウント構成。特別なことは何もありません。
• 請求–サブスクリプションレベルのアップグレード/ダウングレード/キャンセル、支払い方法とVAT IDの管理、および会計を容易にするためにZenserp請求書にテキストを含めるように要求できる無料フィールドの3つのオプションで構成されます。

これらはすべて、どのAPIにとってもかなり標準的な料金ですが、すべてが単純にレイアウトされていることを高く評価しています。あなたが見るものはあなたが得るものであり、Zenserpはあなたのプロフィールのあいまいな隅にサブスクリプション設定を埋めようとはしません。

ZenserpAPIドキュメント

基本がわからなくなったので、今度は良いもの、Zenserpのドキュメントに取り掛かることができます。ここでは、APIの機能とその使用方法を正確に確認できます。アプリへの完全なAPI実装はこのレビューの範囲を超えていますが、各エンドポイント、いくつかの主要なパラメーターに簡単に触れ、いくつかの応答例を提供します。

基本機能

ドキュメントページから始めるのは、適切な名前の「はじめに」セクションです。このセクションでは、他のすべてのエンドポイントと対話できる最も基本的なAPI関数について詳しく説明しています。見てみましょう：

• 認証–これは認証にAPIキーを使用する方法を示しています。ヘッダーに使用例があり、その後にGETおよびPOSTリクエストの例が続きます。簡単に簡単。
• / status –サブスクリプション制限ごとに残りのリクエスト数をリクエストできます。結局のところ、アプリに直接通知させることができるのに、なぜわざわざZenserpダッシュボードにログインするのでしょうか。
• / batch –このエンドポイントを追加すると、1回のバッチで最大1,000回の検索を行うことができます。バッチIDごとに特定のすべてのバッチを一度に要求するか、必要に応じて新しいバッチを送信するか、既存のバッチをマージするオプションがあります。
• エラーコード– Zenserpには、月間制限に達した場合や誤ったAPIキーを使用した場合は403 Forbidden、結果が見つからなかった場合は404、サーバーエラーが発生した場合は500など、発生時にエラーを返す機能もあります。失敗したリクエストはダッシュボードにも表示されることを忘れないでください。

/ searchエンドポイント

Zenserpのコア機能はここにあります。APIリクエストに/ searchを追加することで、SERPSを収集するために考えられる基本的にすべてのデータに関する包括的な配列を受け取ることができます。クエリは、次のようなさまざまな結果を返します。

• オーガニック検索結果–オーガニックSERPをクエリすると、アイテムのランキング、タイトル、表示URLとリンク先URLの両方、いくつかのタイプのレビュー、リンクがGoogle AMPリンクかどうか、ページの説明を表す文字列、ローカルなど、あらゆる種類のデータが返されます。ビジネス情報を含む3パック。
• 有料の結果–有料の結果の完全な概要も表示されます。返される情報には、有料の位置（上、右、または下）、タイトル、AdWordsトラッキングURL、ブレッドクラム、Googleに表示される表示URL、ページの説明、および有料のプロダクトプレースメント（位置、タイトル、関連画像、URLを含む）が含まれます、そしてもちろん、価格）。
• 回答ボックス/注目のスニペット/トップストーリー–あらゆるSEOに対する純金。SERPでこれらの切望されたスポットを獲得するために何が最も効果的かを簡単に確認し、それらの結果を複製するための戦略を構築します。
• 関連検索/意味– Zenserpは、関連するすべての検索に関する貴重なデータをクエリに返すことで、キーワードの調査を強化します。また、ユーザーがクエリを検索するときに発生する一般的なエラーにGoogleがどのように対応するかを予測することもできます。

Zenserpのドキュメントに表示される例の縮小版を次に示します。クエリは「PiedPiper」です。さまざまな種類の結果が順番に表示されます。ウィキペディアのエントリ（1）、クエリに関連する質問（2）、完全に一致するドメイン名のWebサイト（3）、PiedPiperの起源に関する人気の記事（4）、およびトピック（5）に関するいくつかの関連ビデオ。関連する検索フレーズと、返された結果の総数も表示されます。

net / myths-legends / disturbing-true-story-pied-piper-hamelin-001969 "、" destination "：" https://www.ancient-origins.net› myths-legends› disturbing-true-story-pie。 .. "、" description "：" 2014年8月14日-多くの人がハメリンのパイドパイパーの話に精通しています。しかし、ストーリーが実際の出来事に基づいていることに気付く人はほとんどいません... "、" isAmp "：false}、{" position "：5、" videos "：[{" title "：" Pied Piper "、 "url"： "https://www.youtube.com/watch?v=VEZ_Ui6d9AM"、 "parsed"：{"source"： "YouTube"、 "date"： "2018年5月2日"、 "channel"： "BTS-トピック"}}、{"タイトル"： "ハメリンのパイドパイパーの本当の歴史| おとぎ話... "、" url "：" https：

検索タイプでリクエストを絞り込む

デフォルトのSERPリクエストに加えて、検索タイプ（画像、動画、地図、ショッピング、ニュース、ショッピングなど）でGoogle検索クエリをさらに絞り込むことができます。tbm（「一致する」）パラメータを次のオプションのいずれかに設定するだけです。

• isch –Google画像検索の結果を返します。このリクエストは、位置、サムネイル、ソースURL、タイトルなどを含む一連のデータを返します。（逆画像検索の場合、tbm = ischの代わりにimage_urlパラメーターを実行します）
• vid –Googleビデオ検索の結果を返します。ソースドメイン、ビデオURL、タイトル、説明、および拡張機能やサムネイルなどの情報を取得します。
• lcl – SEOデータのもう1つの金鉱である、lclパラメーターはGoogleマップの検索結果を返します。お店や場所の名前、ウェブサイトのURL、結果が支払われているかどうか、星やレビューに加えて、住所、電話番号、営業時間、注目すべき価格、さらには業種などの重要な情報が表示されます。これらのビジネスへの道順をリクエストするオプションもあります。
• nws –業界の現在のイベントや開発について最新の情報を入手する必要がありますか？クエリにnwsパラメータを追加して、リアルタイムのGoogleニュース検索結果を返します。記事の名前、それらのリンク、公開された（そしてAPIによって解析された）日付、発行者、簡単な記事の説明、および利用可能なサムネイルを参照してください。
• shop –shop パラメータを使用してGoogleショッピング検索結果にアクセスします。ジョージア州アトランタの給湯器のサンプル結果（読みやすくするために大幅に切り捨てられています）を見てみましょう。

no_results_auto_correct "："スポンサー "、" related_searches "：[]、" Shopping_results "：[{" title "：" Reliance Water Heater 219809 50 galハイブリッド電気ヒートポンプ "、" link "：" / aclk？sa = l＆ai = DChcSEwjR -LWBnPDoAhUI1WQKHSvMBFUYABAFGgJwag＆sig = AOD64_2X7NgvfDv9ugCCLYqCFpiZP8Xq3g＆ctype = 5＆q =＆ved = 0ahUKEwisl7GBnPDoAhWEr54KHf6zCRMQ2CkIjwM＆ad = メーカー、サプライヤー、その他がここに表示されるものを提供します... "、"価格 "：" $ 59.99 "、"ソース "：" resenta "、"レビュー "：0、"サムネイル "：" data：image / jpeg; base64、 / 9j / 4AAQSk ... "、"拡張機能 "：["タンク "、"電気 "、"

注：どのタイプのSERPリクエストを行っても、/ searchエンドポイントの下にある標準のパラメーターセットに完全にアクセスできます。

/ shoppingエンドポイント

Zenserp APIは、コアの/ searchエンドポイントに加えて、Googleショッピングの商品ページを解析できる/ shoppingも備えています。あなたは追加よPRODUCT_IDあなたにパラメータを/買い物にご希望の検索ジオロケーションを指定するためのオプション（と、クエリの場所）、国コード（GL）、および/またはWebインタフェース言語（HL）。また、あなたがで使用したい地域、Google検索のバリアント変更することができます検索_engine。

/ trendsエンドポイント

Googleトレンドのリクエストは、リクエストに/ Trendsを追加することで作成されます（ただし、Zenserpのドキュメントには/ Shoppingを使用する必要があると誤って記載されています）。トレンドの結果は、keyword []パラメータによって強化されます。このパラメータでは、[]内の引数としてキーワードフレーズを渡します。Zenserpのドキュメントには、Trendsが使用する演算子（「or」の場合は+、「exclude」の場合は–、「and」の場合はスペース、完全一致の場合は「」の引用符）に関する便利なリマインダーがあり、クエリに役立ちます。

さらに、タイムゾーン（tz）、カテゴリID（cat）、結果の時間枠（毎時、毎日、毎月、さまざまな下位区分で毎年）、検索するGoogleプロパティのタイプ（画像、フライト、YouTube、財務など）を指定できます。など）、地理的位置またはGoogleロケーションコード（gl）、さらにはその地域内の解像度（基本的に、国全体、都市全体、地域などを検索するかどうかの設定）

それで、あなたがカニエ・ウェストが過去一ヶ月にわたってどのように傾向を示しているかを見たいとしましょう。あなたはそのように要求をするでしょう：

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

次に、APIは1か月分のGoogleトレンド情報を返し、その後に関連するクエリが続きます。これには、当然のことながら、テイラースウィフトとキムカーダシアンが含まれます。（以下では、このページのスペースを節約するために、先週のYeezyへの関心を見ていきます。）

{"Kanye West"：{"trends"：{"2020-04-08T00：00：00.000Z"：{"Kanye West"：26、 "isPartial"：false}、 "2020-04-09T00：00：00.000 Z "：{" Kanye West "：29、" isPartial "：false}、" 2020-04-10T00：00：00.000Z "：{" Kanye West "：31、" isPartial "：false}、" 2020-04 -11T00：00：00.000Z "：{" Kanye West "：35、" isPartial "：false}、" 2020-04-12T00：00：00.000Z "：{" Kanye West "：38、" isPartial "：false }、 "2020-04-13T00：00：00.000Z"：{"Kanye West"：31、 "isPartial"：false}、 "2020-04-14T00：00：00.000Z"：{"Kanye West"：24 、 "isPartial"：false}、 "2020-04-15T00：00：00.000Z"：{"Kanye West"：32、 "isPartial"：false}}、 "クエリ "：{" Kanye West "：{" top "：[{" query "：" taylor swift kanye west "、" value "：100}、{" query "：" taylor swift "、" value "：94} 、{"query"： "kanye west kim kardashian"、 "value"：65}、{"query"： "kim kardashian"、 "value"：61}、{"query"： "有名なkanyewest"、 "value "：36}、{" query "：" famous "、" value "：35}、{" query "：" kanye west networth "、" value "：31} .. ..kanye west kim kardashian "、" value "：65}、{" query "：" kim kardashian "、" value "：61}、{" query "：" famous kanye west "、" value "：36}、{" query "：" famous "、" value "：35}、{" query "：" kanye west networth "、" value "：31} .. ..kanye west kim kardashian "、" value "：65}、{" query "：" kim kardashian "、" value "：61}、{" query "：" famous kanye west "、" value "：36}、{" query "：" famous "、" value "：35}、{" query "：" kanye west networth "、" value "：31} .. ..

パフォーマンス 

機能の概要が完了したので、Zenserpは実際にどのように機能しますか？結局のところ、Googleのプログラムによるデータ収集の努力が原因で実際​​にアクセスできない場合、このすばらしいデータはすべて役に立たないのです。

私たちの経験では、Zenserpは、何を検索したか、世界のどこでクエリをターゲットにしたかに関係なく、問題なくタスクを実行しました。ここでの秘密兵器は、Zenserpの信じられないほどの世界規模のプロキシネットワークです。これは、IPアドレスを適切に変更しながら、要求を必要な場所にリダイレクトします。Zenserpはサーバーネットワークの実際の数を公表していませんが、テスト要求を行ったときに単一のエラーをスローすることはないほど十分に堅牢であることが証明されました。

Zenserp APIの内部には、洗練されたキャプチャソルバーも含まれています。繰り返しになりますが、彼らがこの作業をどのように行ったかについての詳細はありません。しかし、それはうまくいきました、そして一貫して。

しかしねえ、私たちの言葉を信じないでください！Zenserp API Playgroundにアクセスして、独自のリアルタイムテストを実行してください。

稼働時間はどうですか？結局のところ、Zenserpの顧客は通常、大量の最新のSERP情報に対する継続的な要件を持っています。これは処理するデータが多く、会社の規模にもよりますが、月に数百万のリクエストが発生する可能性があります。幸い、Zenserpはこのようなトラフィックを処理するための設備が整っており、過去12か月間で99.9％の驚異的な稼働時間を報告しています。

価格設定

Zenserpのインフラストラクチャは、あらゆる規模の運用を満たすのに十分な堅牢性を備えています。幅広いサブスクリプション価格を提供しているため、必要な分だけ支払うことができます。どちらのティアを選択しても、月額料金を低く抑えるか、年間プランで20％の割引を利用できます。

5つのコアサブスクリプションモデルがあります。

• 無料–その名の通り、無料枠は無料で、クレジットカード情報をファイルに保存する必要はありません。毎月のリクエストの割り当ては合計でわずか50と非常に少ないですが、利用可能なすべてのSERPタイプを試すための十分な余地があります。ほとんどの無料APIとは異なり、ZenserpはデフォルトでHTTPS暗号化を有効にしていることを心から感謝しています。SERPのスクレイピングの必要性が限られている小さなスタートアップであっても、あなたの活動はグローバル企業と同じレベルのセキュリティと匿名性を獲得します。APIを自分で統合する必要があり、すべての質問は電子メールで回答されますが、全体として、これは自分が何をしているのかを知っていて、義務なしにZenserpを探索したい人にとっては寛大なオファーです。
• 小–この階層の料金は月額$ 29.99です。正直なところ、この階層のユーティリティは無料プランと同じですが、月間リクエスト数が最大5,000になるまで、割り当てが100倍に増加します。繰り返しになりますが、いつでもSERPデータが適度に必要であり、独自のAPI統合を処理するノウハウがある場合、これは大きな価値を表します。
• MEDIUM – Zenserpの最も人気のある選択肢であるMEDIUMティアは、月額74.99ドルを戻し、月間割り当てを寛大な15,000リクエストに増やします。ただし、この層では、バッチリクエストや、キーワード検索ボリュームやキーワードCPCなどの重要なSEOインテルなど、多くの新機能のロックが解除されます。また、コンシェルジュのオンボーディング、パーソナライズされたカスタマーサービス、およびSLAも利用できます。もちろん、ビジネスを詮索好きな目から守るために、これまでになく価値のあるHTTPS暗号化を利用できます。
• LARGE / VERY LARGE –これらの2つの層には、MEDIUM層と同じ機能セットが含まれていますが、月間容量が大幅に向上しています。LARGEティアは月額$ 174.99で、40,000のリクエストを提供します。一方、VERY LARGEの価格は、月額100,000件ものリクエストに対して379.99ドルです。会社のニーズに最適なサブスクリプションを選択してください。

Zenserpは、標準の階層に加えて、月々の支払いスキームに固定された大量プランを提供しています。各階層には、中規模から非常に大規模なプランのすべてのプレミアム機能が含まれており、支払う金額に応じて1か月の割り当てを調整します。

• プレミアム–月額$ 599.99および250,000リクエスト
• プロフェッショナル–月額$ 1,399.99および750,000リクエスト
• エンタープライズ–月額$ 1,599.99および1,000,000リクエスト

十分ではない？カスタマイズされたプランをリクエストすることもできます。Zenserpの熱心なサポートチームに連絡するだけで、彼らはあなたと協力して、ニーズに合わせてカスタマイズされたAPIソリューションを開発します。

Zenserpの最終評決

SaaS Industriesは、ZenserpAPIを使用して素晴らしい製品を生み出しました。堅牢なインフラストラクチャのおかげでカスタマイズ可能で拡張性が高く、しかも簡単なパラメトリックロジックと幅広いコーディング言語の互換性のおかげでアプリに統合するのは非常に簡単です。

私たちのテストでは、エラーを発生させることなく一貫した結果が得られましたが、このサービスは大企業が必要とする規模のエラーに対して無防備ではないと思われます。どのような種類のリクエストを行っても、結果は常にタイムリーで有意義なものでした。検索タイプごとにSERPリクエストを絞り込むことができると非常に役立ちます。そのため、ZenserpがSEO開発者に貴重でありながら手頃なツールを提供していることは明らかです。

サービスに対する批判があった場合、ドキュメントはその内容を説明するために少し自然言語を使用できるということです。もちろん、経験豊富な開発者は何が提供されているかを理解するのに問題がないはずなので、これはおそらく問題ではありません。たとえそうだとしても、最小の支払い階層を除くすべてに、コンシェルジュのオンボーディングとパーソナライズされたカスタマーサポートが含まれているため、常にニーズに完全に対応できます。

全体として、Zenserpは中毒性のヒントの承認スタンプを取得します。真に洗練されたSEOツールをお探しの方には、このAPIを心からお勧めします。

Zenserpについて質問やコメントがありますか？以下のコメントで議論を始めてください。