Zenserp를 사용한 유연하고 확장성이 뛰어난 실시간 SERP 스크래핑(검토)

Google은 검색 결과 페이지에서 공개적으로 사용 가능한 데이터를 스크랩하려고 시도하는 SEO 개발자에게 오랜 시간 동안 어려움을 주었습니다. 실제로 SERP 스크래핑은 공식적으로 Big G의 서비스 약관에 위배됩니다. 그러나 이러한 관행은 컴퓨터 사기 및 남용에 관한 법률(CFAA)을 위반하지 않으므로 이러한 관행을 줄이기 위한 Google의 직접적인 법적 조치는 무산되었습니다.

따라서 스크래핑이 실제로 불법이거나 실제로 다른 사람의 감정을 상하게 하는 것은 아니지만 개발자는 데이터 수집을 방해하기 위해 Google에서 설계한 장애물과 여전히 씨름해야 합니다. 일반적인 두통에는 보안 문자 및 IP 차단이 포함됩니다. 과거에 휴전 서한을 보냈지만 이 전술은 점점 더 희귀해지고 있습니다.

그러나 귀중한 데이터를 얻기 위해 이러한 성가신 일을 전혀 처리할 필요가 없다면 어떨까요? 오스트리아 기반 SaaS Industries의 핵심 제품인 Zenserp를 입력하십시오 .

간단히 말해서 Zenserp

Zenserp API는 일반적인 스크래핑 장애물을 제거하기 위한 턴키 솔루션을 찾는 SEO 개발자를 위한 꿈의 도구입니다. SaaS Industries의 사용자 중심 개발 주기와 광범위한 언어 호환성(Browser, Curl, Python, Node.js, PHP) 덕분에 사용 및 통합이 매우 간단합니다. 또한, 소비자 피드백과 기능 요청에 대한 열광적인 욕구로 인해 2019년 4월의 대규모 API 업데이트가 Google 이미지, 비디오, 지도, 뉴스, 쇼핑 및 트렌드를 비롯한 포괄적인 데이터 유형을 포함하도록 업데이트되었습니다.

경쟁력 있는 가격과 세계적 수준의 고객 서비스가 결합되어 Zenserp의 SERP 스크랩 문제에 대한 진정한 올인원 솔루션을 갖게 됩니다.

Zenserp 시작하기

Zenserp를 실제로 사용하는 것은 어떤가요? 아래에서 Zenserp를 시작하는 과정을 다룹니다. 그런 다음 Zenserp의 강력한 기능을 자세히 살펴보기 위해 API 문서를 살펴봅니다.

대시보드 개요

Zenserp의 모든 것을 간단히 살펴보고 있다고 가정하고 Zenserp의 홈 페이지에서 밝은 녹색의 "무료 플랜 가입" 버튼을 클릭합니다. 계정을 만들고 확인했으면 "로그인"을 클릭하여 대시보드에 액세스하십시오.

방문하는 페이지에는 API 키, 월별 요청 할당량, 시간 경과에 따른 API 사용량 및 발생한 실패한 요청에 대한 문서를 포함하여 가장 중요한 사용 정보에 대한 개요가 표시됩니다. 또한 새로운 Zenserp 사용자를 풍부한 유용한 리소스로 안내하는 편리한 Request Builder 섹션도 있습니다. 이 중 대부분은 이 리뷰의 문서 섹션에서 다룰 내용이므로 잠시만 기다려 주세요.

지금은 모든 사이드바 옵션을 간단히 살펴보겠습니다.

• 대시보드 – 당신은 이미 여기 있습니다! 이것은 언제든지 개요 페이지로 돌아갈 수 있는 빠른 링크입니다.
• Playground – 적절한 이름을 가진 이 페이지는 Zenserp의 다양한 끝점을 어지럽힐 수 있는 완전한 시각적(즉, 코딩이 필요 없음) 및 대화형 인터페이스를 제공합니다. 여기에서 몇 가지 샘플 응답을 생성하고 이를 사용하여 API 요청을 구성할 수 있습니다. 이 도구의 기능을 넘어선 경우가 있으므로 이 100%에 의존하지 마십시오. 그럼에도 불구하고 실제로 작동하는 것을 찾았을 때 실험을 코드(Browser, Curl, Python, Node.js, PHP)로 내보낼 수 있는 옵션이 있다는 점이 마음에 듭니다.
• 문서 – Zenserp API의 기능을 자세히 설명합니다. 아래에서 자세히 설명합니다.
• 프로필/보안 – 아바타, 연락처 정보, 비밀번호 관리를 포함한 기본 계정 구성. 멋진 것은 없습니다.
• 청구 – 구독 수준을 업그레이드/다운그레이드/취소하고 결제 방법 및 VAT ID를 관리할 수 있는 세 가지 옵션과 더 쉽게 회계를 만들기 위해 Zenserp 청구서에 텍스트를 포함하도록 요청할 수 있는 무료 필드로 구성됩니다.

이 모든 것이 모든 API의 표준 요금이지만 모든 것이 얼마나 간단하게 배치되었는지 감사합니다. 당신이 보는 것은 당신이 얻는 것이고 Zenserp는 당신의 프로필의 애매한 구석에 구독 설정을 묻으려 하지 않습니다.

Zenserp API 문서

기본적인 사항은 정리했으니 이제 좋은 내용인 Zenserp의 문서로 넘어갈 수 있습니다. 여기에서 API의 기능과 사용 방법을 정확히 확인할 수 있습니다. 앱에 대한 전체 API 구현은 이 검토의 범위를 벗어나지만 각 엔드포인트, 몇 가지 주요 매개변수에 대해 간략하게 설명하고 몇 가지 예시 응답을 제공합니다.

기본 기능

문서 페이지의 시작은 적절하게 명명된 "시작하기" 섹션으로, 다른 모든 엔드포인트와 상호 작용할 수 있는 가장 기본적인 API 기능을 자세히 설명합니다. 한 번 보자:

• 인증 – 인증 을 위해 API 키를 사용하는 방법을 보여줍니다. 헤더에 사용 예가 있고 GET 및 POST 요청 예가 뒤따릅니다. 쉬워요.
• /status – 구독 한도당 남은 요청 수를 요청할 수 있습니다. 결국, 앱에서 직접 알려줄 수 있는데 왜 Zenserp 대시보드에 로그인하는 것을 귀찮게 할까요?
• /batch – 이 끝점을 추가하면 단일 배치에서 최대 1,000개의 검색을 수행할 수 있습니다. 일괄 처리 ID별로 모든 일괄 처리를 한 번에 요청하거나 필요에 따라 새 일괄 처리를 제출하거나 기존 일괄 처리를 병합할 수 있는 옵션이 있습니다.
• 오류 코드 – Zenserp는 월별 한도에 도달했거나 잘못된 API 키를 사용한 경우 403 Forbidden, 검색된 결과가 없는 경우 404, 서버 오류가 있을 때마다 500을 포함하여 오류가 발생하면 오류를 반환하는 기능도 있습니다. 실패한 요청은 대시보드에도 표시된다는 점을 잊지 마십시오.

/search 엔드포인트

Zenserp의 핵심 기능이 여기에 있습니다. API 요청에 /search를 추가하면 기본적으로 SERPS를 수집할 수 있다고 생각할 수 있는 모든 것에 대한 포괄적인 데이터 배열을 받게 됩니다. 쿼리는 다음을 포함하여 다양한 결과를 반환합니다.

• 유기적 검색 결과 – 유기적 SERP를 쿼리 하면 항목 순위, 제목, 표시된 URL과 도착 URL, 여러 유형의 리뷰, 링크가 Google AMP 링크인지 여부, 페이지 설명을 나타내는 문자열, 로컬을 포함한 모든 종류의 데이터가 반환됩니다. 비즈니스 정보가 포함된 3팩입니다.
• 유료 결과 – 유료 결과에 대한 전체 개요도 볼 수 있습니다. 반환된 정보에는 유료 위치(상단, 오른쪽 또는 하단), 제목, AdWords 추적 URL, 탐색경로, Google에 표시되는 표시 URL, 페이지 설명 및 유료 PPL(직위, 제목, 관련 이미지, URL 포함)이 포함됩니다. , 그리고 물론 가격).
• 답변 상자/추천 스니펫/주요 스토리 – 모든 SEO에 대한 순금. SERP에서 이러한 탐나는 자리를 얻기 위해 가장 잘 수행되는 것을 쉽게 확인한 다음 이러한 결과를 복제하는 전략을 구축하십시오.
• 관련 검색/이런 뜻 이었습니까? Zenserp는 모든 관련 검색에 대한 귀중한 데이터를 검색어에 반환하여 키워드 연구를 향상시킵니다. 또한 사용자가 검색어를 검색할 때 저지르는 일반적인 오류에 Google이 어떻게 대응하는지 예상할 수 있습니다.

다음 은 Zenserp 문서 에 "피리 부는 사나이 "를 쿼리로 사용하여 나타나는 예시 의 축소 버전입니다 . Wikipedia 항목(1), 쿼리와 관련된 질문(2), 정확히 일치하는 도메인 이름을 가진 웹사이트(3), Pied Piper의 기원에 대한 인기 기사 등 다양한 유형의 결과가 순서대로 표시되는 것을 볼 수 있습니다. (4) 및 주제 (5)에 대한 일부 관련 비디오. 또한 관련 검색구와 반환된 총 결과 수를 볼 수 있습니다.

net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969", "destination":"https://www.ancient-origins.net › myths-legends › 방해하는-true-story-pie. ..", "description":"2014년 8월 14일 - 많은 사람들이 하멜린의 피리 부는 사나이의 이야기에 익숙합니다. 그러나 이야기가 ...", "isAmp":false }, { "position":5, "videos":[ { "title":"Pied Piper", "url":"https://www.youtube.com/watch?v=VEZ_Ui6d9AM", "parsed":{ "source":"YouTube", "date":"2018년 5월 2일", "채널": "BTS - Topic" } }, { "title":"하멜린 피리 부는 사나이의 진정한 역사 | 동화 ...", "url":"https:

검색 유형별로 요청 구체화

기본 SERP 요청 외에도 검색 유형(이미지, 비디오, 지도, 쇼핑, 뉴스, 쇼핑 등)별로 Google 검색 쿼리를 더욱 구체화할 수 있습니다. 간단하게 설정 TBM 다음 옵션 중 하나를 ( "일치하는") 매개 변수를 :

• isch – Google 이미지 검색 결과를 반환합니다. 이 요청은 위치, 썸네일, 소스 URL, 제목 등을 포함한 많은 데이터를 반환합니다. (역 이미지 검색 의 경우 tbm=isch 대신 image_url 매개변수를 실행합니다 )
• vid – Google 비디오 검색 결과를 반환합니다. 소스 도메인, 비디오 URL, 제목, 설명, 확장자 또는 미리보기 이미지와 같은 정보를 얻을 수 있습니다.
• lcl – SEO 데이터의 또 다른 금광인 lcl 매개변수는 Google 지도 검색 결과를 반환합니다. 업체/위치 이름, 웹사이트 URL, 결과가 유료인지 여부, 별점 또는 리뷰는 물론 주소, 전화번호, 영업 시간, 주목할 만한 가격 및 업체 유형과 같은 중요한 정보가 표시됩니다. 이러한 업체로 가는 길찾기를 요청할 수도 있습니다.
• nws – 업계의 최신 이벤트 및 개발을 최신 상태로 유지해야 합니까? 실시간 Google 뉴스 검색 결과를 반환하려면 쿼리에 nws 매개변수를 추가 하세요. 기사 이름, 해당 링크, 게시 날짜(및 API로 구문 분석), 게시자, 간단한 기사 설명 및 사용 가능한 미리보기 이미지를 확인하세요.
• shop – shop  매개변수를 사용하여 Google 쇼핑 검색 결과에 액세스 합니다. 조지아주 애틀랜타의 온수기에 대한 몇 가지 샘플 결과(가독성을 위해 크게 잘림)를 살펴보겠습니다.

no_results_auto_correct": "후원", "related_searches": [], "shopping_results": [ { "title": "Reliance Water Heater 219809 50gal 하이브리드 전기 히트 펌프", "link": "/aclk?sa=l&ai=DChcSEwjR -LWBnPDoAhUI1WQKHSvMBFUYABAFGgJwag&sig=AOD64_2X7NgvfDv9ugCCLYqCFpiZP8Xq3g&ctype=5&q=&ved=0ahUKEwisl7GBnPDoAhWer54KHf6zCRMwM&CkIj 정보를 제품에 표시합니다. 제조업체, 공급업체 및 기타 업체는 여기에서 볼 수 있는 것을 제공합니다 ...", "price": "$59.99", "source": "resenta", "reviews": 0, "thumbnail": "data:image/jpeg;base64, /9j/4AAQSk...", "extensions": [ "탱크", "전기", "

참고: 어떤 유형의 SERP 요청을 하든 /search 엔드포인트 아래에 있는 표준 매개변수 세트에 대한 전체 액세스 권한이 있습니다.

/shopping 엔드포인트

핵심 /search 엔드포인트 외에도 Zenserp API에는 Google 쇼핑 제품 페이지를 구문 분석할 수 있는 /shopping 기능도 있습니다 . 원하는 검색 지리적 위치( location ), 국가 코드( gl ) 및/또는 웹 인터페이스 언어( hl ) 를 지정하는 옵션과 함께 product_id 매개변수를 /shopping 쿼리에 추가합니다 . 당신은 또한 당신이 사용하고자하는 지역의 구글 검색의 변형 변경할 수 있습니다 검색 _engine .

/trends 엔드포인트

Google 트렌드 요청은 요청에 /trends 를 추가하여 이루어집니다 (Zenserp의 문서에는 /shopping 을 사용해야 한다고 잘못 명시되어 있지만 ). 트렌드 결과는 키워드[] 매개변수에 의해 제공되며 , 여기에서 키워드 구문을 [] 내의 인수로 전달합니다. Zenserp의 문서에는 검색어에 도움이 될 Trends가 사용하는 연산자("또는"의 경우 +, "제외"의 경우 공백, "and"의 공백, 정확한 일치의 경우 인용부호 " ")에 대한 편리한 알림이 있습니다.

시간대( tz ), 카테고리 ID( cat ), 결과에 대한 기간 (시간별, 일별, 월별, 다양한 하위 부문의 연간), 검색할 Google 자산 유형 (예: 이미지, 항공편, YouTube, 금융 )을 추가로 지정할 수 있습니다. 등), 지리적 위치 또는 Google 위치 코드( gl ), 심지어 해당 지역 내의 해상도 (기본적으로 국가 전체, 도시 전체, 지역 등 검색 여부 설정)

Kanye West가 지난 한 달 동안 어떻게 트렌드가 되었는지 확인하고 싶었다고 가정해 보겠습니다. 다음과 같이 요청합니다.

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

그런 다음 API는 한 달치 분량의 Google 트렌드 정보를 반환한 후 Taylor Swift와 Kim Kardashian을 포함한 관련 쿼리를 반환합니다. (아래에서는 이 페이지의 공간을 절약하기 위해 지난 주 Yeezy에 대한 관심을 살펴봅니다.)

{ "카니예 웨스트": { "트렌드": { "2020-04-08T00:00:00.000Z": { "카니예 웨스트": 26, "isPartial": false }, "2020-04-09T00:00:00.000" Z": { "카니예 웨스트": 29, "isPartial": false }, "2020-04-10T00:00:00.000Z": { "카니예 웨스트": 31, "isPartial": false }, "2020-04 -11T00:00:00.000Z": { "카니예 웨스트": 35, "isPartial": false }, "2020-04-12T00:00:00.000Z": { "카니예 웨스트": 38, "isPartial": false }, "2020-04-13T00:00:00.000Z": { "카니예 웨스트": 31, "isPartial": false }, "2020-04-14T00:00:00.000Z": { "카니예 웨스트": 24 , "isPartial": false }, "2020-04-15T00:00:00.000Z": { "카니예 웨스트": 32, "isPartial": false } }, "query": { "Kanye West": { "top": [ { "query": "taylor swift kanye west", "value": 100 }, { "query": "taylor swift", "value": 94 } , { "쿼리": "카니예 웨스트 킴 카다시안", "값": 65 }, { "쿼리": "킴 카다시안", "값": 61 }, { "쿼리": "유명한 카니예 웨스트", "값 ": 36 }, { "query": "famous", "value": 35 }, { "query": "kanye west 순자산", "value": 31 } ...카니예 웨스트 킴 카다시안", "값": 65 }, { "쿼리": "킴 카다시안", "값": 61 }, { "쿼리": "유명한 카니예 웨스트", "값": 36 }, { " 쿼리": "유명한", "값": 35 }, { "쿼리": "카니예 웨스트 순자산", "값": 31 } ...카니예 웨스트 킴 카다시안", "값": 65 }, { "쿼리": "킴 카다시안", "값": 61 }, { "쿼리": "유명한 카니예 웨스트", "값": 36 }, { " 쿼리": "유명한", "값": 35 }, { "쿼리": "카니예 웨스트 순자산", "값": 31 } ...

성능 

기능 개요를 마쳤으니 Zenserp는 실제로 어떻게 작동합니까? 결국 이 모든 좋은 데이터는 Google의 스톤월링(stonewalling) 프로그래밍 방식 데이터 수집 노력으로 인해 실제로 액세스할 수 없다면 쓸모가 없습니다.

우리의 경험에 따르면 Zenserp는 우리가 무엇을 검색하고 전 세계 어디에서 우리가 쿼리를 목표로 삼았는지에 상관없이 문제 없이 작업을 수행했습니다. 여기서 비밀 무기는 Zenserp의 놀라운 전 세계 프록시 네트워크로, IP 주소를 적절하게 변경하면서 요청이 필요한 곳으로 리디렉션합니다. Zenserp는 서버 네트워크의 실제 수를 공개하지 않지만 테스트 요청을 할 때 단 한 번의 오류도 던지지 않을 만큼 충분히 강력하다는 것이 입증되었습니다.

또한 Zenserp API의 후드 아래에는 정교한 Captcha 솔버가 포함되어 있습니다. 다시 한 번, 우리는 그들이 이 일을 어떻게 했는지에 대한 세부 사항이 없습니다. 하지만 일을 해냈고 지속적으로 일했습니다.

그러나 이봐, 우리의 말을 믿지 마십시오! 받는 사람 향할 Zenserp API 놀이터 와 자신의 실시간 테스트를 실행합니다.

가동 시간은 어떻습니까? 결국 Zenserp의 고객은 일반적으로 대용량의 최신 SERP 정보에 대한 지속적인 요구 사항을 가지고 있습니다. 이는 처리해야 할 데이터의 양이며 회사 규모에 따라 매월 수백만 건의 요청이 있을 수 있습니다. 다행히 Zenserp는 이러한 트래픽을 처리할 수 있는 장비를 잘 갖추고 있으며 지난 12개월 동안 놀라운 99.9% 가동 시간을 보고했습니다.

가격

Zenserp의 인프라는 모든 규모의 운영을 만족시킬 만큼 충분히 강력합니다. 필요한 만큼만 지불할 수 있도록 다양한 구독 가격대를 제공합니다. 어떤 등급을 선택하든 저렴한 월 사용료를 지불하거나 연간 요금제에서 20% 할인을 받을 수 있습니다.

있다 5 개 핵심 구독 모델 :

• 무료 – 이름 그대로 프리 티어는 비용이 들지 않으며 신용 카드 정보를 등록할 것을 요구하지 않습니다. 월별 요청 할당량은 총 50개로 상당히 낮지만 사용 가능한 모든 SERP 유형을 사용할 수 있는 충분한 공간을 제공합니다. 대부분의 무료 API와 달리 Zenserp는 기본적으로 HTTPS 암호화를 활성화합니다. SERP 스크래핑이 제한적으로 필요한 소규모 신생 기업이더라도 귀하의 활동은 글로벌 기업과 동일한 수준의 보안 및 익명성을 얻습니다. API를 직접 통합해야 하며 모든 질문에 이메일을 통해 답변을 받을 수 있지만 전반적으로 이것은 자신이 하는 일을 알고 있고 아무런 의무 없이 Zenserp를 탐색하려는 사람들을 위한 관대한 제안입니다.
• 스몰 – 이 계층의 비용은 월 $29.99입니다. 사실, 이 계층은 무료 플랜과 유틸리티가 동일하지만 할당량이 최대 5,000개 월별 요청으로 100배 증가하는 것을 볼 수 있습니다. 다시 한번 말하지만, 언제든지 SERP 데이터가 약간 필요하고 자체 API 통합을 처리하는 노하우가 있다면 이는 큰 가치를 나타냅니다.
• MEDIUM – Zenserp의 가장 인기 있는 선택인 MEDIUM 등급은 월 $74.99를 설정하고 월별 할당량을 넉넉한 15,000개 요청으로 늘립니다. 그러나 이 계층은 일괄 요청 및 키워드 검색량 및 키워드 CPC와 같은 중요한 SEO 정보를 포함하여 많은 새로운 기능의 잠금을 해제합니다. 또한 컨시어지 온보딩, 맞춤형 고객 서비스 및 SLA도 제공됩니다. 물론 귀하의 비즈니스가 눈에 띄지 않도록 보호하기 위해 여전히 귀중한 HTTPS 암호화를 사용할 수 있습니다.
• LARGE/VERY LARGE – 이 두 계층에는 MEDIUM 계층과 동일한 기능 세트가 포함되어 있지만 월별 용량이 크게 향상됩니다. LARGE 계층의 비용은 월 $174.99이며 40,000개 요청을 제공합니다. VERY LARGE는 100,000건의 월간 요청에 대해 $379.99입니다. 회사의 요구 사항에 가장 적합한 구독을 선택하십시오!

표준 계층 외에도 Zenserp는 월별 지불 방식에 고정된 대용량 요금제를 제공합니다. 각 계층에는 MEDIUM-VERY LARGE 플랜의 모든 프리미엄 기능이 포함되어 있으며 지불하는 금액에 따라 월별 할당량이 조정됩니다.

• 프리미엄 – 월 $599.99 및 250,000건의 요청
• 전문가 – 월 $1,399.99 및 750,000건의 요청
• 엔터프라이즈 – 월 $1,599.99 및 1,000,000개 요청

충분하지 않은? 맞춤형 플랜을 요청할 수도 있습니다. Zenserp의 열정적인 지원 팀에 연락하기만 하면 그들이 귀하와 협력하여 귀하의 요구 사항에 맞는 맞춤형 API 솔루션을 개발할 것입니다.

Zenserp 최종 평결

SaaS Industries는 Zenserp API로 놀라운 제품을 생산했습니다. 강력한 인프라 덕분에 사용자 정의가 가능하고 확장성이 매우 높지만, 손쉬운 매개변수 논리와 광범위한 코딩 언어 호환성 덕분에 앱에 매우 간단하게 통합할 수 있습니다.

서비스가 대기업에서 요구하는 규모의 오류에 취약하지 않은 것으로 의심되지만 테스트 결과 오류가 발생하지 않고 일관된 결과가 나타났습니다. 우리가 어떤 유형의 요청을 했든 결과는 항상 시기적절하고 의미 있었습니다. SERP 요청을 검색 유형별로 세분화할 수 있다는 것은 엄청난 도움이 됩니다. 따라서 Zenserp는 모든 SEO 개발자에게 매우 중요하지만 저렴한 도구를 제공합니다.

서비스에 대한 비판이 있다면 문서에서 내용을 설명하기 위해 좀 더 자연스러운 언어를 사용할 수 있다는 것입니다. 물론 경험 개발자는 제공되는 내용을 이해하는 데 문제가 없어야 하므로 문제가 되지 않을 수 있습니다. 그렇다 하더라도 가장 작은 지불 계층을 제외한 모든 지불 계층에는 컨시어지 온보딩 및 개인화된 고객 지원이 포함되므로 항상 요구 사항을 완벽하게 해결할 수 있습니다.

대체로 Zenserp는 Addictive Tips 승인을 받았습니다. 진정으로 정교한 SEO 도구를 찾는 모든 사람에게 이 API를 진심으로 추천합니다.

Zenserp에 대해 질문이나 의견이 있으십니까? 아래 댓글에서 토론을 시작하세요.