URLScraper 인증 액세스

URLScraper에는 서로 다른 URL에서 인증된 컨텐트를 가져오고 비밀번호로 보호된 사이트에서 컨텐트를 스크래핑하기 위한 체계가 포함되어 있습니다. URLScraper는 세션 추적 및 이 사이트의 다음 호출 시 사용되는 사용자 자격 증명 및 반환된 쿠키와 함께 지정된 URL에 대한 요청을 수행합니다.

관리자가 제공하는 항목:

loginUrl

loginUrl은 사용자 인증을 위해 표시되는 HTML 형식의 action 속성입니다. loginUrl은 스크래핑할 URL과 다릅니다. 예를 들어 http://my.yahoo.com을 스크래핑하려는 경우 loginUrl은 http://login.yahoo.com/config/login이 됩니다.

loginFormData

loginFormData에는 HTTP 쿼리 매개 변수(예: 인증을 위해 전달해야 하는 HTML 형식 속성)로 사용자 자격 증명이 포함됩니다. 여기에서 키는 HTML 형식 속성이며 값은 전달해야 하는 사용자 자격 증명입니다. 대괄호 안의 값은 런타임 동안 입력됩니다.

isHttpAuth

isHttpAuth 여부를 지정합니다. 현재는 Http-Basic Auth만 지원됩니다. HTTP 헤더는 사용자 자격 증명을 사용한 인증 헤더로 설정됩니다.

formData

URL을 호출하는 동안 게시해야 할 데이터입니다.