열거 함수

다음 함수는 열거 단계에서 작동합니다. 이러한 함수는 로봇이 주어진 자원에서 추가 자원 검색을 위한 시작 위치로 사용할 링크를 수집할 것인지 여부와 그 방법을 제어합니다.

enumerate-urls

enumerate-urls 함수는 자원을 검색하고 하이퍼텍스트 링크에서 발견된 모든 URL을 열거합니다. 이 결과는 추가적인 자원 검색을 위해 사용됩니다. content-type을 지정하여 열거할 URL 유형을 제한할 수 있습니다.

등록 정보

max

주어진 자원에서 작성할 최대 URL 수. 기본값은 1024입니다.

type

지정된 content-type이 있는 URL로 열거를 제한하는 Content-type입니다. type은 생략 가능한 등록 정보입니다. 생략하는 경우 이 함수는 모든 URL을 열거합니다.

예

다음 예에서는 HTML URL만 최대 1024개까지 열거합니다.

Enumerate fn=enumerate-urls type=text/html

enumerate-urls-from-text

enumerate-urls-from-text 함수는 텍스트 자원을 검색하여URL:.* 정규식과 일치하는 문자열을 찾습니다. 이 함수를 사용하면 로봇이 이러한 문자열에서 URL을 열거하고 추가 자원 설명을 생성할 수 있습니다.

등록 정보

max

주어진 자원에서 작성할 최대 URL 수. max를 생략한 경우 기본값은 1024입니다.

예

Enumerate fn=enumerate-urls-from-text