| Sun ONE Portal Server 6.2 관리자 설명서 |
10장
사전 정의된 로봇 응용프로그램 함수이번 장에서는 Sun™ ONE Portal Server 검색 엔진의 사전 정의된 RAF (Robot Application Functions )에 대한 설명, 매개 변수 규정 및 예제를 제공합니다. filter.conf 파일에서 이러한 함수를 사용하여 필터 정의를 만들고 수정할 수 있습니다. filter.conf 파일은 /var/opt/SUNWps/http-hostname-domain/portal/config 디렉토리에 있습니다.
filter.conf 파일에는 열거와 생성 필터에 대한 정의가 들어 있습니다. 이러한 각 필터는 filterrules.conf 파일에 저장되는 규칙 집합을 호출합니다. 필터 정의에는 각 필터에 특정한 지시가 들어 있고 필터 규칙에는 두 필터가 사용하는 규칙이 들어 있습니다.
필터 규칙이 정의되는 방식을 이해하려면 filterrules.conf 파일을 살펴봅니다. 관리 콘솔을 사용하여 필터 규칙을 만들기 때문에 일반적으로 이 파일은 직접 편집할 필요가 없습니다.
필터 정의의 예를 보려면 filter.conf 파일을 점검해야 합니다. 어떤 자원에 대한 자원을 생성하지 않고 이를 열거하도록 로봇에 지시하는 것과 같이 관리 콘솔에서는 할 수 없는 방식으로 필터를 수정하려는 경우에만 filter.conf 파일을 편집해야 합니다.
이번 장은 다음 절로 구성됩니다.
소스 및 대상대부분의 RAF (Robot Application Function)는 정보 소스를 필요로 하고 대상으로 이동하는 데이터를 생성합니다. 소스는 로봇 자체 내에서 정의되며 최종적으로 생성하는 자원 설명의 필드와 반드시 관련되는 것은 아닙니다. 한편 대상은 일반적으로 자원 설명 서버의 스키마에 의해 정의되는 자원 설명에 있는 필드 이름입니다.
관리 콘솔을 사용하여 데이터베이스 스키마를 결정하기 위한 자세한 내용은 8장 "검색 엔진 서비스 관리" 를 참조하십시오.
다음 부분에서는 필터링 프로세스의 여러 단계와 이러한 단계에서 사용 가능한 소스를 설명합니다.
설정 단계에서 사용 가능한 소스
설정 단계에서는 필터가 설정되고 아직 자원의 URL이나 컨텐트에 대한 정보를 가져올 수 없습니다.
메타데이터 필터링 단계에서 사용 가능한 소스
메타데이터 단계에서 로봇은 자원에 대한 URL과 마주치지만 자원의 컨텐트를 다운로드하지 않았기 때문에 filter.conf 파일과 같이 다른 소스에서 유래한 데이터와 URL에 대한 정보를 이용할 수 있습니다. 그러나 이 단계에서 자원의 컨텐트에 대한 정보를 이용할 수 없습니다.
표 10-1에는 메타데이터 단계에서 RAF가 사용할 수 있는 소스를 나열했습니다. 이 표에는 3개의 열이 있습니다. 첫 번째 열은 소스이고 두 번째 열은 설명이며 세 번째 열은 예입니다.
데이터 단계에서 사용 가능한 소스
데이터 단계에서 로봇은 URL에서 자원의 컨텐트를 다운로드한 상태이며 설명, 작성자 등과 같은 컨텐트 관련 데이터에 액세스할 수 있습니다.
자원이 HTML 파일인 경우 로봇은 HTML 헤더에 있는 <META> 태그의 구문을 분석합니다. 결과적으로 <META> 태그에 있는 모든 데이터를 데이터 단계에서 이용할 수 있습니다.
데이터 단계에서는 메타데이터 단계에서 이용할 수 있는 것 이외에 RAF가 다음 소스를 이용할 수 있습니다. 이 표에는 3개의 열이 있습니다. 첫 번째 열은 소스이고 두 번째 열은 설명이며 세 번째 열은 예입니다.
이러한 모든 소스(<META> 태그의 데이터는 제외)는 자원을 검색할 때 반환되는 HTTP 응답 헤더에서 유도됩니다.
열거, 생성 및 종료 단계에서 사용 가능한 소스
열거 및 생성 단계에서는 데이터 단계와 같은 데이터 소스를 사용할 수 있습니다.
종료 단계에서 필터는 필터링을 완료하고 종료됩니다. 이 단계를 위해 작성된 함수가 데이터 단계에서 사용할 수 있는 것과 같은 데이터 소스를 사용할 수 있지만 일반적으로 종료 기능은 종료와 정리 작업으로만 작동을 제한합니다.
사용 설정 매개 변수
각 함수에는 사용 설정 매개 변수가 있습니다. true, false, on 또는 off가 값이 될 수 있습니다. 관리 콘솔에서는 이 매개 변수를 사용하여 특정 지시문을 사용하거나 사용 해제합니다.
다음 예는 text/html에 열거를 사용하고 text/plain에 열거의 사용 해제합니다
# Perform the enumeration on HTML only
Enumerate enable=true fn=enumerate-urls max=1024 type=text/html
Enumerate enable=false fn=enumerate-urls-from-text max=1024 type=text/plain
enable=false 매개 변수나 enable=off 매개 변수를 추가해도 이 라인을 주석 처리하는 것과 같은 효과가 있습니다. 관리 콘솔은 주석을 작성하지 않기 때문에 대신 enable 매개 변수를 작성합니다.
설정 함수이 부분에서는 열거와 생성 필터가 설정 단계에서 사용하는 함수에 대해 설명합니다. 다음 함수를 설명합니다.
filterrules-setup
filterrules-setup 함수를 사용할 때 logtype은 사용할 로그 파일의 유형입니다. 값은 verbose, normal 또는 terse가 될 수 있습니다.
매개 변수
표 10-3은 filterrules-setup 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
Setup fn=filterrules-setup config=./config/filterrules.conf logtype=normal
setup-regex-cache
setup-regex-cache 함수는 filter-by-regex 및 generate-by-regex 함수에 대한 캐시 크기를 초기화합니다. 이 함수를 사용하여 기본값 32 이외의 수치를 지정합니다.
매개 변수
표 10-4는 setup-regex-cache 함수에서 사용되는 매개 변수입니다. 이 표에는 3개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명이며 세 번째 열은 예입니다.
예
Setup fn=setup-regex-cache cache-size=28
setup-type-by-extension
setup-type-by-extension 함수는 파일 이름 확장자를 인식하도록 필터를 구성합니다. assign-type-by-extension 함수를 사용하려면 먼저 이를 호출해야 합니다. 매개 변수로 지정된 파일에는 표준 MIME 컨텐트 유형과 파일 확장자 문자열 간의 매핑이 있어야 합니다.
매개 변수
표 10-5는 setup-type-by-extension 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
Setup fn=setup-type-by-extension file=./config/mime.types
필터링 함수다음 함수는 메타데이터 및 데이터 단계에서 작동하여 함수와 매개 변수에 지정된 특정 기준에 따라 자원을 허용하거나 거부합니다.
이 함수는 filter.conf 파일의 열거 및 생성 필터 모두에 사용할 수 있습니다.
각 "filter-by" 함수가 비교를 수행한 다음 자원을 허용하거나 거부합니다. 자원을 허용하면 다음 필터링 단계로 프로세스가 계속 진행됩니다. 자원을 거부하면 자원이 더 이상의 열거나 생성을 위한 기준을 만족하지 않기 때문에 프로세싱이 중단됩니다. 다음 함수를 설명합니다.
filter-by-exact
filter-by-exact 함수는 허용/거부 문자열이 정보의 소스와 정확하게 일치하면 자원을 허용하거나 거부합니다. 키워드 all은 어떤 문자열과도 일치합니다.
매개 변수
표 10-6은 filter-by-exact 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
다음 예에서는 컨텐트 유형이 text/plain인 모든 자원이 필터링에서 제거됩니다. 기타 모든 자원을 계속 진행하도록 허용합니다.
Data fn=filter-by-exact src=type deny=text/plain
filter-by-max
filter-by-max 함수는 지정된 정보 소스가 주어진 값보다 작거나 같은 경우에 자원을 허용합니다. 정보 소스가 지정된 값보다 크면 자원을 거부합니다.
이 함수는 필터 당 한 번만 호출할 수 있습니다.
매개 변수
표 10-7은 filter-by-max 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
이 예에서는 컨텐트 길이가 1024K 이하인 자원을 허용합니다.
MetaData fn-filter-by-max src=content-length value=1024
filter-by-md5
filter-by-md5 함수는 주어진 MD5 체크섬 값을 갖는 첫 번째 자원만 허용합니다. 이 로봇이 현재 자원의 MD5를 이전 자원에서 보았다면 현재 자원은 거부됩니다. 결과적으로, 동일 자원의 중복 또는 여러 URL을 갖는 단일 자원이 방지됩니다.
데이터 단계 이후에서만 이 함수를 호출할 수 있습니다. 이 함수는 필터 당 한 번만 호출할 수 있습니다. 필터는 filter-by-md5를 호출하기 전에 generate-md5 함수를 호출하여 MD5 체크섬을 생성해야 합니다.
매개 변수
없음
예
다음 예는 우선 체크섬을 생성한 다음 이에 따라 필터링하여 MD5 체크섬을 처리하는 일반적 방법을 보여줍니다.
Data fn=generate-md5
Data fn=filter-by-md5
filter-by-prefix
filter-by-prefix 함수는 주어진 정보 소스가 지정된 접두어 문자열로 시작하는 경우 자원을 허용하거나 거부합니다. 자원이 완전히 일치할 필요는 없습니다. 키워드 all은 어떤 문자열과도 일치합니다.
매개 변수
표 10-8은 filter-by-prefix 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
다음 예는 text/html 및 text/plain을 포함하여 컨텐트 유형이 텍스트 유형인 자원을 허용합니다.
MetaData fn=filter-by-prefix src=type allow=text
filter-by-regex
filter-by-regex 함수는 일반 식 패턴 매칭을 지원합니다. 이 함수는 주어진 일반 식과 일치하는 자원을 허용합니다. 지원되는 일반 식 구문은 POSIX.1 규정에서 정의됩니다. 일반 식 \\*은 어떤 것과도 일치합니다.
매개 변수
표 10-9는 filter-by-regex 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
다음 예는 정부 도메인에 있는 사이트의 모든 자원을 거부합니다.
MetaData fn=filter-by-regex src=host deny=\\*.gov
filterrules-process
filterrules-process 함수는 filterrules.conf 파일에 있는 규칙을 처리합니다.
매개 변수
없음
예
MetaData fn=filterrules-process
필터링 지원 함수다음 함수를 필터링 중에 사용하여 자원에 대한 정보를 조작하거나 생성합니다. 그러면 로봇이 필터링 함수를 호출하여 자원을 처리할 수 있습니다. 이 함수는 filter.conf 파일의 열거 및 생성 필터 모두에 사용할 수 있습니다. 다음 함수를 설명합니다.
assign-source
assign-source 함수는 주어진 정보 소스에 새로운 값을 할당합니다. 필터링 과정에서 편집이 허용됩니다. 이 함수는 명시적인 새 값을 할당하거나 다른 정보 소스로부터 값을 복사할 수 있습니다.
매개 변수
표 10-10은 assign-source 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
value 매개 변수와 src 매개 변수 중 하나만 지정해야 합니다.
예
Data fn=assign-source dst=type src=content-type
assign-type-by-extension
assign-type-by-extension 함수는 자원의 파일 이름을 사용하여 그 유형을 결정하고 추가적 처리를 위해 이 유형을 자원에 할당합니다.
assign-type-by-extension을 사용하려면 먼저 설정 단계에서 setup-type-by-extension 함수를 호출해야 합니다.
매개 변수
표 10-11은 assign-type-by-extension 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
MetaData fn=assign-type-by-extension
clear-source
clear-source 함수는 지정된 데이터 소스를 삭제합니다. 일반적으로 이 함수는 수행할 필요가 없습니다. assign-source를 사용하여 소스를 만들거나 교체할 수 있습니다.
매개 변수
표 10-12는 clear-source 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
다음 예는 경로 소스를 삭제합니다.
MetaData fn=clear-source src=path
convert-to-html
convert-to-html 함수는 현재 자원의 유형이 지정된 MIMIE 유형과 일치하면 추가적 처리를 위해 이를 HTML 파일로 변환합니다. 변환 필터는 변환하는 파일 유형을 자동으로 삭제합니다.
매개 변수
표 10-13은 convert-to-html 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
다음 함수 호출 시퀀스를 통해 필터가 모든 Adobe Acrobat PDF 파일, Microsoft RTF 파일, FrameMaker MIF 파일 그리고 이를 전달하는 서버에서 유형을 지정하지 않은 모든 파일을 HTML로 변환합니다.
Data fn=convert-to-html type=application/pdf
Data fn=convert-to-html type=application/rtf
Data fn=convert-to-html type=application/x-mif
Data fn=convert-to-html type=unknown
copy-attribute
copy-attribute 함수는 자원 설명의 한 필드에서 다른 필드로 값을 복사합니다.
매개 변수
표 10-14는 copy-attribute 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
표 10-14 copy-attribute 매개 변수
매개 변수
설명
src
복사해올 자원 설명의 필드.
dst
소스를 복사해 넣을 자원 설명의 항목.
truncate
복사할 최대 소스 길이.
clean
잘린 텍스트를 정리(부분적 단어를 없애는 등)할지 여부를 나타내는 부울 매개 변수. 이 매개 변수는 기본적으로 false입니다.
예
Generate fn=copy-attribute \
src=partial-text dst=description truncate=200 clean=true
generate-by-exact
generate-by-exact 함수는 지정된 값의 소스를 생성하지만 기존 소스가 또 다른 값과 정확히 일치하는 경우에만 그렇습니다.
매개 변수
표 10-15는 generate-by-exact 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
다음 예는 호스트가 www.siroe.com인 경우 분류를 Siroe로 설정합니다.
Generate fn="generate-by-exact" match="www.siroe.com:80" src="host" value="Siroe" dst="classification"
generate-by-prefix
이 generate-by-prefix 함수는 지정된 값의 소스를 생성하지만 기존 소스의 접두어가 또 다른 값과 일치하는 경우에만 그렇습니다.
매개 변수
표 10-16은 generate-by-prefix 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
표 10-16 generate-by-prefix 매개 변수
매개 변수
설명
dst
생성할 소스 이름.
value
dst에 할당할 값.
src
매칭 대상이 될 소스.
match
src에 비교할 값.
예
다음 예는 프로토콜 접두어가 HTTP인 경우 분류를 Compass로 설정합니다.
Generate fn="generate-by-prefix" match="http" src="protocol" value="World Wide Web" dst="classification"
generate-by-regex
generate-by-regex 함수는 지정된 값의 소스를 생성하지만 기존 소스가 일반 식과 일치하는 경우에만 그렇습니다.
매개 변수
표 10-17은 generate-by-regex 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
표 10-17 generate-by-regex 매개 변수
매개 변수
설명
dst
생성할 소스 이름.
value
dst에 할당할 값.
src
매칭 대상이 될 소스.
match
src에 비교할 일반 식 문자열.
예
다음 예는 호스트 이름이 일반 식 *.siroe.com과 일치하는 경우 분류를 Siroe로 설정합니다. 예를 들어 developer.siroe.com과 home.siroe.com에 있는 자원은 모두 Siroe로 분류됩니다.
Generate fn="generate-by-regex" match="\\*.siroe.com" src="host" value="Siroe" dst="classification"
generate-md5
generate-md5 함수는 MD5 체크섬을 생성하고 이를 자원에 추가합니다. 그런 다음 filter-by-md5 함수를 사용하여 이중 MD5 체크섬을 가진 자원을 거부할 수 있습니다.
매개 변수
없음
예
Data fn=generate-md5
generate-rd-expires
generate-rd-expires 함수는 만료 날짜를 생성하고 이를 지정된 소스에 추가합니다. 이 함수는 HTTP 헤더와 HTML <META> 태그와 같은 메타데이터를 사용하여 자원으로부터 만료 날짜 데이터를 얻습니다. 아무 것도 없으면 현재 날짜로부터 3개월의 만료 날짜를 생성합니다.
매개 변수
표 10-18은 generate-rd-expires 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
Generate fn=generate-rd-expires
generate-rd-last-modified
generate-rd-last-modified 함수는 현재 시간을 지정된 소스에 추가합니다.
매개 변수
표 10-19는 generate-rd-last-modified 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
Generate fn=generate-last-modified
rename-attribute
rename-attribute 함수는 자원 설명의 필드 이름을 변경합니다. 이 함수는 예를 들어 extract-html-meta가 <META> 태그의 정보를 필드로 복사하고 이 필드의 이름을 변경해야 하는 경우에 가장 유용합니다.
매개 변수
표 10-20은 generate-rd-last-modified 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
다음 예는 author에서 author-name으로 속성 이름을 변경합니다.
Generate fn=rename-attribute src="author->author-name"
열거 함수다음 함수는 열거 단계에서 작동합니다. 이들 함수는 로봇이 추가적 자원 발견을 위한 출발점으로 사용하기 위해 주어진 자원에서 링크를 수집하는 여부와 방식을 제어합니다. 이 부분에서는 다음 함수를 설명합니다.
enumerate-urls
enumerate-urls 함수는 자원을 스캔하고 하이퍼텍스트 링크에서 발견된 모든 URL을 열거합니다. 그 결과는 추가적인 자원 발견을 위해 사용됩니다. 열거할 URL 유형을 제한하기 위해 컨텐트 유형을 지정할 수 있습니다.
매개 변수
표 10-21은 enumerate-urls 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
표 10-21 enumerate-urls 매개 변수
매개 변수
설명
최대
주어진 자원에서 파생시킬 최대 URL 수. 생략되는 경우 기본값은 1024입니다.
type
지정된 컨텐트 유형을 가진 URL로 열거를 제한하는 컨텐트 유형. type은 옵션 매개 변수입니다. 생략하는 경우 모든 URL을 열거합니다.
예
다음 예는 최대값 1024로만 HTML URL을 열거합니다.
Enumerate fn=enumerate-urls type=text/html
enumerate-urls-from-text
enumerate-urls-from-text 함수는 다음 일반 식과 일치하는 문자열을 찾아 텍스트 자원을 스캔합니다. URL:.*. 그러면 로봇이 이들 문자열로부터 URL을 열거하고 추가 자원 설명을 생성합니다.
매개 변수
표 10-22는 enumerate-urls-from-text 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
Enumerate fn=enumerate-urls-from-text
생성 함수다음 함수는 필터링의 생성 단계에서 사용됩니다. 생성 함수는 자원 설명으로 이동하는 정보를 생성할 수 있습니다. 일반적으로 생성 함수는 자원 자체에서 정보를 추출하거나 자원의 메타데이터에서 정보를 복사합니다. 이 부분에서는 다음 함수를 설명합니다.
extract-full-text
extract-full-text 함수는 자원의 전체 텍스트를 추출하고 이를 자원 설명에 추가합니다.
참고
extract-full-text 함수는 주의하여 사용해야 합니다. 자원 설명의 크기를 크게 증가시켜 데이터베이스를 부풀리면 네트워크 대역폭에 전체적으로 부정적인 영향을 미칠 수 있기 때문입니다.
매개 변수
표 10-23은 extract-full-text 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
Generate fn=extract-full-text
extract-html-meta
extract-html-meta 함수는 HTML 파일에서 모든 <META> 또는 <TITLE> 정보를 추출하여 자원 설명에 추가합니다. 생성되는 URL의 종류를 제한하도록 컨텐트 유형을 지정할 수 있습니다.
매개 변수
표 10-24는 extract-html-meta 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
표 10-24 extract-html-meta 매개 변수
매개 변수
설명
truncate
추출할 최대 바이트 수.
type
옵션 매개 변수. 생략하는 경우 모든 URL을 생성합니다.
예
Generate fn=extract-html-meta truncate=255 type=text/html
extract-html-text
extract-html-text 함수는 HTML 파일에서 HTML 태그를 제외하고 텍스트의 처음 몇 문자를 추출하여 자원 설명에 추가합니다. 이를 통해 문서 텍스트의 처음 부분이 RD에 포함되도록 할 수 있습니다. 생성되는 URL 유형을 제한하도록 컨텐트 유형을 지정할 수 있습니다.
매개 변수
표 10-25는 extract-html-text 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
표 10-25 extract-html-text 매개 변수
매개 변수
설명
truncate
추출할 최대 바이트 수.
skip-headings
문서에 있는 HTML 헤더를 무시하려면 true로 설정합니다.
type
옵션 매개 변수. 생략하는 경우 모든 URL을 생성합니다.
예
Generate fn=extract-html-text truncate=255 type=text/html skip-headings=true
extract-html-toc
extract-html-toc 함수는 HTML 헤더에서 목차를 추출하여 자원 설명에 추가합니다.
매개 변수
표 10-26은 extract-html-toc 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
표 10-26 extract-html-toc 매개 변수
매개 변수
설명
truncate
추출할 최대 바이트 수.
level
추출할 최대 HTML 헤더 수준. 이 매개 변수는 목차의 깊이를 제어합니다.
예
Generate fn=extract-html-toc truncate=255 level=3
extract-source
extract-source 함수는 주어진 소스에서 지정된 값을 추출하여 자원 설명에 추가합니다.
매개 변수
표 10-27은 extract-source 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
표 10-27 extract-source 매개 변수
매개 변수
설명
src
소스 이름 목록; -> 연산자를 사용하여 RD 속성에 새 이름을 정의할 수 있습니다. 예를 들어 type->content-type은 type이라는 소스의 값을 취하여 content-type이라는 속성 아래의 RD에 저장합니다.
예
Generate fn=extract-source src="md5,depth,rd-expires,rd-last-modified"
harvest-summarizer
harvest-summarizer 함수는 자원에 대해 결과 요약기를 실행하여 그 결과를 자원 설명에 추가합니다.
결과 요약기를 실행하려면 로봇을 실행하기 전에 해당 path에 $HARVEST_HOME/lib/gatherer가 있어야 합니다.
매개 변수
표 10-28은 harvest-summarizer 함수에서 사용되는 매개 변수입니다. 이 표에는 2개의 열이 있습니다. 첫 번째 열은 매개 변수이고 두 번째 열은 설명입니다.
예
Generate fn-harvest-summarizer summarizer=HTML.sum
종료 함수다음 함수는 종료 단계에서 열거 및 생성 함수가 사용할 수 있습니다.
filterrules-shutdown
규칙이 실행된 후에 filterrules-shutdown 함수가 정리와 종료 처리를 담당합니다.
매개 변수
없음
예
Shutdown fn=filterrules-shutdown
