열거 및 생성 필터의 필터링 프로세스는 모두 5단계로 이루어집니다.
설정 – 초기화 작업을 수행합니다. 로봇의 사용 중 한 번만 수행됩니다.
메타데이터 – 자원에 대해 사용할 수 있는 메타데이터를 바탕으로 자원을 필터링합니다. 메타데이터 필터링은 네트워크를 통해 자원을 검색하기 전에 자원당 한 번 발생합니다. 표 12–1은 일반적인 메타데이터 유형의 예입니다.
메타데이터 유형 |
설명 |
예 |
---|---|---|
전체 URL |
자원의 위치 |
http://home.siroe.com/ |
프로토콜 |
URL의 액세스 부분 |
http, ftp, file |
호스트 |
URL의 주소 부분 |
www.siroe.com |
IP 주소 |
호스트의 숫자 버전 |
198.95.249.6 |
경로 |
URL의 경로 부분 |
/index.html |
깊이 |
시작 위치 URL로부터의 링크 수 |
5 |
데이터 – 데이터를 기반으로 자원을 필터링합니다. 데이터는 네트워크를 통해 데이터를 검색한 후 자원당 한 번만 필터링됩니다. 필터링에 사용할 수 있는 데이터는 다음과 같습니다.
content-type
content-length
content-encoding
content-charset
last-modified
expires
열거 – 검사할 다른 자원을 가리키는지 여부를 결정하기 위해 현재 자원을 열거합니다.
생성 – 자원에 대한 자원 설명(RD)을 생성하고 이를 검색 서버 데이터베이스에 저장합니다.
종료 – 필요한 모든 종료 작업을 수행합니다. 이 프로세스는 로봇 사용 중에 한 번만 발생합니다.