사이트 정의

로봇은 자원을 찾고 이러한 자원의 설명을 데이터베이스에 추가할지 여부를 결정합니다. 방문할 서버와 이러한 서버에서 인덱싱할 부분을 결정하는 작업을 사이트 정의라고 합니다.

로봇에 대한 사이트 정의는 서버 관리자가 수행해야 하는 가장 중요한 작업 중 하나입니다. 인덱싱이 필요한 모든 서버로 로봇을 전송해야 하지만 데이터베이스를 잠식하여 올바른 정보를 찾기 어렵게 만드는 외부 사이트는 제외시켜야 합니다.