로봇이 http://wiz.pe.kr/과 같은 웹 싸이트를 방문하면, 먼저 http://wiz.pe.kr/robots.txt 파일을 호출한다.robot.txt 파일이 발견되면 파일을 읽어 그 내용을 분석한다.로봇에 접근 권한 및 접근 가능한 경로에 대한 정보로 자신이 수집해도 되는 콘텐트만을 수집 하게 된다.한 사이트에는 하나의 "robots.txt" 를 루트에 가질 수 있다.로봇은 하위 디렉토리에서 이 파일을 검색하지 않는 것을 원칙으로 한다.이 때문에 robots.txt 파일은 꼭 웹사이트의 루트에 생성해야 한다.uri는 대소문 더보기