검색엔진에서 자동으로 사이트를 수집 및 등록하기 위해서는 사용하는 크롤러(Crawler)로부터 사이트를 제어하기 위해서 사용하는 파일은?

정답 4번

robots.txt는 사이트 최상위 경로에서 크롤러에 수집 허용·제한 규칙을 알리는 파일이다. User-agent로 대상을 지정하고 Disallow 등으로 크롤링할 경로를 안내한다. 이는 로그인이나 서버 접근권한을 대신하는 보안 장치가 아니다. 협조하지 않는 클라이언트의 접속을 막지 못하며, 크롤링을 막은 URL도 다른 링크를 통해 검색결과에 URL만 나타날 수 있다. 검색 색인 제외를 위한 noindex와 크롤링 제한도 서로 다르다. access.conf·httpd.conf는 서버 설정용 이름으로 이 규약의 파일이 아니다.