robots.txt 작성방법 - 아임웹 전문가찾기

Share Tips & Tech

각종 팁&정보를 나누는 곳입니다.
누군가에게 도움이 된다 싶으시면 언제라도 포스팅 :)

글 등록하기 | 내글 관리하기 | 연재글 | 보관함

robots.txt 작성방법

2009.07.01 14:49 조회 수

11210

이온디

첨부파일 https://imweb.eond.com/webtip/171232

예전 이온디 robots.txt

User-agent: Googlebot
Disallow: /eond/trash
Disallow: /eond/?document_srl=17386

User-Agent: *
Disallow: /eond/?document_srl=17386&listStyle=gallery
Disallow: /eond/?document_srl=17386

user-agent: * # 모든 로봇(robot)들에 적용
disallow: / # 모든 페이지들의 색인(indexing) 금지

새롭게 바뀐 이온디 robots.txt

User-Agent: *
Disallow: /style
Disallow: /weblog
Disallow: /music
Disallow: /senario
Disallow: /2u
Disallow: /ahj
Disallow: /love
Disallow: /chat
Disallow: /me
Disallow: /sig

Total 683 articles in 8 / 57 pages

	제목		날짜
599	[기본] 카스퍼스키 무료로 사용하기	7027	2007/10/23
598	[웹로그] 카스퍼스키 무료로 사용하기	6769	2007/10/23
597	[기본] 탐색기 파일 목록 텍스트로 저장하기	7674	2007/10/23
596	[웹로그] 탐색기 파일 목록 텍스트로 저장하기 [1]	8016	2007/10/23
595	[기본] 컴퓨터로 라디오 듣기	8117	2007/10/24
594	[웹로그] 컴퓨터로 라디오 듣기	6409	2007/10/24
593	[브라우저] 파이어폭스 설치된 플러그인을 다른 컴퓨터에서도 사용하는 방법	7896	2007/10/27
592	[웹로그] 파이어폭스 설치된 플러그인을 다른 컴퓨터에서도 사용하는 방법	5848	2007/10/27
591	[브라우저] 내 파이어폭스 북마크를 다른 컴퓨터에서도 사용하자	8525	2007/10/28
590	[웹로그] 내 파이어폭스 북마크를 다른 컴퓨터에서도 사용하자	6215	2007/10/28
589	[기본] AppleMobileDeviceService.exe 아예 지워버리자	6804	2007/10/28
588	[웹로그] AppleMobileDeviceService.exe 아예 지워버리자 [1] [1]	8176	2007/10/28