robots.txt 작성방법 - 아임웹 전문가찾기

Share Tips & Tech

각종 팁&정보를 나누는 곳입니다.
누군가에게 도움이 된다 싶으시면 언제라도 포스팅 :)

글 등록하기 | 내글 관리하기 | 연재글 | 보관함

robots.txt 작성방법

2009.07.01 14:49 조회 수

11210

이온디

첨부파일 https://imweb.eond.com/webtip/171232

예전 이온디 robots.txt

User-agent: Googlebot
Disallow: /eond/trash
Disallow: /eond/?document_srl=17386

User-Agent: *
Disallow: /eond/?document_srl=17386&listStyle=gallery
Disallow: /eond/?document_srl=17386

user-agent: * # 모든 로봇(robot)들에 적용
disallow: / # 모든 페이지들의 색인(indexing) 금지

새롭게 바뀐 이온디 robots.txt

User-Agent: *
Disallow: /style
Disallow: /weblog
Disallow: /music
Disallow: /senario
Disallow: /2u
Disallow: /ahj
Disallow: /love
Disallow: /chat
Disallow: /me
Disallow: /sig

Total 683 articles in 19 / 57 pages

	제목		날짜
467	[브라우저] 왜임마 사용하기 #1 [2] [1]	8559	2007/11/27
466	[기본] 판도라동영상 OpenAPI 사용후기 [1]	5962	2007/11/29
465	[웹로그] 판도라동영상 OpenAPI 사용후기 [1]	8203	2007/11/29
464	[기본] Bonjour Service 다시 한 번 알아보자.	5633	2007/11/29
463	[웹로그] Bonjour Service 다시 한 번 알아보자.	5499	2007/11/29
462	[기본] 카스퍼스키 안티 바이러스 7, 3개월 무료 이용권 (처음 사용자용)	6199	2007/12/01
461	[웹로그] 카스퍼스키 안티 바이러스 7, 3개월 무료 이용권 (처음 사용자용)	5923	2007/12/01
460	[웹로그] flyExplorer v1.80.1735 정식 버전이 나왔습니다.	8318	2007/12/02
459	[기본] SnagIt, Camtasia 무료 배포	7820	2007/12/04
458	[웹로그] SnagIt, Camtasia 무료 배포	0	2007/12/04
457	[기본] 플래시 시계 [2]	7827	2007/12/10
456	[웹로그] 고해상도 앨범 커버를 가져오자. CoverGuru [1]	5192	2007/12/22