robots.txt 작성방법 - 아임웹 전문가찾기

Share Tips & Tech

각종 팁&정보를 나누는 곳입니다.
누군가에게 도움이 된다 싶으시면 언제라도 포스팅 :)

글 등록하기 | 내글 관리하기 | 연재글 | 보관함

robots.txt 작성방법

2009.07.01 14:49 조회 수

11210

이온디

첨부파일 https://imweb.eond.com/webtip/171232

예전 이온디 robots.txt

User-agent: Googlebot
Disallow: /eond/trash
Disallow: /eond/?document_srl=17386

User-Agent: *
Disallow: /eond/?document_srl=17386&listStyle=gallery
Disallow: /eond/?document_srl=17386

user-agent: * # 모든 로봇(robot)들에 적용
disallow: / # 모든 페이지들의 색인(indexing) 금지

새롭게 바뀐 이온디 robots.txt

User-Agent: *
Disallow: /style
Disallow: /weblog
Disallow: /music
Disallow: /senario
Disallow: /2u
Disallow: /ahj
Disallow: /love
Disallow: /chat
Disallow: /me
Disallow: /sig

Total 683 articles in 10 / 57 pages

	제목		날짜
575	[브라우저] 가릉빙가님께서 사용하시는 파이어폭스 확장기능입니다	8554	2007/10/29
574	[웹로그] 가릉빙가님께서 사용하시는 파이어폭스 확장기능입니다	7234	2007/10/29
573	[브라우저] [Firefox 파이어폭스]사람들은 어떤 확장기능을 사용하고 있을까?	8859	2007/10/29
572	[웹로그] [Firefox 파이어폭스]사람들은 어떤 확장기능을 사용하고 있을까?	7610	2007/10/29
571	[브라우저] 파이어폭스 즐겨찾기 관리 어떻게 할까?	2	2007/10/30
570	[웹로그] 파이어폭스 즐겨찾기 관리 어떻게 할까?	1	2007/10/30
569	[기본] 각종 플래시 동영상을 쉽게 다운로드받는 방법	10006	2007/10/31
568	[기본] 네이버 플래시 동영상 다운받기	7295	2007/10/31
567	[기본] 적당한 마우스 스크롤의 양	6325	2007/10/31
566	[웹로그] 적당한 마우스 스크롤의 양	5985	2007/10/31
565	[기본] 추천 무료 백신 및 악성코드 제거 프로그램	5736	2007/10/31
564	[기본] TapiSrv 이란?	5864	2007/11/02