robots.txt 작성방법 - 아임웹 전문가찾기

Share Tips & Tech

각종 팁&정보를 나누는 곳입니다.
누군가에게 도움이 된다 싶으시면 언제라도 포스팅 :)

글 등록하기 | 내글 관리하기 | 연재글 | 보관함

robots.txt 작성방법

2009.07.01 14:49 조회 수

11210

이온디

첨부파일 https://imweb.eond.com/webtip/171232

예전 이온디 robots.txt

User-agent: Googlebot
Disallow: /eond/trash
Disallow: /eond/?document_srl=17386

User-Agent: *
Disallow: /eond/?document_srl=17386&listStyle=gallery
Disallow: /eond/?document_srl=17386

user-agent: * # 모든 로봇(robot)들에 적용
disallow: / # 모든 페이지들의 색인(indexing) 금지

새롭게 바뀐 이온디 robots.txt

User-Agent: *
Disallow: /style
Disallow: /weblog
Disallow: /music
Disallow: /senario
Disallow: /2u
Disallow: /ahj
Disallow: /love
Disallow: /chat
Disallow: /me
Disallow: /sig

Total 683 articles in 15 / 57 pages

	제목		날짜
515	[웹로그] 알약 설치 후 - AYServiceNT.aye 라는 서비스는 왜 자동 시작되는 걸까? [3] [2]	11378	2007/11/12
514	[기본] 알약 설치 후 - AYServiceNT.aye 라는 서비스는 왜 자동 시작되는 걸까? [1]	8683	2007/11/12
513	[웹로그] 파이어폭스 추천 확장기능	9469	2007/11/12
512	[브라우저] 파이어폭스 추천 확장기능 [2] [1]	18573	2007/11/12
511	[웹로그] 블로거뉴스단에 가입하라.	0	2007/11/13
510	[기본] 블로거뉴스단에 가입하라.	4	2007/11/13
509	[웹로그] 구글 애드센스 컨설팅 - 하데스님의 블로그 구글 애드센스 최적화 가이드 편	6838	2007/11/13
508	[기본] 구글 애드센스 컨설팅 - 하데스님의 블로그 구글 애드센스 최적화 가이드 편	5805	2007/11/13
507	[웹로그] 파이어폭스에서 mp3 재생이 안될 때	0	2007/11/17
506	[브라우저] 파이어폭스에서 mp3 재생이 안될 때	3	2007/11/17
505	[웹로그] 웹 오피스	0	2007/11/18
504	[웹로그] 문서파일에서 내용만 추출하기 - 한글 문서 추출 hwp 텍스트 변환 추출	8961	2007/11/18