robots.txt 작성방법 - 아임웹 전문가찾기

Share Tips & Tech

각종 팁&정보를 나누는 곳입니다.
누군가에게 도움이 된다 싶으시면 언제라도 포스팅 :)

글 등록하기 | 내글 관리하기 | 연재글 | 보관함

robots.txt 작성방법

2009.07.01 14:49 조회 수

11210

이온디

첨부파일 https://imweb.eond.com/webtip/171232

예전 이온디 robots.txt

User-agent: Googlebot
Disallow: /eond/trash
Disallow: /eond/?document_srl=17386

User-Agent: *
Disallow: /eond/?document_srl=17386&listStyle=gallery
Disallow: /eond/?document_srl=17386

user-agent: * # 모든 로봇(robot)들에 적용
disallow: / # 모든 페이지들의 색인(indexing) 금지

새롭게 바뀐 이온디 robots.txt

User-Agent: *
Disallow: /style
Disallow: /weblog
Disallow: /music
Disallow: /senario
Disallow: /2u
Disallow: /ahj
Disallow: /love
Disallow: /chat
Disallow: /me
Disallow: /sig

Total 683 articles in 12 / 57 pages

	제목		날짜
551	[텔넷] tbz2/tar.bz2 압축, 압축 해제	2093	2017/05/30
550	[Nginx] [Nginx+Rewriterule] apache / nginx 에서 .php 생략하기	330	2017/05/30
549	[리눅스서버] [CentOS] 가비아 서버 사용법	0	2017/05/06
548	[리눅스서버] Got a packet bigger than 'max_allowed_packet' bytes 문제	237	2017/05/05
547	[리눅스서버] nginx upstream 성능 최적화	120	2017/04/24
546	[사이트관리] 사이트 실시간 접속자 체크 스크립트	360	2017/04/19
545	[리눅스서버] 리눅스 소켓 접속 수 제한 풀기	837	2017/04/18
544	[리눅스서버] upstream 500 에러 / 오류 잡기 / socket 제한	251	2017/04/18
543	[윈도우서버] 윈도우 서버 2016	135	2017/04/17
542	[윈도우서버] vultr 에 윈도우 서버 iso 사용하기	714	2017/04/17
541	[리눅스서버] 웹서버 nginX 이미지 등의 외부링크 막기	269	2017/04/16
540	[리눅스서버] [vultr] 트래픽 초과 요금 산정 기준	589	2017/04/16