robots.txt 작성방법 - 아임웹 전문가찾기

Share Tips & Tech

각종 팁&정보를 나누는 곳입니다.
누군가에게 도움이 된다 싶으시면 언제라도 포스팅 :)

글 등록하기 | 내글 관리하기 | 연재글 | 보관함

robots.txt 작성방법

2009.07.01 14:49 조회 수

11210

이온디

첨부파일 https://imweb.eond.com/webtip/171232

예전 이온디 robots.txt

User-agent: Googlebot
Disallow: /eond/trash
Disallow: /eond/?document_srl=17386

User-Agent: *
Disallow: /eond/?document_srl=17386&listStyle=gallery
Disallow: /eond/?document_srl=17386

user-agent: * # 모든 로봇(robot)들에 적용
disallow: / # 모든 페이지들의 색인(indexing) 금지

새롭게 바뀐 이온디 robots.txt

User-Agent: *
Disallow: /style
Disallow: /weblog
Disallow: /music
Disallow: /senario
Disallow: /2u
Disallow: /ahj
Disallow: /love
Disallow: /chat
Disallow: /me
Disallow: /sig

Total 683 articles in 10 / 57 pages

	제목		날짜
575	[GitHub] github.io 페이지 만들기	157	2015/09/04
574	[윈도우] hiberfil	160	2015/09/10
573	Cloudflare SSL 설정 #클라우드플레어	160	2017/08/17
572	[리눅스서버] 리눅스 하위 디렉토리가 얼만큼 쓰는지 확인하는 명령어	166	2017/04/13
571	[Nginx] https가 아닐 경우 https로 리다이렉트하는 방법	170	2018/04/25
570	[기타] 마우스 캔버스 터치 사인 저장	173	2019/09/30
569	[브라우저] 파이어폭스 오른쪽 클릭	184	2015/11/21
568	[Nginx] NGINX REVERSE PROXY	189	2017/10/15
567	[사이트관리] 웹사이트 보안검사 멀웨어 체크 / 웹사이트 악성코드 검사방법	191	2019/03/01
566	[GitHub] warning: LF will be replaced by CRLF in hello1.txt.	194	2020/05/09
565	[엑셀] 엑셀 셀병합 단축키 만들기, 엑셀 병합 단축키	195	2019/02/04
564	[사이트관리] 홈페이지에 옐로아이디 카카오톡 링크 추가하기	197	2015/08/21