robots.txt 작성방법 - 아임웹 전문가찾기

Share Tips & Tech

각종 팁&정보를 나누는 곳입니다.
누군가에게 도움이 된다 싶으시면 언제라도 포스팅 :)

글 등록하기 | 내글 관리하기 | 연재글 | 보관함

robots.txt 작성방법

2009.07.01 14:49 조회 수

11210

이온디

첨부파일 https://imweb.eond.com/webtip/171232

예전 이온디 robots.txt

User-agent: Googlebot
Disallow: /eond/trash
Disallow: /eond/?document_srl=17386

User-Agent: *
Disallow: /eond/?document_srl=17386&listStyle=gallery
Disallow: /eond/?document_srl=17386

user-agent: * # 모든 로봇(robot)들에 적용
disallow: / # 모든 페이지들의 색인(indexing) 금지

새롭게 바뀐 이온디 robots.txt

User-Agent: *
Disallow: /style
Disallow: /weblog
Disallow: /music
Disallow: /senario
Disallow: /2u
Disallow: /ahj
Disallow: /love
Disallow: /chat
Disallow: /me
Disallow: /sig

Total 683 articles in 45 / 57 pages

	제목		날짜
155	[PHP] PHP rediect	95	2017/03/20
154	[리눅스서버] [리눅스] 가장큰 용량 파일 찾기 / 디렉터리	4325	2017/03/26
153	[리눅스서버] [리눅스] sftp 사용방법	100	2017/03/26
152	[윈도우] [리눅스서버] 리눅스서버에서 한글파일명 깨질때 (파일질라나 ftp로 한글깨짐)	2112	2017/03/26
151	[리눅스서버] ncftp 사용법	252	2017/03/26
150	[리눅스서버] SFTP 비밀번호 변경	8975	2017/03/30
149	[리눅스서버] sftp 사용자 계정만 접속하는 권한 설정해주기	438	2017/03/31
148	[리눅스서버] Secure Copy (SCP) 사용법	103	2017/03/31
147	[리눅스서버] 서버 locale 설정	122	2017/03/31
146	[MySQL] phpmyAdmin을 대체하는 Adminer - myadmin	525	2017/04/12
145	[리눅스서버] 리눅스 하위 디렉토리가 얼만큼 쓰는지 확인하는 명령어	166	2017/04/13
144	[리눅스서버] [vultr] 트래픽 초과 요금 산정 기준	589	2017/04/16