robots.txt 작성방법 - 아임웹 전문가찾기

Share Tips & Tech

각종 팁&정보를 나누는 곳입니다.
누군가에게 도움이 된다 싶으시면 언제라도 포스팅 :)

글 등록하기 | 내글 관리하기 | 연재글 | 보관함

robots.txt 작성방법

2009.07.01 14:49 조회 수

11210

이온디

첨부파일 https://imweb.eond.com/webtip/171232

예전 이온디 robots.txt

User-agent: Googlebot
Disallow: /eond/trash
Disallow: /eond/?document_srl=17386

User-Agent: *
Disallow: /eond/?document_srl=17386&listStyle=gallery
Disallow: /eond/?document_srl=17386

user-agent: * # 모든 로봇(robot)들에 적용
disallow: / # 모든 페이지들의 색인(indexing) 금지

새롭게 바뀐 이온디 robots.txt

User-Agent: *
Disallow: /style
Disallow: /weblog
Disallow: /music
Disallow: /senario
Disallow: /2u
Disallow: /ahj
Disallow: /love
Disallow: /chat
Disallow: /me
Disallow: /sig

Total 683 articles in 7 / 57 pages

	제목		날짜
611	[리눅스서버] [리눅스] sftp 사용방법	100	2017/03/26
610	[엑셀] 오류 해결~!	100	2019/02/04
609	[리눅스서버] Secure Copy (SCP) 사용법	103	2017/03/31
608	[텔넷] SSH 파일 생성	104	2016/02/03
607	[리눅스서버] upstream 500 에러	105	2017/03/18
606	[GitHub] 다른 깃헙 가져오기 cli	106	2022/01/23
605	[기타] WidgetBot - 디스코드 채팅 방을 블로그에 달자!	106	2023/05/04
604	[리눅스서버] crontab 사용방법	107	2017/07/26
603	[메신저] 카카오톡 알림톡 개발하기 #1	109	2023/08/01
602	[윈도우] Windows 8.1 인증	110	2015/07/05
601	[엑셀] [엑셀] 원하는 날짜에 해당하는 항목값의 갯수 추출하기	110	2019/10/12
600	[GitHub] git의 .gitignore 사용방법	111	2021/12/29