robots.txt 작성방법 - 아임웹 전문가찾기

Share Tips & Tech

각종 팁&정보를 나누는 곳입니다.
누군가에게 도움이 된다 싶으시면 언제라도 포스팅 :)

글 등록하기 | 내글 관리하기 | 연재글 | 보관함

robots.txt 작성방법

2009.07.01 14:49 조회 수

11210

이온디

첨부파일 https://imweb.eond.com/webtip/171232

예전 이온디 robots.txt

User-agent: Googlebot
Disallow: /eond/trash
Disallow: /eond/?document_srl=17386

User-Agent: *
Disallow: /eond/?document_srl=17386&listStyle=gallery
Disallow: /eond/?document_srl=17386

user-agent: * # 모든 로봇(robot)들에 적용
disallow: / # 모든 페이지들의 색인(indexing) 금지

새롭게 바뀐 이온디 robots.txt

User-Agent: *
Disallow: /style
Disallow: /weblog
Disallow: /music
Disallow: /senario
Disallow: /2u
Disallow: /ahj
Disallow: /love
Disallow: /chat
Disallow: /me
Disallow: /sig

Total 683 articles in 4 / 57 pages

	제목		날짜
647	[기본] 구글 검색창 소스 [1]	4	2007/11/23
646	[GitHub] 간단한 깃 사용법	13	2021/02/01
645	[웹 제작] website to learn	44	2022/12/27
644	[사이트관리] 사이트맵 FAQ	50	2023/01/31
643	[MySQL] How to change a MySQL database’s table prefix	59	2020/02/18
642	카카오지도 가려지는 문제	59	2024/02/01
641	[Nginx] : /bin/bash^M: bad interpreter: No such file or directory	63	2017/10/28
640	[리눅스서버] 수천 개의 파일이 포함 된 큰 디렉토리를 효율적으로 삭제	64	2020/12/07
639	[웹 제작] 임시이미지 사이트 https://placeimg.com/	66	2022/11/27
638	[웹 제작] css hover underline center to side	67	2020/04/16
637	[윈도우] 윈도우 이 항목을 찾을 수 없습니다 삭제 방법	68	2020/11/29
636	[리눅스서버] 리눅스 iptables IP 차단	69	2020/04/16