robots.txt 작성방법 - 아임웹 전문가찾기

Share Tips & Tech

각종 팁&정보를 나누는 곳입니다.
누군가에게 도움이 된다 싶으시면 언제라도 포스팅 :)

글 등록하기 | 내글 관리하기 | 연재글 | 보관함

robots.txt 작성방법

2009.07.01 14:49 조회 수

11210

이온디

첨부파일 https://imweb.eond.com/webtip/171232

예전 이온디 robots.txt

User-agent: Googlebot
Disallow: /eond/trash
Disallow: /eond/?document_srl=17386

User-Agent: *
Disallow: /eond/?document_srl=17386&listStyle=gallery
Disallow: /eond/?document_srl=17386

user-agent: * # 모든 로봇(robot)들에 적용
disallow: / # 모든 페이지들의 색인(indexing) 금지

새롭게 바뀐 이온디 robots.txt

User-Agent: *
Disallow: /style
Disallow: /weblog
Disallow: /music
Disallow: /senario
Disallow: /2u
Disallow: /ahj
Disallow: /love
Disallow: /chat
Disallow: /me
Disallow: /sig

Total 683 articles in 16 / 57 pages

	제목		날짜
503	[Apm] AutoSet(오토셋) vs ApmSetup7	294	2015/11/17
502	[웹 제작] Let's Encrypt 웹호스팅에 적용하기	0	2015/11/06
501	[브라우저] 브라우저 중복 즐겨찾기 정리 프로그램	135	2015/10/06
500	[Apm] [bitnami] 맥에서 APM 사용하기(비트나미 설치)	289	2015/09/22
499	[윈도우] .net Framework 3.5(닷넷프레임워크)이 깔리지 않을 때(0x80071a90)[Windows 8.1]	1202	2015/09/22
498	[윈도우] 윈도우 8.1 0x80070011 오류	458	2015/09/21
497	[기타] 인스타그램 pc버전 인스타넷	1316	2015/09/14
496	[기타] pc에서 인스타 하기	420	2015/09/14
495	[윈도우] hiberfil	160	2015/09/10
494	[윈도우] .sit 파일 압축 풀기	1124	2015/09/06
493	[GitHub] github.io 페이지 만들기	157	2015/09/04
492	[Apm] [Autoset] XE 설치 중 Session.auto_start 설정 : 불가능 문제	515	2015/08/29