안녕하세요~간만에 질문드리는 퍼니입니다.

항상 보스님들로 부터 많은 가르침 받고 있습니다.

다름이 아니라 제가 오늘 여쭤보려하는건 요즘 웹문서 노출에 대해 공부중인데요.

(얼마전에 다음쪽 연관 웹문서 노출로 일4000 잡히고나니 궁금한점이 많아져서요.ㅋㅋ)

일단 나름 홈페이지 최적화한다고 헤드에 메타소스 다 넣었구요.

오늘우연히 네이버 웹문서쪽 내용을 보다가

User-agent: *
Disallow:

User-agent: NaverBot
Crawl-delay: 30
User-agent: Yeti
Crawl-delay: 30

요런소스를 보게 되었습니다. 요 두가지도 메타소스와 헤드에 같이 써도될까요?
그리고 Disallow: <--요건 무얼을 뜻하는지.

제가원하는건 전포털에서 로봇이 수집해가는거랑 초단위수집인데요.
실제로 어떻게 적용해야 하는지...

워낙 초짜라~~ㅎㅎ 보자마자 아이보스로 달려 왔습니다.
고수님들 가르침 부탁드려요.
쪽지주셔도 감사합니다.