[SEO] robots.txt와 sitemap.xml

 

사이트를 구축하면 다양한 로봇이 사이트의 정보를 가져 간다. 대표적인 로봇은 구글 검색 엔진이나 네이버 검색 엔진에서 사용하는 로봇 이다. robots.txt를 사용하면 검색엔진에서 가져가는 정보를 조정할 수 있다. 다만, 아직은 표준이 아니라 권고 사항이라 100% 적용이 되지는 않는다.

 

 

robots.txt

웹사이트의 최상위 폴더(/, 다큐먼트 루트 폴더)에 단 하나만 존재해야 하는 파일로 다음과 같은 양식을 가진다.

  • # : 주석
  • 하나의 코드 블럭은 빈줄로 구분 한다.
    • User-agent : ~                                     #— 제어할 로봇의 User-agent 이다.
    • Allow: ~                                                #— 접근을 허용할 폴더 또는 파일
    • Disallow: ~                                           #— 접근을 허용하지 않는 폴더 또는 파일
  • Sitemap : http://~/sitemap.xml                #— 사이트맵 xml 파일
항목 상세 설명
User-agent 대표적인 User-agent 예

  • Google : Googlebot
  • Google image : Googlebot-image
  • Msn : MSNBot
  • Naver : NaverBot
  • Daum : Daumoa
Allow, Disallow 폴더는 /로 끝난다.

정규표현식을 사용하여 지정할 수 있다.

 

참고로 각 html 파일에서 meta tag를 사용하여 지정할 수도 있다.

<meta name=”ROBOTS” content=”index,noindex,follow,nofollow,all,none” />

content의 디폴트 값은 “index,follow” 이다.

  • index : 인덱싱함
  • noindex : 인덱싱 하지 않음
  • follow : 페이지에 포함된 링크를 따라가면서 인덱싱하는 것을 허용
  • nofollow : 페이지에 포함된 링크를 따라가면서 인덱싱하는 것을 허용하지 않음
  • all : 모두 허용
  • none : 모두 거부

 

 

sitemap.xml

 

sitemap.xml을 사용하면 각 URL에 대한 추가적인 정보를 로봇에게 제공 한다. 작성한 sitemap.xml은 robots.txt에 등록하여야 한다. 아래는 sitemap의 샘플 이다.

<?xml version=”1.0″ encoding=”UTF-8″?>
<urlset xmlns:xsi=”http://www.w3.org/2001/XMLSchema-instance”
xsi:schemaLocation=”http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd”
xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″>
<url>
<loc>https://www.obcon.biz/</loc>
<lastmod>2017-05-11</lastmod>
<changefreq>always</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>https://www.obcon.biz/whoAreYou/</loc>
</url>
</urlset>
  •  loc : URL
  • lastmod : 최종 수정일
    • 2018-12-23
    • 2018-12-23T18:00:15+09:00
  • changefreq : 수정 빈도
    • always, daily, monthly, weekly, yearly, never
  • priority : 우선 순위 (0.00 ~ 1.00)

 

사이트맵을 개인적으로 만들기에는 어려움이 있어 아래 도구를 사용하면 편리하다.

  • http://www.web-site-map.com/xml_sitemap.php : 사이트맵 자동 생성
  • WordPress Plugin : Google XML Sitemaps

 

오비컨

2018.03.08 ~ 2018.03.08, ver 0.01

 

0 답글

댓글을 남겨주세요

토론에 참여하고 싶으세요?
마음껏 기여하세요!

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다