[SEO] robots.txt와 sitemap.xml
사이트를 구축하면 다양한 로봇이 사이트의 정보를 가져 간다. 대표적인 로봇은 구글 검색 엔진이나 네이버 검색 엔진에서 사용하는 로봇 이다. robots.txt를 사용하면 검색엔진에서 가져가는 정보를 조정할 수 있다. 다만, 아직은 표준이 아니라 권고 사항이라 100% 적용이 되지는 않는다.
robots.txt
웹사이트의 최상위 폴더(/, 다큐먼트 루트 폴더)에 단 하나만 존재해야 하는 파일로 다음과 같은 양식을 가진다.
- # : 주석
- 하나의 코드 블럭은 빈줄로 구분 한다.
- User-agent : ~ #— 제어할 로봇의 User-agent 이다.
- Allow: ~ #— 접근을 허용할 폴더 또는 파일
- Disallow: ~ #— 접근을 허용하지 않는 폴더 또는 파일
- Sitemap : http://~/sitemap.xml #— 사이트맵 xml 파일
항목 | 상세 설명 |
---|---|
User-agent | 대표적인 User-agent 예
|
Allow, Disallow | 폴더는 /로 끝난다.
정규표현식을 사용하여 지정할 수 있다. |
참고로 각 html 파일에서 meta tag를 사용하여 지정할 수도 있다.
<meta name=”ROBOTS” content=”index,noindex,follow,nofollow,all,none” />
content의 디폴트 값은 “index,follow” 이다.
- index : 인덱싱함
- noindex : 인덱싱 하지 않음
- follow : 페이지에 포함된 링크를 따라가면서 인덱싱하는 것을 허용
- nofollow : 페이지에 포함된 링크를 따라가면서 인덱싱하는 것을 허용하지 않음
- all : 모두 허용
- none : 모두 거부
sitemap.xml
sitemap.xml을 사용하면 각 URL에 대한 추가적인 정보를 로봇에게 제공 한다. 작성한 sitemap.xml은 robots.txt에 등록하여야 한다. 아래는 sitemap의 샘플 이다.
<?xml version=”1.0″ encoding=”UTF-8″?> <urlset xmlns:xsi=”http://www.w3.org/2001/XMLSchema-instance” xsi:schemaLocation=”http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd” xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″> <url> <loc>https://www.obcon.biz/</loc> <lastmod>2017-05-11</lastmod> <changefreq>always</changefreq> <priority>0.8</priority> </url> <url> <loc>https://www.obcon.biz/whoAreYou/</loc> </url> </urlset> |
- loc : URL
- lastmod : 최종 수정일
- 2018-12-23
- 2018-12-23T18:00:15+09:00
- changefreq : 수정 빈도
- always, daily, monthly, weekly, yearly, never
- priority : 우선 순위 (0.00 ~ 1.00)
사이트맵을 개인적으로 만들기에는 어려움이 있어 아래 도구를 사용하면 편리하다.
- http://www.web-site-map.com/xml_sitemap.php : 사이트맵 자동 생성
- WordPress Plugin : Google XML Sitemaps
2018.03.08 ~ 2018.03.08, ver 0.01