SEO内部対策！クローラーを制御するためのrobots.txtの書き方（3/3ページ）

最後にSitemapですが、これはサイトマップのURLを指定すればよいだけです。以下のように書きます。

Sitemap:http://example.com/sitemap.xml

ここで記載するURLはDisallowなどと違い、絶対パスで必ず記載するようにしてください。

このようにサイトマップのURLを指定すると、クローラーがサイトマップを見つけやすくなり、それによって巡回するべきコンテンツを把握しやすくなります。

robots.txtでクロールしてほしくないファイルを指定しつつ、サイトマップでクロールしてほしいファイルを指定することで、クローラーの巡回の効率化が見込めますので、Disallowでブロックするべきコンテンツがなくても、サイトマップのURLを記載したrobots.txtを設置するべきです。

なお、サイトマップの作り方は、SEOに有利！クローラーを巡回させるためのサイトマップの作り方の記事で紹介していますので、まだ知らない人は記事を読むことをおすすめします。

robots.txtの例をいくつか紹介しておきます。以下を参考にして作成するといいでしょう。

ブロックするページがない場合

User-Agent:*
Disallow:
Sitemap:http://example.com/sitemap.xml

GoogleとBingに/abc/フォルダをクロール禁止にする場合

User-Agent:Googlebot
User-Agent:bingbot
Disallow:/abc/
Sitemap:http://example.com/sitemap.xml

Googleにはaaa.htmlのファイル、Bingには/eee/フォルダをクロール禁止にする場合

User-Agent:Googlebot
Disallow:/aaa.html
Sitemap:http://example.com/sitemap.xml

User-Agent:bingbot
Disallow:/eee/
Sitemap:http://example.com/sitemap.xml

Googleに全てのjpgファイルをクロール禁止にする場合

User-Agent:Googlebot
Disallow:*.jpg
Sitemap:http://example.com/sitemap.xml

imageフォルダはブロックするが、その中のpngファイルだけ許可する場合

User-Agent:*
Disallow:/image/
Allow:/image/*.png
Sitemap:http://example.com/sitemap.xml

robots.txtでクロールのアクセスを禁止しても、インデックスに登録され、検索結果に表示されることもあります。

そうならないために、robots.txtでブロックしたファイルには、head中のメタタグに、noindexをしっかり設定しておきましょう。

まとめ

以上、robots.txtの概要と作成の仕方でした。

クロールしてほしくないコンテンツがあるときはもちろん、ブロックするコンテンツがない場合でも、サイトマップを伝える役目をしてくれるます。

robots.txtを設置することで、クロールを効率化することができるので、設置することをおすすめします。