SEOに有利！クローラーを巡回させるためのサイトマップの作り方（3/3ページ）

robots.txtにも記載する

robots.txtとはクローラーの動きを制御できるファイルです。robots.txtを設置している人は、サイトマップを作成したなら以下のようにサイトマップのURLを記述しましょう。

User-Agent:*
Disallow:
Sitemap:http://example.com/sitemap.xml

Sitemap以外のところはそのサイトによって各自書き換えてください。ここで重要なのはSitemapの箇所で、上記のようにサイトマップのURLを記述します。

そうすると、クローラーにサイトマップをより読みやすくさせることができ効率的なクローラーの巡回につながります。

上級者向けアドバイス：独自プログラムによるサイトマップの自動生成

ブログのように頻繁に記事を更新して、その都度サイトマップを書き換えるのはかなり面倒くさいと思います。

そこで、PHPやPerlのようなサーバー言語を取り扱える人は、サイトマップをプログラムで自動生成するようにできるとかなり手間が省けます。

やり方としては、ファイルを読み込んで、その名前やフォルダによってif文などでchangfreqやpriorityを分岐させて、上記のサイトマップのように表示させればよいだけです。しかも、更新時間はプログラムによっては関数で一発で取得できるものもあるのでおすすめです。

このブログではPHPでサイトマップを自動生成しています。

サイトマップのガイドライン

最後にサイトマップのガイドラインを確認しておきましょう。サイトマップを作るときは、以下のガイドラインに必ず従うようにします。

サイトマップファイルに含める URL は 50,000 個以下で、ファイルサイズは圧縮されていない状態で 50 MB 以下にする必要があります。制限を超える場合は、サイトマップを複数のファイルに分割します。この制限は、Google へのファイル送信時にサーバーに負荷がかかりすぎないようにするために設けられています。
複数のサイトマップを使用する場合は、これらのサイトマップをサイトマップインデックスファイルにリストして、それを Google に送信することができます。個々のサイトマップのファイルを送信する必要はありません。
URL はすべて同じシンタックスを使用して指定します。たとえば、サイトの場所を http://www.example.com/と指定した場合、http://example.com/から始まる URL をサイトマップに含めることはできません。
URL にセッション ID を含めないでください。
サイトマップファイルに次の XML ネームスペースを指定する必要があります:xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
サイトマップの URL は、UTF-8 でエンコードし、ホストするウェブサーバーが読み取り可能な形式でエンコードする必要があります。
www を含むバージョンと含まないバージョンのどちらのドメインでもサイトにアクセスできる場合、各バージョンについて個別にサイトマップを送信する必要はありません。ただし、www を含むバージョンと含まないバージョンのいずれかを選択し、推奨オプションである正規化方法を使用して Google に選択したドメインを知らせていただくことをおすすめします。
サイトマップを最適化するために専門家とのサポート契約を検討している場合は、Google が提供している、検索エンジン最適化業者（SEO）と連携する際の推奨事項を読むことをおすすめします。また、ウェブマスター向けガイドライン（品質に関するガイドライン）やSEO スターターガイドをよくお読みください。似たようなサイトや事業を運営する友人に相談してみるのも 1 つの手です。
サイトマップファイルはコンテンツの言語とは無関係です。すべての言語のバージョンが確実にクロールされインデックスに登録されるようにするには、固有の URL を使用してください。こうした URL はすべて、サイトマップファイルに含めることができます。
引用元：サイトマップの作成-ウェブマスターツールヘルプ