こんにちは山田です。
肌寒くなってまいりましたね。10月も、もう終わりです。
秋の味覚の栗を探したい気持ちを抑えつつ、SEO対策の話です。
今回は、クロール最適化の方法の一つとして、robots.txtについてお話しします。
まず、検索エンジンのロボットが、サイトの中で最初にアクセスするファイルがrobots.txtになります。
もし、テストページなどをアップロードしてクローラーにインデックスされたくない場合は
robots.txtで拒否して、インデックスしてお欲しいページに誘導してあげましょう。
さて、以下に書き方についてまとめてみました。ご参考になればと思います。
robots.txtの書き方
■ファイル名
robots.txt
■ファイルの置き場所
ドメインのルートドメイン
■サイト内すべてのロボットを拒否したい場合
User-agent:*
Disallow:/
■特定のロボット+特定のディレクトリやページ
User-agent: Googlebot ←グーグル
Disallow: /test/ ←拒否したい場合
Allow: /test/act ←testディレクトリは拒否するが、actページは受け入れる場合
Allow: /test/act.html ←testディレクトリは拒否するが、actページは受け入れる場合
ser-agent: bingbot ←Being(複数ロボットの場合は改行を入れて。拒否ページを記述する)
Disallow: /test/
■ついでにsitemap.xml
ここに記述しておくとSitemapを読むようになってくれるので記載しておいたほうが良いです。
書き方は↓
Sitemap: http://www.test.com/sitmap.xml