Bloggerでインデックスステータスがずっと０ その２

お疲れ様です。岡田です。

前回、このブログのインデックスステータスが心停止状態になっているよ～という記事
（前回の記事：Bloggerでインデックスステータスがずっと０　その１）
の末尾で「カステラ食べたい」と書いていたんですが、なんと後日リーダーがお土産でカステラをくださいました。
ありがとうございました。

その後インデックスステータスがどうなったか

いろいろやってみた前回の記事ですが、あれから３週間（もたってしまいましたが）
インデックスステータスは「ちょっと」増えました。

ちょっと増えた。

よ、、よかった、、、！！


導入してから２週間くらいは、数値が反映されないそうです。
（参考：Googleウェブマスターツールのその後「インデックスステータス」の数値がいつまでたってもゼロ？）
（参考：インデックスステータスが0件から変動しない件について）


よかったのはよかったのですが、４って少なくない？もっとあるんですけど。。。。

と思っていたら、大きな問題が発覚しました

ロボットによってブロックされたページがたくさん増えてた

こんなにブロックされてたなんて

４ページがインデックスに登録された裏で、38ページものページがブロックされていました。

「robots.txt ファイルでブロックされているため、Google がアクセスできなかった URL です。」

ということは、前回設定したrobots.txtが悪さをしているみたい。

User-agent:* 
Allow: /search/label/
Disallow: /*archive 
Sitemap: http://stpsysdev.blogspot.jp/feeds/posts/default?orderby=UPDATED

基本方針としては、ラベルごとにページをまとめればページの内容がある程度そろうはずなので、ページとしても強くなるんじゃないかと思って、「Allow:/search/label/」を入れているのだけど、
このページたちはクロールされていないのかな？

どちらにせよ、robot.txtはこちらの意向通りに書かれているみたいなので、このままにしておくことにします。


サイトマップの中に表示されている「インデックスに登録済み」のページは「42」になっているから、
この「42」のうち「38」がブロックされているっていう意味なのかな。

ブロックされたということは、アーカイブページをブロックされたということだよね。

逆にインデックスに登録されたページがなんなのか、知りたいなぁ、、、、




続きます。

Read More

Bloggerでインデックスステータスがずっと０ その１

お疲れ様です。岡田です。

ちょうどひと月前の9月末にブログをBloggerへ移設してきたのですが、標題のとおり、Search Consoleで見れる「インデックスステータス」がずーーーーーーっと０になっているので、気になっていました。
序盤はコンテンツが少ないですし、新しいサイトなので、クローラーが来づらいのかなぁと、勝手な想像を巡らせていたのですが、1か月を過ぎた今もまだ「０」のままなので、いい加減どうにかしないとと思いました。

「ピーーーーーーーーーーーーーー」（心停止状態）

クロールエラーはないか

Search Consoleの左メニューにある「クロール」のところをちゃんと見てみます。

まず先頭の「クロールエラー」。
「サイトエラー」と「URLエラー」の２項目ありますが、どちらの「過去90日間エラーが検出されませんでした」となっているので、大丈夫っぽいですね。

クロールの統計情報を確認

次に、「クロールの統計情報」を見てみます。

「過去90日間のGooglebotの活動」とあるので、グラフに動きがあるということは、クロールできてるっていうことなんでしょう。たぶん。。。

10月7日に3ページ、クロールされてるみたい。その後ぼちぼち

robots.txtを確認

Bloggerでブログを作ると、デフォルトのrobot.txtはこんな風になっているのです。

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /

各項目の意味については、こちら（robots.txtの書き方と効果的な活用法）を見ました。
真ん中よりちょっと下くらいで各項目について説明してもらえました。
(追記：後日山田くんがちょっと書いてくれました　robots.txtの書き方)

このブログは、複数人数でいろいろなテーマについて記事を書いていく感じなので、開発チームのみなさんには記事に「ラベル」を付けてもらうようにお願いをしています。
そうすると、ラベルごとに記事の一覧が見れて、便利だな～と思ったわけです。
（そういうワケだからみんなラベル付けてくれ～）

たとえば、Kさんが書いてくれている「リンク切れ」というラベルがついている記事の一覧はhttp://stpsysdev.blogspot.jp/search/label/リンク切れ
というURLで表示できるのですが、このデフォルトのrobot.txtだと、このラベル別の記事ページにはクローラーが入らないようになってしまってるっぽいのです。

なので、これは変えたほうがいいな！と思いまして、こちら（Bloggerのサイトマップとrobots.txtの設定方法）を参考にして、robot.txtをこんな風にしました。

User-agent:* 
Allow: /search/label/
Disallow: /*archive 
Sitemap: http://stpsysdev.blogspot.jp/feeds/posts/default?orderby=UPDATED

これでインデックス数も増えるんじゃないかなぁ。と、期待ですが、どうなんだろう。

サイトマップを確認

いつだったか忘れてしまったのですが、かの心停止がずっと続いているのが気になり始めたころに、サイトマップを追加しました。

なんと、Bloggerにはサイトマップを作成する機能が備わっているので（こちらを参照しました：Bloggerのサイトマップ(sitemap.xml)の自動作成）、それで作成したものを「Search Console」⇒「クロール」⇒「サイトマップ」⇒「サイトマップの追加/テスト」から追加しました。

サイトマップのコンテンツというグラフを見ると、10月12日から送信されているページが増えているので、きっとこの時期にやったのかもしれません。

もしかしたらやらなくても上がってきてたのかもしれませんが、送信できているみたいですし、その後もコンテンツが増えるたびに数字が伸びてるみたいなので、OKってことにし、、、、！！？

ん？ちょっとまって

青が「送信」、赤が「インデックスに登録済み」

「インデックスに登録済み」が２５もある！？ど、どういうこと・・・・・・

だって「インデックスステータス」が心停止だから、「インデックスに登録済み」のページが０っていうことなんじゃないの・・・チガウノ・・・・？

ヨクワカリマセン

というようなかたちで、Search Console からクロールについての設定を見直してみたのですが、これで「インデックスステータス」が息を吹き返してくれるといいのですが、、しばらく様子を見てみたいと思います。

なにかお知恵を貸してくださる方！コメントをお願いいたします。

そもそも「インデックスステータス」ってナニモノなのかしら、、、

【後記】
Kさんの見やすい記事を見習って、画像を使ってみたり、htmlをいじいじしてみましたが、なんか変。もうあきらめです。
h2タグの場所が変なのかな？エディタと二刀流だとはちゃめちゃです。
（h2要素の個数は検索順位に影響を与えるか？）
次回もがんばります。カステラ食べたい。

Read More