先日、wordpressでプライバシー設定を「検索エンジンによるサイトのインデックスを許可しない。」にして、テスト環境を作らず本番環境でサイト制作をしました。制作終了後、プライバシー設定を「検索エンジンによるサイトのインデックスを許可する。」に変更しましたが、google検索に引っかかるまでにかなり時間がかかりました。

プライバシー設定の変更がgooglebotに伝わるまで最大24時間

googlebotはサイトにアクセスしたときに毎回robots.txtをダウンロードするわけではありません。一度ダウンロードしたrobots.txtは24時間キャッシュされています。そして、キャッシュの有効期限が切れると、再びrobots.txtをダウンロードするようです。

従って、ワードプレスのプライバシー設定（検索エンジンをブロックするかどうかの設定）の変更がgooglebotに伝えられるまで、最大で24時間かかるようになるということです。

wordpressのプライバシー設定を「検索エンジンによるサイトのインデックスを許可しない。」から「検索エンジンによるサイトのインデックスを許可する。」に変更しても、最大24時間はgooglebotがサイト内のあらゆるコンテンツからブロックされ続けるようになります。その間何度サイトマップを送信しても、サイトにやってきたgooglebotはことごとくはじき返されます。

サイトマップ送信後インデックスされるまで約5日間

これは、ウェブマスターツールでさも当然のことのように書かれていることです。

googlebotがサイト内を巡回できるようになると、サイトマップの送信でgooglebotのクロールを促せるわけですが、インデックスまでのタイムラグは5日あるということです。

サイト公開1週間前までに「検索エンジンをブロックしない」設定に変更

そういうわけで、プライバシー設定を「検索エンジンブロック」の状態から「検索エンジンウェルカム」の状態に変えても、googleにインデックスされるまでは1週間ほどのタイムラグがあります。

逆算して、サイト公開の1週間前には、プライバシー設定を「検索エンジンによるサイトのインデックスを許可する。」にしておく必要があることになります。

テスト環境は必ず必要

このように、新規にサイトを作る場合、テスト環境無しで制作していると、完成前のカオスな状態のサイトに検索エンジンのbotを招き入れて、インデックスを促すというジレンマに陥ります。テスト環境は必須です。

サイトのリニューアルの場合は、なおさらテスト環境は必要です。

サイト制作時には必ずテスト環境を用意するべきです。