robots.txtの作り方

前置き。

Google Webmasterのクロールページに、エラーがずっと出ていたのでとうとうrobots.txtを作成しました。

というか、Google Webmasterの表記があたかも既にアップロード済みのような文面なので、作ってあると思ったよ。

こういう表記で、「最終ダウンロード9時間前」、「ステータス」が「成功」とあるので、ちゃんと作ってあると勘違いしていた。

robots.txtのファイル自体、アップロードしていないのに、存在していないのに変だなーと思っていたら、変で正解でした。

だって作成してないし、アップロードしていないんだもん!

 エラーの確認のしかた。

それでは、どこでエラーを確認すればいいのかというと、

web masterツールの、「クロール」 > 「クロールエラー」 から。

URLエラーが出ていたら、robots.txtの設定を変えた方がよい、ということだと思います。

 

robots.txtの作成の仕方

それで、今回作成したrobots.txtの内容はこちら。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /*?
Sitemap: http://www.gameforecast.net/sitemap.xml

これをルートディレクトリに入れて終わり。web masterツールで確認もできるので、確認してから入れるといいかもしれません。

(確認場所:「クロール」 > 「ブロックされたURL」)

バズ部さんや、RPGLIFEさんのrobots.txtを参考にさせていただきました。

 

おまけ

Googleのrobots.txtも参考にしてみたりしました。すごく・・・長かったです。

-wordpress

© 2020 思考予報