【SEO関係】robots.txtってなんだろう？～SEOに欠かせないテキストファイル～
2016/02/28
こんにちは、東雲です。
内容が複雑になるにつれて記事が長くなるのに苦戦しつつ、今回もSEOです。
前回は検索エンジンの動きを制御するmetaタグを紹介しました。
そして最後の方で「robots.txt」を配置すると似たようなことができようになることもご紹介しました。
ということで、今回はそれを掘り下げていきます。
そもそもrobots.txtって何なのさ
robots.txtというのは、拡張子から見て分かる通りテキストファイルです。
サイトドメインのルートディレクトリに設置することで効果が現れます。
そしてその効果は”クロールの最適化”。
検索エンジンが放つクローラーのアクセスをブロックします。
よって設定されたページは検索エンジンの検索結果に載るということはほぼ無くなることになります。
※多くの他サイトからリンクが貼られていたりすると載ってしまう事があります。
前回紹介したmetaタグとだいたい同じ結果が得られますが、
結果を得るためのアプローチが両者で異なっているわけです。
metaタグはページを見てもらってから
「このページは検索結果に載せないで！」とお願いしており、
robots.txtはページを見せる前から
「このページを見るんじゃない、絶対にだ！」と命令しているわけですね。
使う際の注意事項として
さて、かの兼好法師の「酒は百薬の長なり。されど、万病の元なり」という言葉がありますが、これはrobots.txtにも当てはまります。
何が言いたいかというと、
設定をしっかりしないとSEO施策として効果がないどころかマイナスになってしまうのがrobots.txtなのです。
そもそも、クローラーに「このページは見るな！」と言ってしまうと、
そのページに貼られたリンクにも触れることが出来ません。
例を挙げると
この状態でrobots.txtでCをブロックしてしまうと
という事になり、結果的にAへのクローラーの巡回頻度の低下を引き起こしてしまう可能性があるのです。
クローラーの巡回頻度は検索結果に反映されてしまうのでこれは防ぎたいところですね。
では、中身を拝見
注意事項も説明した所でrobots.txtの中身がどうなっているかを見てみましょう。
robots.txtの中身はだいたいこんな感じになります。
[code]
User-Agent:*
Disallow:/
Sitemap:http://example.com/sitemap.xml
[/code]
えっ、これだけでいいの？
ッて感じに短いですね、導入は簡単そうです。
さて、次回はこのテキストファイルの中身を詳しく見ていきましょう！
