【SEO関係】robots.txtってなんだろう?~SEOに欠かせないテキストファイル~

2016/02/28

SEO, 知識0から学び考えるSEO

こんにちは、東雲です。
内容が複雑になるにつれて記事が長くなるのに苦戦しつつ、今回もSEOです。

前回は検索エンジンの動きを制御するmetaタグを紹介しました。
そして最後の方で「robots.txt」を配置すると似たようなことができようになることもご紹介しました。

ということで、今回はそれを掘り下げていきます。

そもそもrobots.txtって何なのさ

102802

robots.txtというのは、拡張子から見て分かる通りテキストファイルです。
サイトドメインのルートディレクトリに設置することで効果が現れます。

そしてその効果は”クロールの最適化”。
検索エンジンが放つクローラーのアクセスをブロックします。
よって設定されたページは検索エンジンの検索結果に載るということはほぼ無くなることになります。
※多くの他サイトからリンクが貼られていたりすると載ってしまう事があります。

前回紹介したmetaタグとだいたい同じ結果が得られますが、
結果を得るためのアプローチが両者で異なっているわけです。

metaタグはページを見てもらってから
「このページは検索結果に載せないで!」とお願いしており、

robots.txtはページを見せる前から
「このページを見るんじゃない、絶対にだ!」と命令しているわけですね。

使う際の注意事項として

さて、かの兼好法師の「酒は百薬の長なり。されど、万病の元なり」という言葉がありますが、これはrobots.txtにも当てはまります。

何が言いたいかというと、
設定をしっかりしないとSEO施策として効果がないどころかマイナスになってしまうのがrobots.txtなのです。

そもそも、クローラーに「このページは見るな!」と言ってしまうと、
そのページに貼られたリンクにも触れることが出来ません。

例を挙げると

seo_crawl01

この状態でrobots.txtでCをブロックしてしまうと

seo_crawl02

という事になり、結果的にAへのクローラーの巡回頻度の低下を引き起こしてしまう可能性があるのです。
クローラーの巡回頻度は検索結果に反映されてしまうのでこれは防ぎたいところですね。

では、中身を拝見

注意事項も説明した所でrobots.txtの中身がどうなっているかを見てみましょう。
robots.txtの中身はだいたいこんな感じになります。

User-Agent:*
Disallow:/

Sitemap:http://example.com/sitemap.xml

えっ、これだけでいいの?
ッて感じに短いですね、導入は簡単そうです。
さて、次回はこのテキストファイルの中身を詳しく見ていきましょう!

投稿者情報

東雲楓

店内装飾やらPOPを作り続け、今ではWEB関係にも手を出してます。
色々広く浅く勉強中だけど、そろそろ一本に絞りたい今日このごろ。

>> 東雲楓が執筆した他の記事を読む

法人向け人気レンタルサーバー
法人向け人気専用サーバー
個人向け人気レンタルサーバー