検索エンジンの歴史～ロボット型とディレクトリ型の違いとは？

検索エンジンは、私たちがWeb上で調べたいことを入力すると、膨大な情報の中から最適なページを見つけて表示してくれる便利なツールです。
代表的な検索エンジンにはGoogle、Yahoo!、Bingなどがありますが、実はこれらには種類の違いがあることをご存じでしょうか？

検索エンジンには「ロボット型」と「ディレクトリ型」という2つの仕組みがあり、それぞれに特徴があります。
SEOの勉強を始めるうえで、この違いを知ることはとても大切です。

検索エンジンの種類

Webサイトは無数にあるので、ユーザーが探している情報を見つけるのは困難です。
そこで、インターネット上に存在する情報（ウェブページだけでなく画像ファイルなども含む）を検索するシステム「検索エンジン」が作られました。

インターネットの黎明期、まだWebページの数が少なかった頃は、人の手で情報を整理する方法が主流でした。
これがディレクトリ型検索エンジンのはじまりです。
しかし、インターネットの情報量が爆発的に増えた現代では、人手による管理は追いつきません。
そのため、自動で情報を収集できるロボット型が主流となりました。

ディレクトリ型検索エンジン

ディレクトリ型検索エンジンでは、人間の手によってWebページがカテゴリ分けされ、登録されます。
いわば、インターネット上の「図書館」のようなもので、「教育」「旅行」「健康」などのカテゴリごとにサイトが整理されています。

ページが検索結果に表示されるまでに、情報収集も検索エンジンへの登録も人が手動で行います。
情報の信頼性は高いものの、登録に時間がかかる・更新が遅いなどのデメリットもありました。

ロボット型検索エンジン

ロボット型検索エンジンは、クローラー（ロボット）と呼ばれるプログラムが、Web上の情報を自動で巡回して収集します。
クローラーはページの内容、構造、リンクなどを読み取り、そのデータを検索エンジンのデータベースにインデックス（登録）します。

ユーザーが検索したときには、登録された情報の中から検索キーワードに最も関連の高いページを優先的に表示します。
この自動化された仕組みにより、日々更新される膨大な情報に対応できるのです。

現在の主流はこのロボット型検索エンジンです。
特にGoogleは世界中で圧倒的なシェアを持ち、SEO対策の多くは「Googleでどう評価されるか？」を中心に考えられています。
他にも、MicrosoftのBingなどもロボット型です。

ロボット型とディレクトリ型の違いを比較

自動 vs 手動 の違い

比較項目	ロボット型	ディレクトリ型
情報収集方法	自動（クローラー）	手動（人が登録）
更新頻度	常時巡回し最新情報を取得	人手によるため更新に時間がかかる
登録までの流れ	自動でクロールされる	審査・承認が必要
現在の主流	主流（Google、Bingなど）	廃止・縮小傾向

クルエイチ

ディレクトリ型の掲載情報は、編集者の主観や方針が反映されている点もマイナスポイント。客観性に欠けますね…

情報の網羅性とスピードの違い

ロボット型はインターネット上のほぼすべてのページを対象にできるため、情報の網羅性が非常に高く、最新の情報にも対応できます。

ディレクトリ型は限られた情報を人が精査するため質は高いですが、規模・スピードの面ではどうしても劣ってしまいます。

現在、一般的な検索エンジンのほぼすべてがロボット型を採用しています。
SEO対策もこのロボット型を前提とした施策を行う必要があるため、クローラーやインデックスの理解が必須です。

SEOとの関係

クローラー対策がSEOの基本

SEO（検索エンジン最適化）は、検索エンジンにとって理解しやすく、評価しやすいWebページを作ることが基本です。
ロボット型では、クローラーがスムーズにページを巡回できるようにする必要があります。

• サイトマップ（XML）を用意する
• 内部リンクを整理する
• 不要なページをnoindexで除外する

といった対策は、すべてロボット型検索エンジン向けの施策です。

なぜディレクトリ型は主流でなくなったのか

ディレクトリ型が使われなくなった背景には、インターネットの爆発的成長があります。
1日に何百万という新しいページが作られる今、人手による登録ではまったく追いつかないため、ロボット型が技術的に圧倒的に優れた方式として定着しました。

現在はディレクトリ登録よりもクローラー対策・コンテンツの質・ユーザー体験が評価される時代です。

トップページとランディングページ

トップページとはサイトの顔で、クローラーが最初にアクセスする重要ページです。
カテゴリや主なコンテンツへのリンクを集約しています。

元々トップページは、目次のように各記事へのリンクだけが存在するモノでした。
インターネットの普及により検索エンジンが登場すると、様子が変わってきます。

ディレクトリ型検索エンジンは、通常Webサイトのトップページが登録されていました。
そのため各Webサイトはトップページのデザインやコンテンツに注力していました。

しかしロボット型検索エンジンが主流となってからは、Webページ単位で登録されるようになり、トップページの意味は薄れてきています。

最近のトップページは
「デザインをシンプルに」 =「 Webサイトの目次のような扱い」
という原点回帰の兆候もあります。

ランディングページ

ロボット型検索エンジンが主流になったことで、全てのWebページで検索エンジンへの登録を意識する必要が出ています。
つまり、初めて訪問するユーザーがトップページにアクセスするとは限らなくなったのです。

このように、検索エンジンからWebサイトを訪問したユーザーが最初に目にするページをランディングページと呼びます。検索エンジンからの着地以外に、他サイトからのリンクによる着地も含みます。

SEO

SEOでは、トップページから適切にランディングページへ内部リンクを張り、クローラーがすべてのページにたどり着ける構造を作ることが重要です。

ロボット型検索エンジンは「リンク構造をたどって情報を収集」するため、サイト全体の設計も評価に関わってきます。

まとめ

• ディレクトリ型検索エンジンは人手によりWebサイト単位で登録される
• ロボット型検索エンジンはクローラーロボットによりWebページ単位で登録される
• 現在はトップページよりもランディングページが重視される

検索エンジンには「ロボット型」と「ディレクトリ型」の2種類がありますが、現在の主流はロボット型です。
SEOを成功させるためには、このロボット型の仕組みを理解し、クローラーに最適化されたページ設計と内部構造を意識することが大切です。

また、トップページとランディングページの役割を意識し、クローラーに優しいサイト構成を作ることも、検索上位を目指すうえで欠かせません。

SEOの勉強を進める際は、こうした基本的な構造や背景を正しく理解しておくことが、将来の成果につながります。