Robots.txtの例

ウェブサイトの所有者は/robots.txtファイルを使用して、Google、Yahoo、Bingなどの検索エンジンからボットに自分のサイトに関する指示を与えます。

ロボットが次のようなURLにアクセスしたい場合、システムは簡単に機能します。 https://www.ejemplode.com/ そうする前に、チェックアウトしてください https://www.ejemplode.com/robots.txt その内容は修正されています。 robots.txtコンテンツを通じて、ボットはインデックスを作成したり、特定のファイルにアクセスしたりしないように指示されます。 たとえば、特定のボットが侵入しないが、他のボットは侵入するという特定の場合があります。

/robots.txtを使用する場合、2つの重要な考慮事項があります。

• ロボットはrobots.txtを無視できます。 特に、脆弱性についてWebをスキャンするマルウェアボット、およびスパムの送信に使用される電子メールアドレススキャナー。
• robots.txtファイルは公開されています。 robots.txtの内容は誰でも見ることができます

したがって、robots.txtを使用して情報を非表示にしないでください。 むしろ、サイトの特定のコンテンツがインデックスに登録されないように使用してください。

 これがrobots.txtの例とその説明です

コード：
ユーザーエージェント： * 禁止：/

このコードにより、すべてのロボットがサイト上のコンテンツにアクセスできなくなります。 User-agentパラメーターは、ロボットを指定するためのものです。この場合はアスタリスクを使用して、すべてのロボットを指します。 そして、Disallowは彼らがアクセスできないようにするためのものです。 この場合、/でDisallowを実行すると、ロボットはどこにもアクセスできなくなります。

コード：
ユーザーエージェント： * 禁止：

一方、Disallowを空のままにすると、何も起こりません。 ロボットはあらゆるコンテンツにアクセスできます。

今別の例

コード：
ユーザーエージェント： * 禁止：/contact.html。 禁止：/file.html

この次のコードは、すべてのロボットがcontact.htmlまたはfile.htmlを通過しないようにします。

次に、Googleボットを除いて、ロボットがサイトを通過できないようにするこの別の例があります。

コード：
ユーザーエージェント：Google。 禁止：ユーザーエージェント：*禁止：/