Web検索MyPotの検索エンジンについて
検索処理やインターネット上の巡回、ページデータの保存は独自に開発された検索エンジンで行われています。インデックスへの登録、更新
Web検索MyPotの検索データベースに登録する場合、ウェブサイトのURLを送信する必要はありません。MyPotでは「クローラ」が定期的にウェブを巡回し、新しく発見したサイトをデータベースに追加していきます。また、検索データベースに登録されたウェブサイトの登録情報の更新も自動的に行われます。
現在、MyPotデータベースにウェブサイトが登録されておらず、すぐに登録したい場合にはURLの登録からお申し込み下さい。
インデックスの削除、クロール拒否について
Metaタグで設定する方法
サイトのページをすべてのロボットのクロール対象から除外するには、次のメタタグをページの部分に挿入します。
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
サイトのページをMyPotロボットのクロールからのみ除外し、他のロボットにはクロールを許可する場合は、次のタグを使用します。
<META NAME="MYPOTBOT" CONTENT="NOINDEX, NOFOLLOW">
ロボットにサイトのページのクロールを許可し、外部リンクの追跡を許可しないようにするには、次のタグを使用します。
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
robot.txtで設定する方法
User-agent: MyPotBotDisallow: /
クローラのユーザーエージェント
MyPotBot/v0.1MyPotBot/v0.0
