クローラについて
ページミルは、ユーザーが登録したWebページを定期的に巡回するクローラを運用しています。 このページでは、クローラの仕様と、サイト管理者の方向けの情報をご案内します。
User-Agent 文字列
ページミルのクローラは以下の User-Agent を使用します。
Mozilla/5.0 (compatible; PageMiru/1.0; +https://pagemiru.nandemo-factory.com/about-bot)
+URL の部分には本ページのURLが入ります。
巡回頻度
各ページの巡回頻度はユーザーの設定によって異なります。
- Freeプラン: 最短 6時間に1回
- Proプラン: 最短 15分に1回(ユーザーの設定による)
1ページあたりのアクセスは通常のユーザーのブラウジングと同程度の量にとどめています。
robots.txt の尊重
ページミルのクローラは robots.txt に記載されたクロール禁止設定を尊重します。 robots.txt は各サイトにつき1日1回ほど読み直します。禁止されているページは、ユーザーが登録しようとしても登録できません。 以下の記述でページミルのクローラを拒否できます。
User-agent: PageMiru Disallow: /
または、全クローラを拒否する場合は以下の記述をご利用ください。
User-agent: * Disallow: /
クロール拒否のご要望
robots.txt 以外の方法でのクロール停止をご希望の場合、または お気づきの点がございましたら、お問い合わせフォームからご連絡ください。 速やかに対応いたします。