Bengentbot

Bengentbot হলো Bengent search engine-এর crawler। এটি robots.txt মেনে চলে, প্রতি সাইটে ধীরে অনুরোধ পাঠায় (ডিফল্ট ২ সেকেন্ড অন্তর, সাইটের Crawl-delay মানে), আর শুধু লেখা রাখে, কোনো ব্যক্তিগত তথ্য না।

Bengentbot is the crawler of the Bengent search engine. It obeys robots.txt, paces its requests per site (2 seconds apart by default, honouring Crawl-delay), and keeps only page text.

User-Agent

Mozilla/5.0 (compatible; Bengentbot/0.1; +https://bengent.com/bot)

Block it

User-agent: bengentbot
Disallow: /

কোনো প্রশ্ন বা অভিযোগ: bot@bengent.com