Bengentbot হলো Bengent search engine-এর crawler — যে প্রোগ্রাম web-এ ঘুরে ঘুরে পাতা পড়ে, যাতে সেগুলো খোঁজার ফলাফলে আসতে পারে।
কীভাবে চেনা যায়
আপনার server-এর log-এ Bengentbot নিজের পরিচয় এভাবে দেয়:
Mozilla/5.0 (compatible; Bengentbot/0.1; +https://bengent.com/bot)
কীভাবে চলে
- robots.txt মানে। আপনার robots.txt যে পাতা নিষেধ করে, Bengentbot সেখানে যায় না।
Crawl-delayদিলে সেটাও মানে। - ধীরে চলে। একই সাইটে পরপর দুটো অনুরোধের মাঝে কয়েক সেকেন্ড বিরতি রাখে, যাতে আপনার server-এর উপর চাপ না পড়ে।
- শুধু লেখা রাখে। পাতার শিরোনাম আর মূল লেখা ছাড়া কিছু রাখে না — কোনো ব্যক্তিগত তথ্য, form বা login-এর পেছনের পাতা না।
- নিয়মিত ফিরে আসে। যে পাতা প্রায়ই বদলায় সেখানে ঘন ঘন আসে, যে পাতা বদলায় না সেখানে কম। চাকরির বিজ্ঞপ্তি আর নোটিশের পাতা প্রতিদিন আবার দেখে, যাতে নতুন circular দেরিতে না আসে।
- মুছে যাওয়া পাতা সরায়। কোনো পাতা না পাওয়া গেলে (404) বা
noindexদিলে সেটা ফলাফল থেকে সরে যায়।
কী index হয় না
noindexদেওয়া পাতা- খুব ছোট পাতা, যেখানে লেখা প্রায় নেই (যেমন শুধু একটা ছবি বা PDF)
- tag, category বা পরের-পাতা ধরনের তালিকার পাতা
- একই লেখা যদি অনেকগুলো সাইটে হুবহু থাকে, তাহলে সব কপি নয়
- adult বা spam পাতা
আটকাতে চাইলে
পুরো সাইটে Bengentbot-কে আটকাতে robots.txt-এ লিখুন:
User-agent: bengentbot
Disallow: /
শুধু কিছু অংশ আটকাতে:
User-agent: bengentbot
Disallow: /admin/
Disallow: /private/
কোনো একটা পাতা ফলাফলে না দেখাতে চাইলে সেই পাতায় দিন:
<meta name="robots" content="noindex">
পরের crawl দফায় পাতাটা ফলাফল থেকে সরে যাবে।
যোগাযোগ
Bengentbot নিয়ে কোনো প্রশ্ন বা অভিযোগ থাকলে লিখুন [email protected] ঠিকানায়, অথবা মতামত পাতা ব্যবহার করুন।
আপনার সাইট Bengent-এ যোগ করতে চাইলে: আপনার সাইট কীভাবে Bengent-এ যোগ করবেন।