সাইটের মালিকদের জন্য

Bengent কীভাবে পাতা পায়

Bengent-এর পাতা আসে Common Crawl-এর উন্মুক্ত web সংগ্রহ, Wikipedia আর আমাদের নিজের crawler Bengentbot থেকে। Bengentbot robots.txt মানে, ধীরে চলে আর শুধু পাতার লেখা রাখে।

আপনার সাইট যোগ করুন: তিন ধাপ

1. sitemap রাখুন। WordPress-এ Yoast বা Rank Math নিজেই বানায় (/sitemap_index.xml), Blogger-এ আগে থেকেই আছে (/sitemap.xml)।
2. robots.txt-এ একটা লাইন যোগ করুন (আপনার sitemap-এর ঠিকানা দিয়ে):

   Sitemap: https://example.com/sitemap.xml

   এই লাইনটাই প্রমাণ যে জমা দিচ্ছেন সাইটের মালিক, তাই কোনো account বা password লাগে না।
3. নিচে শুধু সাইটের ঠিকানা দিন (যেমন example.com)। আমরা সাথে সাথে আপনার robots.txt পড়ে sitemap খুঁজে নিই; কিছু বাকি থাকলে ঠিক কোন লাইনটা যোগ করতে হবে তা দেখিয়ে দিই।

সাইট নিয়ে অন্য কিছু জানাতে মতামত পাতা ব্যবহার করুন। বাংলা লেখা আছে এমন সাইট আগে নেওয়া হয়।

ভালোভাবে খুঁজে পাওয়ার জন্য

• প্রতিটা পাতার স্পষ্ট <title> আর মূল লেখা HTML-এই রাখুন (শুধু JavaScript দিয়ে আসা লেখা Bengentbot পড়ে না)।
• <html lang="bn"> দিন, আর UTF-8 ব্যবহার করুন।
• একই লেখার একাধিক ঠিকানা থাকলে <link rel="canonical"> দিন।
• sitemap.xml রাখুন আর robots.txt-এ তার ঠিকানা লিখুন; পাতা বদলালে <lastmod> হালনাগাদ রাখুন। গত 3 দিনের lastmod থাকলে Bengentbot পাতাটা আগেভাগে আবার পড়ে।

Bengentbot-কে আটকাতে

User-agent: bengentbot
Disallow: /

কোনো পাতা ফলাফলে না দেখাতে চাইলে <meta name="robots" content="noindex"> দিন।