ব্লগার ওয়েবসাইটে Robot.txt কাজ কি ?
robots.txt" (রোবটস.টেক্সট) হল একটি টেক্সট ফাইল, যা একটি ওয়েবসাইটের সার্চ ইঞ্জিন রোবটগুলির (search engine robots) দেখা করে। এটি ওয়েবসাইটে কোনও নির্দিষ্ট সেকশনে সার্চ ইঞ্জিন রোবটগুলির অনুমতি বা নিষেধ দেওয়ার জন্য ব্যবহার করা হয়। এটি সাধারণভাবে ওয়েবসাইটের মূল নির্দিষ্ট নিয়ন্ত্রণ দৃষ্টিকোণ করে, যাতে সার্চ ইঞ্জিন স্পাইডার (স্রষ্টা অথবা রোবট নামেও পরিচিত) যে পৃষ্ঠাগুলি স্ক্র্যাপ করতে পারে এবং যেগুলি স্ক্র্যাপ না করতে পারে তা স্পষ্ট করা হয়।
কিছু উদাহরণ দিয়ে ব্যাখ্যা করা যাক:
একটি ওয়েবসাইটের সকল পৃষ্ঠার স্ক্র্যাপিং এবং ইনডেক্সিং অনুমতি দেয়া:
User-agent: * Disallow:
সকল স্ক্র্যাপিং এবং ইনডেক্সিং কে নিষেধ করা:
User-agent: * Disallow: /
সকল স্ক্র্যাপিং অনুমতি দেয়া, কিন্তু একটি নির্দিষ্ট ডিরেক্টরি বা পৃষ্ঠা কে নিষেধ করা:
User-agent: * Allow: / Disallow: /private/ Disallow: /admin.html
একটি স্পেশালিস্ট সার্চ ইঞ্জিন কে স্ক্র্যাপিং এবং ইনডেক্সিং অনুমতি দেয়া:
User-agent: googlebot Allow: / Disallow: /private/
robots.txt ফাইল ওয়েবসাইটের রুট ডিরেক্টরিতে অবস্থান করে এবং সাধারণভাবে সার্চ ইঞ্জিন স্পাইডারগুলি ওয়েবসাইটে এক্সেস করতে প্রথমে robots.txt ফাইলটি দেখে দেখে। স্পাইডারগুলি এই ফাইলে সেট করা নিষেধ বা অনুমতি মোতায়েন। এটি ওয়েবসাইটের SEO (Search Engine Optimization) এবং প্রাইভেসির জন্য গুরুত্বপূর্ণ একটি সরঞ্জাম।
একটি সঠিক robots.txt ফাইল তৈরি করার জন্য আপনি সাধারণভাবে কোনও টেক্সট এডিটর ব্যবহার করতে পারেন অথবা অনলাইন রোবটস.টেক্সট জেনারেটর টুল ব্যবহার করতে পারেন। এই ফাইল সাধারণভাবে robots.txt নামে সংরক্ষিত হয় এবং ওয়েবসাইটের রুট ডিরেক্টরিতে রাখা উচিত, যাতে স্পাইডারগুলি খোঁজ পেতে পারে।
ব্লগার ওয়েবসাইটে Robot.txt কিভাবে যুক্ত করবেন ?
ব্লগার ওয়েবসাইটে Robot.txt ফাইল যুক্ত করতে গেলে আপনাকে যে সমস্ত কাজ গুলি করতে হবে-
- প্রথমে আপনাকে আপনার ব্লগার ওয়েবসাইটে ড্যাসবোটে যেতে হবে
- সেটিং অপশনটিতে ক্লিক করবেন
- Custom robots.txt অন করবেন এবং নিচে দেওয়া কোড টিকে কপি করে এই বক্সে বসিয়ে দেবেন |