সরাসরি প্রধান সামগ্রীতে চলে যান

Robots ফাইলের শুরু থেকে শেষ পযন্ত A to Z

Search console-Robots.txt
See This Picture Here Is The Default Robots.txt File
Robots.txt ফাইল যদি না থাকে তাহলে আপনার ব্লগের আগা গোড়া সব ভুল হবে কারন Search Engine যখন কোন Site কে Crawl করে তখন Robots.txt ফাইল অনুযায়ী সাইটের তথ্য গুলোকে Index করে।

এখন আপনার সাইটের জন্য কোন Robots.txt ফাইলই না থাকে তাহলে Search Engine Bot দিকনির্দেশনা না পাওয়ায় সাইট টিকে Crawl না করেই চলে যায় ফলে আপনার সাইট গুগলগ্রুপে ইন্ডেক্স হয় না।

Robots.txt ফাইল সেটাপ করার আগে আপনাকে জানতে হবে যে কি কি বস্তুুকে আপনি চান Search Engine এ ইন্ডেক্স করাতে। আপনি আপনার ইচ্ছা মত পোস্ট ও পেজ কে ইন্ডেক্স করাতে পারবেন, আপনি যদি চান কিছু পেজ বা পোস্ট কে রোবটস এর কাছে হিডেন করতে তাহলে আপনি নিমিষেই এটি করতে পারবেন। আর এগুলো সব কিছুই করা যাবে যদি আপনি ছোট্ট একটি ট্রিক্স জানেন।

Robots.txt ফাইল একটি সাধারন text file কিন্তুু এর কাজ অনেক। আপনি যদি ব্লগারের মাধ্যমে ব্লগ তৈরি করেন তাহলে আপনাকে ব্লগের ভিতরে এই টেক্সট ফাইল না দিলেও চলবে আপনাকে এই কোডটি বসাতে হবে গুগল সার্চ কনসোলে। আপনি যদি গুগল সার্চ কনসোলে ঢুকেন এবং আপনার সাইট সাবমিট করেন তাহলে Robots.txt পেজে গেলেই দেখতে পাবেন যে অটোমেটিক একটা টেক্সট ফাইল আছে, আর ওইটাই হল আপনার রোবটস টেক্সট ফাইল। আপনি যদি চান যে ওইটাই ব্যবহার করবেন বা মডিফাই ও করতে পারেন।

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.howtobebangla.blogspot.com/sitemap.xml

একটা সাইটের নরমাল রোবটস ফাইল এইরকম হয়। আপনি যদি চান আপনি এভাবেও লিখতে পারেন।

User-agent: Mediapartners-Google*
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

অর্থাৎ আপনি যা এলাও করাতে চান তা এলাও আর যা এলাও না দিয়ে ডিসএলাও।

User-agent: Mediapartners-Google*
Disallow: /

User-agent: Googlebot-Image
Disalow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

রোবটস ফাইলের শেষে আপনার সাইটম্যাপ অ্যাড্রেস টি দিবেন।

Sitemap: http://www.howtobebangla.blogspot.com/sitemap.xml
sitemap: http://www.howtobebangla.blogspot.com/sitemap-image.xml
sitemap: http://www.howtobebangla.blogspot.com/sitemap-video.xml

মনে করুন আপনি ওয়ার্ডপ্রেস সাইট এর জন্য রোবটস ফাইল লিখছেন এবং আপনি আপনার সাইটের রুট ডিরেক্টির কিছু আইটেম হিডেন রাখতে চান তখন আপনি এভাবে করতে পারেন।

User-agent:  *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /linkout/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow:/xmlrpc.php

আপনি উপরের মত করে আপনার যে কোন রুট ফোল্ডার কে হাইড করতে পারেন। আপনি যদি ব্লগারের কোন পোস্ট কে বা পেজ কে হাইড করতে চান তাহলে নিচের মত করে।

Disallow: /year/month/your-post-url.html

Disallow: /p/your-page-url.html

যদি আপনি চান আপনার সব পোস্ট Crawl হোক আর পোস্ট না হোক তখন নিচের মত করুন।

User-agent: *
Disallow: /

একটা কথা বলতে ভুলে গেছি আপনি শুধু গুগলকেই Crawl করতে দিবেন নাকি সব সার্চ Engine কে, নিশ্চয় আপনি চান সব সার্চ Engine আপনার সাইট Crawl করুক আর তাই আপনি নিচের মত করুন।


User-agent: *
Disallow:

আর যদি চান যেকোন একটি সার্চ Engine কে Crawl করার ক্ষমতা দিবেন তো নিচের মত করুন ,গুগলসার্চ এর জন্য: 

User-agent: Google
Disallow:
User-agent: *
Disallow: /

অন্য Engine গুলোর জন্য :

User-agent: এখানে সেই Bot এর নাম যেমন BadBot, NinjaBot ইত্যাদি
Disallow: /


যদি আপনার কোন কাস্টম Robots.txt দরকার হয় আমাকে কমেন্ট করে জানাবেন।

মন্তব্যসমূহ

একটি মন্তব্য পোস্ট করুন

আপনার মন্তব্য আমাদের কাছে খুবই গুরুত্বপূর্ণ। HTBB এর সাথে থাকুন সবসময়। ধন্যবাদ ☺

এই ব্লগটি থেকে জনপ্রিয় পোস্টগুলি

২০১৮ তে সাইটকে যেভাবে আপডেট রাখবো

আমরা সবাই জানি গুগল আবারো আপডেট হয়েছে এবং ক্রমে ক্রমে বৃদ্ধি পাচ্ছে বিভিন্ন নিয়ম কানুন, যারা নিয়মকানুন মেনে সাইট চালাচ্ছেন তারাই রেংকিং করছেন। ২০১৮ তে অনেক সাইটের রেংকিং নিচে চলে গেছে তাদের নিজেদের ভুলের কারনে এখন এমন অনেক বিষয় আছে যেগুলো একসময় অনেক ভেল্যু রাখতো কিন্তুু এখন তার কোন দাম নেই।

কিভাবে EDU and GOVT Backlinks করবেন

Bloggerযারা, তারাকিন্তুুঠিকভালেভাবেইযানেন Blog কে Rank করানোরজন্যEducation and Governmentসাইটের Backlinks কতটাজরুরি।আমরাবিভিন্নভাবেএইসাইটগুলোথেকে Backlinks নিতেপারি।তবেএরআগে.Edu & .Govt Linksগুলোসমন্ধেজানাদরকার।

Link Building শুরু করুন এখনই

আসলে গুগলের আপডেট গুলোর সাথে তাল মিলিয়ে চললে সাইটের বারটা বেজে জাবে।

গুগলগ্রুপ যখন পেঙ্গুইন, পানডা, এনিম্যাল আপডেট করে এবং এ সমন্ধে পাবলিসিটি করে তার সাথে সাথেই তারা আপডেট গুলোকে বাস্তবায়ন করে না।