موتورهای جستجو مجهز به ربات هایی هستند که به عنکبوت یا ربات نیز معروف هستند و صفحات وب را خزیده و فهرست بندی می کنند. اگر سایت یا صفحه شما در حال توسعه است یا دارای محتوای حساس است ، ممکن است بخواهید ربات ها را از خزیدن و فهرست بندی سایت خود جلوگیری کنید. با نحوه مسدود کردن کل وب سایت ها ، صفحات و پیوندها با فایل های robots.txt و مسدود کردن صفحات و پیوندهای خاص با برچسب های html آشنا شوید. برای آگاهی از نحوه جلوگیری از دسترسی ربات های خاص به محتوای خود ، ادامه مطلب را مطالعه کنید.
مراحل
روش 1 از 2: انسداد موتورهای جستجو با فایل های robots.txt
مرحله 1. درک فایل های robots.txt
یک فایل robots.txt یک فایل متنی ساده یا ASCII است که به عنکبوت های موتورهای جستجو اجازه دسترسی به سایت شما را می دهد. فایل ها و پوشه های ذکر شده در فایل robots.txt ممکن است توسط عنکبوت های موتور جستجو خزیده و نمایه نشوند. در موارد زیر ممکن است به فایل robots.txt نیاز داشته باشید:
- شما می خواهید محتوای خاصی را از عنکبوت موتورهای جستجو مسدود کنید.
- شما در حال ایجاد یک سایت زنده هستید و آمادگی این را ندارید که عنکبوت های موتورهای جستجو به وب سایت خود خزیده و فهرست بندی کنند
- شما می خواهید دسترسی به ربات های معتبر را محدود کنید.
مرحله 2. ایجاد و ذخیره و فایل robots.txt
برای ایجاد فایل ، یک ویرایشگر متن ساده یا ویرایشگر کد را راه اندازی کنید. فایل را به صورت: robots.txt ذخیره کنید. نام فایل باید همه کوچک باشد.
- "s" را فراموش نکنید.
- وقتی فایل را ذخیره می کنید ، پسوند "'.txt" "را انتخاب کنید. اگر از Word استفاده می کنید ، گزینه "Plain Text" را انتخاب کنید.
مرحله 3. یک فایل robots.txt که مجاز نیست کامل بنویسید
این امکان وجود دارد که هر عنکبوت معتبر موتورهای جستجو را از خزیدن و فهرست بندی سایت شما با استفاده از robots.txt "ممنوعیت کامل" منع کنید. خطوط زیر را در فایل متنی خود بنویسید:
کاربر عامل: * ممنوع: /
مرحله 4. یک فایل شرطی اجازه دهید robots.txt بنویسید
به جای مسدود کردن همه ربات ها ، مسدود کردن عنکبوت های خاص از مناطق خاصی از سایت خود را در نظر بگیرید. دستورات رایج مجاز شرطی عبارتند از:
- مسدود کردن یک ربات خاص: ستاره های بعدی را جایگزین کنید عامل کاربر با googlebot, googlebot-news, googlebot-image, bingbot ، یا teoma.
-
مسدود کردن فهرست و محتویات آن:
کاربر عامل: * ممنوع: /sample-directory /
-
مسدود کردن یک صفحه وب:
User-agent: * ممنوع: /private_file.html
-
مسدود کردن تصویر:
User-agent: googlebot-image ممنوع: /images_mypicture.jpg
-
مسدود کردن همه تصاویر:
User-agent: googlebot-image ممنوع: /
-
مسدود کردن یک قالب فایل خاص:
نماینده کاربر: * ممنوع: /p*.gif$
مرحله 5. ربات ها را تشویق کنید تا سایت خود را فهرست بندی و خزنده کنند
بسیاری از مردم می خواهند به جای مسدود کردن عنکبوت موتورهای جستجو از آنها استقبال کنند زیرا می خواهند کل سایت آنها نمایه شود. برای رسیدن به این هدف ، شما سه گزینه دارید. ابتدا ، می توانید از ایجاد یک فایل robots.txt خودداری کنید-وقتی ربات فایل robots.txt را پیدا نکرد ، به جستجو و فهرست بندی کل سایت شما ادامه می دهد. دوم ، می توانید یک فایل robots.txt خالی ایجاد کنید-روبات فایل robots.txt را پیدا می کند ، تشخیص می دهد که خالی است ، و به جستجو و فهرست بندی سایت خود ادامه می دهد. در نهایت ، می توانید یک فایل robots.txt با اجازه کامل بنویسید. از کد استفاده کنید:
کاربر عامل: * ممنوع:
مرحله 6. فایل txt را در ریشه دامنه خود ذخیره کنید
پس از نوشتن فایل robots.txt ، تغییرات را ذخیره کنید. فایل را در فهرست اصلی سایت خود بارگذاری کنید. به عنوان مثال ، اگر دامنه شما باشد www.yourdomain.com ، فایل robots.txt را در آن قرار دهید www.yourdomain.com/robots.txt.
روش 2 از 2: مسدود کردن موتورهای جستجو با برچسب های متا
مرحله 1. درک متا برچسب های روبات های HTML
متا تگ روبات ها به برنامه نویسان اجازه می دهد تا پارامترهایی را برای ربات ها یا عنکبوت های موتورهای جستجو تنظیم کنند. از این برچسب ها برای جلوگیری از نمایه سازی و خزیدن کل سایت یا فقط بخش هایی از سایت استفاده می شود. همچنین می توانید از این برچسب ها برای جلوگیری از نمایه سازی محتویات عنکبوت موتور جستجوی خاص استفاده کنید. این برچسب ها در سر فایل HTML شما ظاهر می شوند.
این روش معمولاً توسط برنامه نویسان که به فهرست اصلی وب سایت دسترسی ندارند استفاده می شود
مرحله 2. رباتها را از یک صفحه مسدود کنید
این امکان وجود دارد که همه ربات ها از فهرست بندی صفحه و یا پیگیری پیوندهای صفحه جلوگیری کنند. این برچسب معمولاً هنگامی که یک سایت زنده در حال توسعه است استفاده می شود. پس از تکمیل سایت ، توصیه می شود که این برچسب را حذف کنید. اگر برچسب را حذف نکنید ، صفحه شما ایندکس نمی شود و از طریق موتورهای جستجو قابل جستجو نیست.
- شما می توانید ربات ها را از فهرست بندی صفحه و هر یک از پیوندها منع کنید:
- شما می توانید همه صفحات را از فهرست بندی صفحه منع کنید:
- شما می توانید همه ربات ها را از پیوندهای صفحه منع کنید:
مرحله 3. به ربات ها اجازه دهید صفحه ای را فهرست بندی کنند ، اما پیوندهای آن را دنبال نکنید
اگر به ربات ها اجازه دهید صفحه را فهرست بندی کنند ، صفحه ایندکس می شود. اگر از دنبال کردن پیوندها توسط عنکبوت ها جلوگیری کنید ، مسیر پیوند از این صفحه خاص به صفحات دیگر شکسته می شود. خط زیر را در هدر خود وارد کنید:
مرحله 4. اجازه دهید عنکبوت های موتور جستجو پیوندها را دنبال کنند اما صفحه را فهرست بندی نکنند
اگر به رباتها اجازه دهید پیوندها را دنبال کنند ، مسیر پیوند از این صفحه خاص به صفحات دیگر در حالت عادی باقی می ماند. اگر آنها را از فهرست بندی صفحه محدود کنید ، صفحه وب شما در فهرست ظاهر نمی شود. خط زیر را در هدر خود وارد کنید:
مرحله 5. یک پیوند خروجی را مسدود کنید
برای پنهان کردن یک پیوند واحد در صفحه ، a را جاسازی کنید rel برچسب درون برچسب پیوند. ممکن است بخواهید از این برچسب برای مسدود کردن پیوندها در صفحات دیگر که منجر به صفحه خاصی می شود که می خواهید مسدود کنید استفاده کنید.
پیوند را به صفحه مسدود شده وارد کنید
مرحله 6. یک عنکبوت موتور جستجوی خاص را مسدود کنید
به جای مسدود کردن تمام رباتها از صفحه وب خود ، ممکن است بخواهید از خزیدن و فهرست بندی صفحه توسط یک ربات جلوگیری کنید. برای انجام این کار ، "robot" را در متا تگ با نام یک ربات خاص جایگزین کنید. نمونه ها عبارتند از: googlebot, googlebot-news, googlebot-image, bingbot ، و teoma.
مرحله 7. ربات ها را تشویق کنید تا صفحه شما را خزیده و فهرست بندی کنند
اگر می خواهید مطمئن شوید که صفحه شما ایندکس می شود و پیوندهای آن دنبال می شود ، می توانید اجازه دنبال کردن را وارد کنید متا "ربات" در هدر خود برچسب گذاری کنید از کد زیر استفاده کنید:
