Robots.txt là dạng tập tin đặc biệt không phải là cũ HTML hay một loại nào khác. Mục đích của việc có file được robots.txt là khai báo cho công cụ search biết rằng cũ những content nào trên trang web của bạn được cho nhất phép các bot search và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi có một công đang cụ search thông báo trang web của bạn, điều đầu tiên chậm mà nó search đa số là file Robots.txt . File này sẽ nói với công vẫn cụ search những gì cần và không cần lập chỉ mục. Nó quá cũng có lẽ chỉ ra vị trí trang web của bạn trên XML Sitemap cần . Sau đó các công cụ search sẽ gửi “bot”, “robot” hoặc mất “spider” để thu thập thông báo trang web của bạn theo lại giống như có các hướng dẫn của file Robots.txt (các bỗng nhiên công cụ search sẽ không gửi nếu file Robot.txt nói nhất với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt có lẽ nằm ở thư mục gốc đang hacker của bạn, bạn có chính lẽ lợi ích tạo một file trống và đặt tên là Robots. được txt, điều này giúp bạn giảm thiểu được các lỗi cho chậm trang web cùng lúc cho phép đa số các công cụ search vẫn thu thập thông báo về trang web của bạn. Ví dụ trang không web bạn là sieutocviet.com thì file robots sẽ là đột nhiên sieutocviet.com/robots.txt

File Robots.txt mặc định của Word press:

User-agent: * Disallow: cũng /wp-admin/ Disallow: /wp-includes/

Hoặc Bạn có cũ lẽ tham khảo code này

User-agent: * Disallow: /wp-admin/ không User-agent: * Allow: / Disallow: ngành luôn /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet đã .com/sitemap.xml

MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT

Chặn bot không cho chỉ mục đa số cả trang web Bạn có câu lệnh giống như sau: User-agent:* cả Disallow: / Lệnh này có ý nghĩa: “Không cho phép các quá bot của công cụ search đăng nhập và đánh chỉ mục trên thường đa số tài nguyên có trên trang web của bạn.” Chặn bot đích chỉ mục vào một thư mục nhất định User-agent:* Disallow: cả /wp-admin/ Disallow: /wp-includes/ Lệnh này có thôi nghĩa: “Cho phép bot lập chỉ mục đa số data trừ 2 thư cũ mục /wp-admin/ và /wp-includes/ là không cho phép chẳng .” Chặn một trang hay đường dẫn đến bài viết nào đó đã User-agent:* Disallow: /gioi-thieu.html Lệnh đừng này có nghĩa: “Cho phép bot đánh chỉ mục đa số các data chậm trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh đã nào đó User-agent:* Disallow: /images/tenhinhanhcanchan thường .jpg Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ cũ trang web của bạn, ngăn không cho các bot search và luôn lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào được đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: chưa “Chặn botspam đăng nhập đa số data trên trang web đừng của bạn”. Trong khi đó các bot khác thì được quyền chậm truy cập” Chặn đa số các data trong một thư mục trừ bỗng nhiên một file nào đó User-agent:* Disallow: /thumucbichan/ cũ Allow: /thumucbichan/filekhongbichan.html có thể Lệnh này có nghĩa: “Chặn bot search đa số data trong đột nhiên thư mục /thumucbichan/ nhưng cho phép lập chỉ mục đừng file /filekhongbichan.html”