File Robots.txt mặc định của WordPress:

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

Hoặc Bạn thường tham khảo code này

User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml

MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT

Chặn bot không cho chỉ mục toàn bộ web site Bạn sở hữu câu lệnh giống như sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không cho phép các bot của công cụ tìm kiếm log in và đánh chỉ mục trên tất cả tài nguyên có trên web site của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục mọi dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục hầu hết các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ website của bạn, ngăn không tặng các bot tìm và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này nắm tới nghĩa: “Chặn botspam log in đa số dữ liệu trên web site của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn mọi các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot tìm toàn bộ data trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file /filekhongbichan.html”

File robots.txt là gì? Hướng dẫn tùy chỉnh trên wordpress