File robots txt chuẩn
Một số ví dụ khác về file robots txt chuẩn Chặn bot không đưa cho chỉ mục tất cả vững mạnh website Bạn nắm tới câu lệnh như sau: User-agent:* Disallow: / Lệnh này sở hữu ý nghĩa: “Không cho phép các bot của công cụ search đăng nhập và đánh chỉ mục trên hầu hết tài nguyên sở hữu trên web site của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục tất cả dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục tất cả các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ trang web của bạn, ngăn không tặng các bot tìm và lập chỉ mục đưa cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này sở hữu nghĩa: “Chặn botspam truy cập toàn bộ data trên web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn mọi các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot tìm kiếm mọi dữ liệu trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file/filekhongbichan.html”
