Sitemap robots txt
File sitemap robots txt chuẩn
Robots.txt là một loại tệp đặc biệt không phải là HTML hay bất kỳ vật dụng gì gần giống. Mục đích của tệp robots.txt là để cho các công cụ search biết content nào trên trang web của bạn khả năng cao được các bot thu thập và lập chỉ mục.
File robots txt chuẩn
Một số ví dụ khác về file robots txt chuẩn Chặn bot không đưa cho chỉ mục tất cả phát triển website Bạn sở hữu câu lệnh như sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không cho phép các bot của công cụ tìm kiếm truy cập và đánh chỉ mục trên tất cả tài nguyên sở hữu trên trang web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục tất cả dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu nghĩa: “Cho phép bot đánh chỉ mục tất cả các dữ liệu trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ web của bạn, ngăn không đưa cho các bot search và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam đăng nhập đa số data trên website của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn mọi các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot tìm kiếm toàn bộ data trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file/filekhongbichan.html”
