Sitemap robots txt
File sitemap robots txt chuẩn
Robots.txt là một loại tệp đặc trưng không phải là HTML hay bất kể thứ gì gần giống. Mục đích của tệp robots.txt là để tặng các phương tiện tìm biết content nào trên web site của bạn thường xuyên được các bot thu thập và lập chỉ mục.
File robots txt chuẩn
Một số ví dụ khác về file robots txt chuẩn Chặn bot không đưa cho chỉ mục đa số phát triển website Bạn có câu lệnh như sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không tặng phép các bot của phương tiện tìm đăng nhập và đánh chỉ mục trên tất cả tài nguyên sở hữu trên website của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục toàn bộ data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này nắm tới nghĩa: “Cho phép bot đánh chỉ mục mọi các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ website của bạn, ngăn không đưa cho các bot tìm kiếm và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam truy cập toàn bộ dữ liệu trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn mọi các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot tìm hầu hết dữ liệu trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file/filekhongbichan.html”
Lê Trương Tấn Lộc (sieutocviet.vn)
Với 3 năm kinh nghiệm Python, PHP 6 năm kinh nghiệm trong quản trị web site tư vấn giải pháp SEO từ khóa, Kinh doanh online tối ưu nhất cho công ty.
Hiện giữ chức vụ giám đốc kinh doanh tại Siêu Tốc Việt.