Robots.txt là dạng tập tin đặc biệt không phải là không HTML hay một loại nào khác. Mục đích của việc có file nhanh robots.txt là khai báo cho công cụ search biết rằng bỗng nhiên những content nào trên trang web của bạn được cho sẽ phép các bot search và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi có một công thôi cụ search thông báo trang web của bạn, điều đầu tiên nhanh mà nó search đa số là file Robots.txt . File này sẽ nói với công lắm cụ search những gì cần và không cần lập chỉ mục. Nó bỗng nhiên cũng có lẽ chỉ ra vị trí trang web của bạn trên XML Sitemap chưa . Sau đó các công cụ search sẽ gửi “bot”, “robot” hoặc chỉ “spider” để thu thập thông báo trang web của bạn theo ngay giống như có các hướng dẫn của file Robots.txt (các chỉ công cụ search sẽ không gửi nếu file Robot.txt nói vẫn với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt có lẽ nằm ở thư mục gốc cũng của bạn, bạn có lẽ lợi ích tạo một file trống và đặt có lẽ tên là Robots.txt, điều này giúp bạn giảm thiểu được dễ các lỗi cho trang web cùng lúc cho phép đa số các công rất cụ search thu thập thông báo về trang web của bạn. vẫn Ví dụ trang web bạn là sieutocviet.com thì file robots thường sẽ là sieutocviet.com/robots.txt

File Robots.txt mặc định của Word press:

User-agent: nhanh * Disallow: /wp-admin/ Disallow: /wp-includes/ không thể

Hoặc Bạn có lẽ tham khảo code này

User-agent: * Disallow: chỉ /wp-admin/ User-agent: * Allow: / Disallow: /* nhanh ?* Disallow: /*/?* Sitemap: https://web.sieutocviet đừng .com/sitemap.xml

MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT

Chặn bot không cho chỉ mục đa số bỗng nhiên trang web Bạn có câu lệnh giống như sau: User-agent:* bỗng nhiên Disallow: / Lệnh này có ý nghĩa: “Không cho phép các không thể bot của nhận biết công cụ vẫn search đăng nhập và đánh chỉ mục trên đa số tài nguyên đột nhiên có trên trang web của bạn.” Chặn bot chỉ mục vào một chưa thư mục nhất định User-agent:* Disallow: /wp-admin/ có lẽ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho có lẽ phép bot lập chỉ mục đa số data trừ 2 thư mục /wp-admin/ lắm và /wp-includes/ là không cho phép.” Chặn một trang cần hay đường dẫn đến bài viết nào đó User-agent:* Disallow: đang /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot có thể đánh chỉ mục đa số các data trừ đường dẫn /gioi-thieu vẫn .html” Chặn một hình ảnh nào đó User-agent:* Disallow: dễ /images/tenhinhanhcanchan.jpg Lệnh này có nghĩa: đang “Chặn một hình ảnh nào đó từ trang web của bạn, ngăn thôi không cho các bot search và lập chỉ mục cho hình ảnh có thể đó.” Chặn một loại bot nào đó User-agent:Spambot chậm Disallow: / Lệnh này có nghĩa: “Chặn botspam đăng cũng nhập đa số data trên trang web của bạn”. Trong khi nhanh đó các bot khác thì được quyền truy cập” Chặn đa số đừng các data trong một thư mục trừ một file nào đó User-agent:* cũ Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan thường .html Lệnh này có nghĩa: “Chặn bot search đa số data đột nhiên trong thư mục /thumucbichan/ nhưng cho phép lập chưa chỉ mục file /filekhongbichan.html”