Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc sở hữu file robots.txt là khai báo đưa cho dụng cụ search biết rằng những nội dung nào trên web site của bạn được cho phép các bot search và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi sở hữu một công cụ tìm thông tin web site của bạn, điều đầu tiên mà nó tìm toàn bộ là file Robots.txt . File này sẽ nói với dụng cụ search những gì cần và không tốt nhất nên lập chỉ mục. Nó cũng thường xuyên chỉ ra vị trí website của bạn trên XML Sitemap. Sau đó các công cụ tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập tin tức web site của bạn theo như là có các hướng dẫn của file Robots.txt (các dụng cụ tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt có lẽ nằm ở thư mục gốc của bạn, bạn thường thuận tiện tạo một file trống và đặt tên là Robots.txt, điều này giúp cho bạn tránh được các lỗi tặng web cùng lúc đưa cho phép mọi các phương tiện tìm kiếm thu thập tin tức về website của bạn. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt