Robots.txt là dạng tập tin đặc biệt không phải là HTML hay một loại nào khác. Mục đích của việc nắm tới file robots.txt là khai báo tặng công cụ search biết rằng những content nào trên web site của bạn được đưa cho phép các bot tìm và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi nắm tới một dụng cụ search thông tin web của bạn, điều đầu tiên mà nó search mọi là file Robots.txt . File này sẽ nói với dụng cụ tìm kiếm những gì tốt nhất nên và không tốt nhất nên lập chỉ mục. Nó cũng thường chỉ ra vị trí web của bạn trên XML Sitemap. Sau đó các dụng cụ tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông tin trang web của bạn theo như hướng dẫn cụ thể của file Robots.txt (các phương tiện tìm kiếm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt có lẽ nằm ở thư mục gốc của bạn, bạn có thể tiện dụng tạo một file trống và đặt tên là Robots.txt, điều này giúp bạn tránh được các lỗi cho website song song tặng phép mọi các dụng cụ search thu thập thông tin về web của bạn. Ví dụ trang web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt