Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc có file robots.txt là khai báo tặng công cụ tìm biết rằng những content nào trên trang web của bạn được đưa cho phép các bot tìm và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi có một phương tiện tìm thông báo web của bạn, điều đầu tiên mà nó tìm đa số là file Robots.txt . File này sẽ nói với phương tiện search những gì nên và không tốt nhất nên lập chỉ mục. Nó cũng có lẽ chỉ ra vị trí website của bạn trên XML Sitemap. Sau đó các phương tiện search sẽ gửi “bot”, “robot” hoặc “spider” để thu thập tin tức website của bạn theo như có các hướng dẫn của file Robots.txt (các công cụ search sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt thường xuyên nằm ở thư mục gốc của bạn, bạn có lẽ lợi ích tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn giảm thiểu được các lỗi cho web site đồng thời tặng phép hầu hết các công cụ search thu thập thông báo về website của bạn. Ví dụ website bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
Lê Trương Tấn Lộc (sieutocviet.vn)
Với hơn 6 năm kinh nghiệm Drupal 7 năm thực chiến trong quản trị website tư vấn giải pháp Seo top, Digital marketing tối ưu nhất cho công ty.
Hiện làm leader kinh doanh tại Siêu Tốc Việt.