Giải thích thuật ngữ Robots.txt là gì?
Cập nhật lần cuối: 31/05/2026
File Robots.txt là một tệp văn bản cho biết công cụ tìm kiếm những trang nào họ có thể hoặc không thể crawl. Đây là công cụ quan trọng để quản lý việc lập chỉ mục trang web, giúp tối ưu hóa quá trình crawl và tránh việc lập chỉ mục các trang không cần thiết hoặc trùng lặp.
Vote thuật ngữ:Theo dõi chi tiết các thuật ngữ có trong bài: thuật ngữ Crawl.






