Tạo và sử dụng file robots.txt

Thứ tư - 24/07/2013 05:08
Dưới đây là hướng dẫn tạo và sử dụng file robots.txt cho website, để các bộ máy tìm kiếm quản lý index nội dung của website bạn
Tạo và sử dụng file robots.txt
robots.txt là file văn bản có cấu trúc, khi các spider (bot, crawler) của các SE (Search engine) vào website để thu thập dữ liệu thì sẽ vào file robots.txt để xem các chỉ dẫn trong file này.

robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không?

Vài loại bot của các SE: Googlebot (Google), Googlebot-Image(Google),  Yandex(SE của Nga), Bingbot(Bing)/Yahoo Slurp(Yahoo)…

Những cú pháp thông dụng trong file robots.txt

User-agent: đối tượng bot được chấp nhận
Disallow/Allow: URL muốn chặn/cho phép

*: Đại diện cho tất cả

Ví dụ: User-agent: * (Có nghĩa là chấp nhận tất cả các loại bot.)

Khóa toàn bộ site
Disallow: /

Chặn 1 thư mục và mọi thứ nằm trong nó
Disallow: /wp-admin/

Chặn 1 trang
Disallow: /private_file.html

Loại bỏ 1 hình từ  Google Images
User-agent: Googlebot-Image
Disallow: /images/sexy.jpg

Bỏ tất cả các hình từ Google Images:
User-agent: Googlebot-Image
Disallow: /

Chặn 1 file hình bất kỳ, ví dụ .gif
User-agent: Googlebot
Disallow: /*.gif$

Những điều cần tránh trong file robots.txt

    •    Phân biệt chữ hoa chữ thường.
    •    Không được viết dư, thiếu khoản trắng.
    •    Không nên chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.
    •    Mỗi một câu lệnh nên viết trên 1 dòng.

Cách tạo và vị trí đặt file robots.txt

    •    Dùng notepad hay bất cứ chương trình nào tạo file, sau đó đổi tên file là robots.txt.
    •    Đặt ở thư mục gốc của website. (http://tocdoviet.vn/robots.txt)

Tổng số điểm của bài viết là: 0 trong 0 đánh giá

Click để đánh giá bài viết

Những tin mới hơn

Những tin cũ hơn

Tên miền Việt Nam

Tên miền Việt Nam Lệ phí đăng ký(1) (không chịu thuế) Phí duy trì(2) (không chịu thuế) Dịch vụ tài khoản quản trị tên miền năm đầu (chưa bao gồm thuế VAT) Dịch vụ tài khoản quản trị tên miền năm tiếp theo (chưa bao gồm thuế VAT) Tổng tiền năm...

Thống kê
  • Đang truy cập6
  • Hôm nay1,434
  • Tháng hiện tại60,110
  • Tổng lượt truy cập8,232,035
Bạn đã không sử dụng Site, Bấm vào đây để duy trì trạng thái đăng nhập. Thời gian chờ: 60 giây