cách tạo và sử dụng file robots

ONNET.EDU.VN

Tác giả: Adam Thiên - Cố vấn: RichdadLoc – Bản quyền ©2013 ONNET

Cách tạo và sử dụng file robots.txt.

File Robots.txt là gì?

File robots.txt là một dạng file rất đơn giản có thể được tảo bởi công cụ Notepad.

Bạn tạo 1 file robots.txt vào đặt vào thư mục root của trang web

File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến

những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó. Hầu hết

trang web nào cũng có những thư mục và files không cần đến robot của công cụ

tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.

Các User Agent của Google

Google có vài user-agent chính. Bạn có thể ngăn chúng bằng cách thêm tên của

bọ tìm kiếm tương ứng và trong dòng User-agent tương ứng trong bảng ghi

robots.txt. Nếu bạn chặn Googlebot thì có nghĩa là bạn chặn tất cả các bọ tìm

kiếm với từ khóa “Googlebot”.

- Googlebot: Đánh chỉ số từ các chỉ mục cũ và mới của Google.

- Googlebot-Mobile: Đánh chỉ số cho các thiết bị cầm tay hoặc di động.

- Googlebot-Image: Đánh chỉ số các tệp tin ảnh.

- Mediapartners-Google: Xuất hiện trong các trang dăng quảng cáo của

Google Adsense.

- Adsbot-Google: Đánh chỉ số các trang được nhà quảng cáo sử dụng giới

thiệu sản phẩm hay dịch vụ thông qua Google Adwords. Nó cho phép

đánh giá chất lượng của trang dùng dịch vụ Adwords.

Cách sử dụng Google boot