Tuỳ chỉnh robots.txt là một cách để bạn có thể hướng dẫn các công cụ tìm kiếm mà bạn không muốn nó để thu thập dữ liệu thiet ke web trang web nhất định của blog của bạn (“thu thập dữ liệu” có nghĩa là các trình thu thập, như Googlebot, đi qua nội dung của bạn, và chỉ số nó để khác mọi người có thể tìm thấy nó khi họ tìm kiếm cho nó). Ví dụ, hãy nói rằng có những phần của blog của bạn có thông tin bạn không muốn thúc đẩy, hoặc vì lý do cá nhân hoặc bởi vì nó không đại diện cho chủ đề chung của blog của bạn – đây là nơi bạn có thể làm rõ những hạn chế này của dịch vụ seo uy tín.
2. • Cảnh báo! Sử dụng cẩn thận. Sử dụng tính năng này không
đúng có thể dẫn đến blog của bạn bị bỏ qua bởi các công cụ
tìm kiếm.
• Tuỳ chỉnh robots.txt là một cách để bạn có thể hướng dẫn các
công cụ tìm kiếm mà bạn không muốn nó để thu thập dữ liệu
thiet ke web trang web nhất định của blog của bạn (“thu thập
dữ liệu” có nghĩa là các trình thu thập, như Googlebot, đi qua
nội dung của bạn, và chỉ số nó để khác mọi người có thể tìm
thấy nó khi họ tìm kiếm cho nó). Ví dụ, hãy nói rằng có những
phần của blog của bạn có thông tin bạn không muốn thúc
đẩy, hoặc vì lý do cá nhân hoặc bởi vì nó không đại diện cho
chủ đề chung của blog của bạn – đây là nơi bạn có thể làm rõ
những hạn chế này của dịch vụ seo uy tín.
3. • Tuy nhiên, hãy nhớ rằng các thiet ke web trang web
khác có thể liên kết đến các trang mà bạn đã quyết
định hạn chế. Hơn nữa, Google có thể lập chỉ mục
thiet ke web trang web của bạn nếu chúng tôi phát
hiện ra nó bằng cách làm theo một liên kết từ trang
web của người khác dich vu seo gia re. Để hiển thị
trong kết quả tìm kiếm, Google sẽ cần để hiển thị một
danh hiệu của một số loại và bởi vì chúng tôi sẽ không
có quyền truy cập vào bất kỳ nội dung trang của bạn,
chúng tôi sẽ dựa vào các trang nội dung như văn bản
neo từ các trang web khác. (Để thực sự chặn một
URL được lập chỉ mục, bạn có thể sử dụng các thẻ
meta.)
Tuỳ chỉnh robot.txt cho Blogger
4. • Để loại trừ nội dung nhất định từ đang được
tìm kiếm, Cài đặt | Preferences Tìm kiếm và
nhấp vào Chỉnh sửa bên cạnh “robots.txt Tuỳ
chỉnh.” Nhập nội dung mà bạn muốn web
robot để bỏ qua. Ví dụ:
• User-agent: *
Disallow: / about
• Bạn cũng có thể đọc về robot.txt về bài đăng
này trên blog của Google Webmaster.