Robots.txt cho Website làm bằng WordPress

Ngày đăng: 06/08/2016 13:32 Chiều

Hướng dẫn cấu hình lại file robots.txt cho những website thiết kế bằng wordpress, giúp việc seo website wordpress dễ dàng và thân thiện với google hơn.

Vậy robots.txt là gì? Có thể nói ngắn ngọn như sau, những chú bot của công cụ tìm kiếm đọc nội dung website (text, media). File robots.txt hướng dẫn bot tìm kiếm nên đọc những gì, không nên đọc những gì.

Ví dụ: việc tìm sách trong thư viện, quy định như sau:

– Bạn là bot tìm kiếm

– Người thủ thư là file robots.txt

Ảnh minh họa http://m4i.ir/

Hôm nay, bạn lên thư viện tìm sách tên “Thiết kế website bằng wordpress” của tác giả happiweb chẳng hạn (^_^). Hai trường hợp sau có thể xảy ra.

Một là, tìm cuốn Thiết kế website bằng wordpress trong cả hàng nghìn cuốn sách khác, kết quả bạn mệt mỏi, đâm ra chán nản và bỏ đi (google bỏ đi vì đọc nhiều quá cận thị)

Hai là, người thủ thư nhiệt tình giúp đỡ, cuốn sách đó nằm ở dãy thứ 2 bên trái. kết quả đúng mục tiêu của bạn (google index bài viết nhanh, ưu tiên vị trí website bạn hơn website khác)

File robots.txt cũng như vậy, nó sẽ dẫn đường các bot tìm kiếm, nếu không làm gì mặc nhiên sẽ đọc tất cả website, nếu bạn quy định chỉ cho đọc những phần nào thì việc công việc của bot sẽ hoàn thành nhanh chóng, nếu dẫn đường sai tất nhiên bạn sẽ gặp nguy hiểm (mất thứ hạng).

Vậy file robots.txt trong wordpress có những gì, bạn hãy mở file robots.txt của website bạn so sánh nội dung của chúng tôi khuyến cáo sau:

User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/
Sitemap: http://example.com/sitemap.xml

Để xem nội dung file robots.txt của website bạn làm như sau: gõ trên thanh địa chỉ: http://example.com/robots.txt. Trong đó example.com là được thay bằng tên website của bạn.

Robots.txt cho Website làm bằng WordPress này được giải thích như sau: Cho phép tất cả các bot tìm kiếm, nhưng sẽ cấp không cho phép đọc trong các thư mục: feed, trackback,wp-admin, wp-content, wp-includes, wp-content/uploads/, file xmlrpc.php, và những thư mục nào có tên bắt đầu bằng wp-

Chú thích sau:
User-agent: Quy định bot nào
Disallow: cấm
Allow: Cho phép

Bạn có thể bổ sung thêm trong file robots.txt của website bạn bằng đoạn happiweb đã bôi vàng. Chú ý: example.com thay cho tên website của bạn. Khi thao tác trên file robots.txt, phải hết sức cẩn trọng, nếu bạn cấm sai có thể bot tìm kiếm sẽ không tìm thấy website của bạn.

Cảm ơn bạn đã xem bài viết này, hy vọng website bạn nhanh lên top. Chúc một ngày thành công

Bạn thấy bài viết này thế nào?

Xem thêm bài viết khác: