Cách tạo file robots.txt tối ưu cho SEO trong WordPress

Source: Cách tạo file robots.txt tối ưu cho SEO trong WordPress

Bạn vẫn đang gặp khó khăn với SEO?

Chắc chắn SEO vẫn là một thứ cần rất nhiều công sức và thời gian.

Nhưng có những tuyệt chiêu đơn giản, không tốn nhiều thời gian mà bạn có thể áp dụng ngay.

Tạo tệp robots.txt tối ưu hóa SEO là một trong những kỹ thuật như vậy.

Bạn không biết về tệp robots.txt?

Không có gì đáng ngạc nhiên vì đây chỉ là một tệp văn bản nhỏ và mọi người thường không để ý đến nó.

Nhưng nếu bạn hiểu về tệp robots.txt, bạn có thể tận dụng sức mạnh của tệp này để cải thiện SEO cho trang web của mình.

Bạn không có kiến ​​thức kỹ thuật?

Không cần quá lo lắng?

Thao tác với tệp robots.txt không quá phức tạp. Chỉ cần biết một vài dòng lệnh cơ bản là bạn đã có tệp robots.txt tối ưu rồi.

Tôi sẽ chỉ cho bạn cách chính xác để tạo và thay đổi tệp robots.txt mà các công cụ tìm kiếm sẽ yêu thích.

Đọc thêm: Học SEO cho người mới: tổng hợp những kiến ​​thức cơ bản nhất

Tệp robots.txt là gì? Và Làm thế nào để sử dụng tệp robots.txt một cách tối ưu cho SEO?

Đầu tiên, chúng ta hãy xem tệp robots.txt là gì?

Tệp robots.txt là một tệp văn bản cho rô bốt web (lỗi của công cụ tìm kiếm) biết trang nào cần thu thập thông tin (thu thập thông tin) và trang nào không cần quét trên trang web của bạn.

Về cơ bản:

Khi một công cụ tìm kiếm truy cập trang web của bạn để quét và lập chỉ mục, nó sẽ kiểm tra tệp robots.txt trước tiên.

Tệp này cho các công cụ tìm kiếm biết cách quét và lập chỉ mục trang web của bạn.

Đây là một ví dụ về tệp robots.txt. tập tin

Ý nghĩa của tệp này như sau:

* Sau User-agent có nghĩa là tệp robots.txt này sẽ áp dụng cho tất cả các rô bốt web truy cập trang web.

Dấu gạch chéo sau khi không cho phép nói với rô bốt không được truy cập bất kỳ trang nào trên trang web.

Tất nhiên, đây chỉ là một ví dụ để bạn hình dung về tệp robots.txt là như thế nào.

Khi tạo một trang web, bạn muốn rô bốt của công cụ tìm kiếm truy cập vào trang web của mình, vì vậy trang web của bạn sẽ xếp hạng tốt.

Đây cũng là mục tiêu mà chúng tôi cần tối ưu hóa tệp robots.txt để công cụ tìm kiếm quét trang của bạn một cách thích hợp nhất.

Bạn cần biết rằng:

Trang web của bạn có nhiều trang. Do đó, công cụ tìm kiếm có thể mất nhiều thời gian để quét trang.

Điều này có thể có tác động tiêu cực đến xếp hạng của bạn.

Tại sao?

Vì công cụ tìm kiếm Google có một khái niệm mà bạn cần biết. Đó là:

Thu thập thông tin ngân sách.

Ngân sách tìm kiếm của Google bao gồm hai thứ.

Đầu tiên là giới hạn tốc độ thu thập thông tin như Google giải thích bên dưới:

Thứ hai là nhu cầu thu thập thông tin như được giải thích bên dưới:

Nói một cách đơn giản, ngân sách thu thập thông tin là số lượng URL mà bot Google có thể và muốn quét trên trang web của bạn.

Hiểu được điều này có ý nghĩa quan trọng.

Bạn sẽ học cách Google có thể sử dụng ngân sách quét của mình một cách khôn ngoan.

Nói một cách đơn giản:

Bạn nên để Google quét các trang có giá trị. Các trang bạn muốn xếp hạng tốt.

Còn những trang không quan trọng thì tốt nhất bạn nên khóa lại.

Vì vậy, Google không còn mất thời gian để quét chúng nữa.

Trên thực tế, bạn cần biết một số yếu tố ảnh hưởng xấu đến ngân sách quét của mình như sau:

Đóng cửa:

Chúng tôi sẽ tối ưu hóa tệp robots.txt để Google có thể quét và lập chỉ mục trang của bạn một cách dễ dàng và thuận lợi. Vì vậy, trang web của bạn có thể cải thiện thứ hạng.

Cách tìm tệp robots.txt trên trang web của bạn

Tệp robots.txt là tệp công khai nên bạn có thể dễ dàng kiểm tra tệp này trên bất kỳ trang web nào.

Chỉ cần thêm /robots.txt vào cuối.

Một mẹo hay: bạn có thể truy cập trang web lớn trong thị trường ngách của mình và nghiên cứu tệp robot để làm theo.

Có một số tình huống xảy ra khi kiểm tra tệp robots.txt của trang web:

Bạn sẽ tìm thấy tệp robots.txt như bên dưới:

Bạn sẽ tìm thấy một tệp trống

Bạn sẽ gặp lỗi 404.

Nếu bạn thấy một tệp trống hoặc lỗi 404, bạn cần bắt đầu sửa nó ngay lập tức.

Giới thiệu về cách tạo và chỉnh sửa tệp robots.txt. Bạn có 3 lựa chọn:

Bạn có thể tạo tệp robots.txt trên máy của mình bằng trình soạn thảo văn bản đơn giản như Notepad hoặc Notepad ++.

Hãy nhớ không sử dụng Word để tạo tệp này vì phần mềm này sẽ chèn các ký tự không mong muốn.

Cách thứ hai bạn sử dụng File Manager để tạo và chỉnh sửa tệp này ngay trên host.

Và cách cuối cùng cũng là cách mà tôi khuyên bạn nên sử dụng: bạn sử dụng công cụ tạo tệp robots.txt của Google Search Console.

Tôi sẽ giải thích cách tạo tệp robots.txt trong phần bên dưới.

Nhưng bây giờ tôi muốn nói thêm về cách tìm tệp robots.txt khi bạn kiểm tra rằng có tệp bằng cách mount /robots.txt.

Truy cập thư mục gốc của trang web bằng FTP hoặc Trình quản lý tệp.

Đối với trang web WordPress, có thể bạn sẽ không tìm thấy tệp robots.txt mặc dù việc kiểm tra các bước trên sẽ tạo ra tệp hợp lệ.

Điều này là do WordPRess đã tạo tệp robots.txt ảo.

Trong tình huống này, bạn cần tạo một tệp robots.txt mới trong thư mục gốc.

Tạo tệp robots.txt

Như tôi đã nói, bạn sử dụng công cụ tạo tệp robots.txt trong Google Search Console.

Truy cập Google Search Console. Nhấp vào trang web mà bạn muốn tạo tệp robots.txt.

Đi tới Thu thập thông tin -> Trình kiểm tra robots.txt.

Bạn nhập nội dung của tệp robots.txt. Sau đó, bạn bấm vào nút Gửi.

Bây giờ bạn sẽ thấy một cửa sổ bật lên với các hướng dẫn thêm:

Bạn sẽ tải tệp robots.txt mà bạn vừa tạo. Sau đó tải lên thư mục gốc của trang web.

Tiếp theo bấm vào Xem phiên bản đã tải lên để đảm bảo rằng tệp robots.txt là chính xác.

Sau đó, bạn bấm vào nút Gửi để thông báo cho Google.

Vậy là bạn đã tìm ra cách tạo tệp robots.txt cho trang web của mình

Và bây giờ bạn đang băn khoăn không biết mình cần nhập gì vào tệp robots.txt?

Tôi sẽ hướng dẫn bạn tạo một tệp robots.txt đơn giản.

Trước khi bắt đầu tạo tệp, bạn cần tham khảo một chút cú pháp từ Google.

Trước tiên, bạn muốn thêm dấu * sau tác nhân người dùng như sau:

Tiếp theo, gõ Disallow: nhưng không để lại gì như sau:

Đây là tệp robots.txt cơ bản yêu cầu các công cụ tìm kiếm truy cập vào tất cả các trang trên trang web của bạn.

Chúng tôi cần tối ưu hóa tệp này cho SEO.

Như đã đề cập trong phần ngân sách quét, bạn cần yêu cầu các công cụ tìm kiếm không quét các khu vực trên trang web của bạn mà bạn không muốn công khai.

Ví dụ: đây là tệp robots.txt mặc định mà WordPress tạo ra khi bạn cài đặt WordPress

Tệp này sẽ thông báo cho các công cụ tìm kiếm không quét phần wp-admin. Còn đối với tệp admin-ajax, nó vẫn được quét như bình thường. Lý do tại sao tệp này cần được quét có thể được tìm thấy ở đây.

Từ đây bạn có thể chủ động sử dụng cùng một dòng lệnh để ngăn các công cụ tìm kiếm quét các trang cụ thể.

Bạn chỉ cần thêm dòng không cho phép giống như trang tệp rô bốt trên trang này.

Giả sử bạn không muốn lỗi quét trang https://ift.tt/31DeTle, bạn có thể thêm một dòng lệnh như bên dưới.

Điều quan trọng:

Bạn cần xác định những trang nào bạn cần để ngăn các công cụ tìm kiếm truy cập.

Dưới đây là một vài gợi ý:

Nội dung trùng lặp. Bạn có thể cũng biết rằng nội dung trùng lặp có hại cho SEO. Nhưng nếu vì lý do nào đó mà bạn có nội dung trùng lặp, bạn có thể yêu cầu các công cụ tìm kiếm không quét các trang đó.

Trang cảm ơn. Một và các nhà tiếp thị đã xây dựng một trang cảm ơn ở đó có thể bao gồm một liên kết sách điện tử sau khi khách truy cập đăng ký email.

Nếu bạn có một trang như vậy, có thể bạn không muốn nó được lập chỉ mục. Bởi vì trang này chỉ dành cho những người tham gia vào danh sách email của bạn phải không?

Có một điểm bạn cần biết:

Sử dụng dòng lệnh không cho phép không ngăn các trang nhất định được lập chỉ mục.

Về mặt lý thuyết, bạn có thể không cho phép một trang, nhưng nó vẫn có thể được lập chỉ mục.

Đó là khi bạn cần chỉ thị noindex. Bạn sử dụng lệnh noindex với disallow để đảm bảo các công cụ tìm kiếm không truy cập và lập chỉ mục các trang không mong muốn của bạn.

Đây là một ví dụ về trang thankyou không cho phép và noindex:

Một chỉ thị khác mà bạn cần biết là nofollow. Chỉ thị này cho bot biết rằng nó không cần quét liên kết trên trang.

Chỉ lệnh này mà bạn không sử dụng trong tệp robots.txt nhưng đặt nó trong thẻ meta như sau:

Tất nhiên bạn không cần phải chạm vào mã.

Nếu bạn đang sử dụng plugin Yoast SEO, bạn có thể hướng dẫn rô bốt không lập chỉ mục và quét liên kết trên trang trong cấu hình nâng cao của bài viết.

Kiểm tra lại tệp robots.txt sau khi tạo

Ngay sau khi bạn đã tạo và tối ưu hóa tệp robots.txt, bạn cần đảm bảo rằng tệp hợp lệ.

Rồi sao?

Bạn tiếp tục sử dụng công cụ robots.txt miễn phí như trong Googe Search Console.

Nếu bạn đã sử dụng trình tạo tệp robots.txt của Google Search Console, bạn có thể không cần phải kiểm tra thêm.

Đây là cách kiểm tra lại tệp robots.txt mà bạn vừa tạo cho trang web của mình.

Trong trang quản trị của Google Search Console, hãy truy cập Thu thập thông tin -> Trình kiểm tra robots.txt

Nhập URL và nhấp vào nút Kiểm tra.

Nếu nút Kiểm tra thay đổi thành Được phép, điều đó có nghĩa là tệp robots.txt của bạn hợp lệ.

Bạn có thể đọc thêm về công cụ này tại đây.

Phần kết

Tạo và tối ưu hóa tệp robots.txt không phải là một nhiệm vụ phức tạp.

Nhưng nó mang lại cho bạn giá trị lớn về mặt SEO.

Tệp robots.txt được tối ưu hóa sẽ giúp các công cụ tìm kiếm sử dụng ngân sách quét hợp lý.

Kết quả là:

Công cụ tìm kiếm sẽ hiển thị nội dung của bạn trong kết quả công cụ tìm kiếm tốt nhất (SERP). Điều đó có nghĩa là người dùng có thể dễ dàng tìm thấy trang web của bạn.

Nếu bạn chưa tạo tệp robots.txt hoặc tệp của bạn chưa được tối ưu hóa, tôi khuyên bạn nên thực hiện theo hướng dẫn trong bài viết.

Tôi rất muốn biết kiến ​​thức của bạn về tệp robots.txt trong phần nhận xét bên dưới.

Via: sieucoder.com

from sieucoder.com https://ift.tt/3pBWrBS
via Sieucoder.com