Hướng dẫn cách cấu hình Robots.txt trong Magento 2
Tối ưu hóa công cụ tìm kiếm(SEO) là một trong những việc làm quan trọng nhất mà bạn nên làm để cho cửa hàng Magento của bạn thành công. Nó giúp ta có được lưu lượng truy cập không mất phí đến trang web của bạn, có rất nhiều việc cần làm khi SEO và tệp robots.txt là một trong số đó. Trong bài viết này mình sẽ hướng dẫn bạn cách cấu hình Robots.txt trong Magento 2.
Tệp robots.txt là gì?
Robots.txt là một tệp văn bản mà quản trị viên web tạo ra để hướng dẫn robot công cụ tìm kiếm cách thu thập dữ liệu các trang trên web, Các robot này sau khi thu thập thông tin các trang web, sẽ lập chỉ mục nội dung để nó có thể được hiển thị trong kết quả của công cụ tìm kiếm. Robots.txt còn giúp chúng ta có thể ngăn lập chỉ mục các trang riêng tư, trang mà bạn không muốn lập chỉ mục.
Cấu hình robots.txt trong Magento 2
Để cấu hình chúng ta đăng nhập trang admin Magento 2 chọn CONTENT -> Configuration
Tiếp theo chọn Edit.
Kéo xuống dưới tới mục Search Engine Robots. Tại đây có hai mục con.
Mục Default Robots bạn có thể tham khảo bài viết Cách đặt thẻ noindex và nofollow trong Magento 2 có nói chi tiết về nó.
Mục Edit custom instruction of robots.txt File được sử dụng để thêm các hướng dẫn tùy chỉnh cho robot, trọng tâm của bài viết này.
Còn có thêm nút Reset To Defaults button để đặt mọi thứ về mặc định.
Các lệnh tùy chỉnh robots.txt
Cho phép robot toàn quyền truy cập:
User-agent:*
Disallow:
Không cho phép truy cập vào tất cả các thư mục:
User-agent:*
Disallow: /
Mặc định:
Disallow: /lib/
Disallow: /*.php$
Disallow: /pkginfo/
Disallow: /report/
Disallow: /var/
Disallow: /catalog/
Disallow: /customer/
Disallow: /sendfriend/
Disallow: /review/
Disallow: /*SID=
Không cho phép nội dung trùng lặp:
Disallow: /tag/
Disallow: /review
Không cho phép truy cập tài khoản người dùng và các trang thanh toán:
Disallow: /checkout/
Disallow: /onestepcheckout/
Disallow: /customer/
Disallow: /customer/account/
Disallow: /customer/account/login/
Không cho phép truy cập thư mục CMS:
Disallow: /app/
Disallow: /bin/
Disallow: /dev/
Disallow: /lib/
Disallow: /phpserver/
Disallow: /pub/
Không cho phép truy cập các trang danh mục và tìm kiếm:
Disallow: /catalogsearch/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Không cho phép truy cập tìm kiếm bộ lọc URL
Disallow: /*?dir*
Disallow: /*?dir=desc
Disallow: /*?dir=asc
Disallow: /*?limit=all
Disallow: /*?mode*
Điền các câu lệnh và chọn Save Configuration để lưu lại.
Như vậy là mình đã hướng dẫn xong cách cấu hình Robots.txt trong Magento 2.
Cảm ơn bạn đã đọc bài viết.
