Khi quản trị website và theo dõi hiệu suất trên Google Search Console, một trong những cảnh báo kỹ thuật khiến nhiều người lo lắng nhất là lỗi tài nguyên bị chặn. Tình trạng này không chỉ làm gián đoạn quá trình thu thập dữ liệu của công cụ tìm kiếm mà còn có thể tác động tiêu cực đến thứ hạng tổng thể của trang web. Bài viết dưới đây sẽ giúp bạn hiểu rõ bản chất của vấn đề, cách tự chẩn đoán và quy trình từng bước khắc phục lỗi này một cách an toàn, hiệu quả.
Khái niệm tài nguyên bị chặn trên website
Tài nguyên bị chặn (Blocked Resources) là các thành phần cấu thành trang web như tệp CSS, JavaScript, hoặc hình ảnh mà Googlebot không thể truy cập và tải xuống được trong quá trình thu thập dữ liệu. Điều này thường xảy ra do các quy tắc hạn chế trong tệp robots.txt hoặc do lỗi cấu hình máy chủ.
Trước đây, Googlebot chỉ đọc văn bản thuần túy (HTML) để hiểu nội dung trang. Tuy nhiên, với công nghệ Web Rendering Service (WRS) hiện đại, Googlebot hoạt động giống như một trình duyệt Chrome thực thụ. Nó cần tải đầy đủ các tệp CSS để hiểu bố cục giao diện và tệp JavaScript để thực thi các nội dung động.
Nếu các tệp tin quan trọng này bị chặn, Googlebot sẽ nhìn thấy một trang web bị vỡ giao diện hoặc thiếu hụt nội dung. Điều này dẫn đến Vấn đề chặn render khi crawl, khiến Google không thể đánh giá đúng trải nghiệm thực tế của người dùng trên trang, từ đó đưa ra những nhận định sai lệch về chất lượng website.
Tác hại nghiêm trọng của tài nguyên bị chặn đối với SEO
Lỗi tài nguyên bị chặn ảnh hưởng trực tiếp đến khả năng lập chỉ mục và thứ hạng di động của website. Khi CSS và JavaScript bị chặn, Googlebot không thể render (hiển thị) trang web một cách chính xác, kéo theo hàng loạt hệ lụy về mặt tối ưu hóa công cụ tìm kiếm.
Dưới đây là những tác động tiêu cực chính khi website gặp phải tình trạng này:
- Đánh mất điểm Mobile-Friendly: Google áp dụng Mobile-First Indexing (Lập chỉ mục ưu tiên thiết bị di động). Nếu CSS định dạng giao diện di động bị chặn, Googlebot sẽ coi trang web của bạn không thân thiện với thiết bị di động, làm giảm lợi thế cạnh tranh trên trang kết quả tìm kiếm.
- Lãng phí ngân sách thu thập thông tin (Crawl Budget): Googlebot liên tục cố gắng truy cập các tài nguyên bị lỗi, làm tiêu hao tài nguyên cào dữ liệu thay vì tập trung vào các trang nội dung mới và quan trọng.
- Không lập chỉ mục được nội dung động: Nếu website của bạn phụ thuộc nhiều vào JavaScript để hiển thị sản phẩm hoặc bài viết, việc chặn JS đồng nghĩa với việc Google hoàn toàn không nhìn thấy các nội dung đó.
Nguyên nhân phổ biến khiến tài nguyên bị chặn
Tệp robots.txt cấu hình sai là nguyên nhân hàng đầu gây ra lỗi này, nhưng vấn đề cũng có thể xuất phát từ tường lửa máy chủ hoặc các dịch vụ bên thứ ba được nhúng vào website.
Cấu hình sai quy tắc trong tệp robots.txt
Nguyên nhân phổ biến nhất đến từ việc lạm dụng lệnh Disallow trong tệp robots.txt. Nhiều quản trị viên web vô tình chặn toàn bộ các thư mục chứa tài nguyên hệ thống quan trọng. Ví dụ, trên nền tảng WordPress, việc chặn thư mục /wp-includes/ hoặc /wp-content/plugins/ sẽ ngăn Googlebot đọc các tệp giao diện cốt lõi. Đây là Nguyên nhân bị chặn CSS/JS phổ biến nhất đối với các website sử dụng mã nguồn mở, khiến giao diện render bị phá vỡ hoàn toàn.
Chặn truy cập từ phía máy chủ hoặc tường lửa
Đôi khi, hệ thống bảo mật của máy chủ (Firewall) hoặc các dịch vụ CDN như Cloudflare nhận diện nhầm Googlebot là lưu lượng truy cập độc hại và tiến hành chặn địa chỉ IP. Trong trường hợp này, máy chủ sẽ trả về mã lỗi 403 (Forbidden) hoặc 5xx, khiến bot không thể tải bất kỳ tài nguyên nào dù tệp robots.txt hoàn toàn bình thường.
Để giúp bạn dễ dàng phân loại và xử lý, dưới đây là bảng so sánh các loại tài nguyên bị chặn thường gặp:
|
Loại tài nguyên |
Nguồn gốc |
Mức độ ảnh hưởng SEO |
Hành động khuyến nghị |
|
CSS/JS giao diện chính |
Nội bộ (Internal) |
Rất nghiêm trọng |
Bắt buộc phải khắc phục ngay |
|
Hình ảnh sản phẩm/bài viết |
Nội bộ (Internal) |
Nghiêm trọng |
Cần mở khóa trong robots.txt |
|
Script theo dõi (Analytics, Pixel) |
Bên thứ ba (External) |
Không ảnh hưởng |
Có thể bỏ qua an toàn |
|
Nút chia sẻ mạng xã hội |
Bên thứ ba (External) |
Không ảnh hưởng |
Có thể bỏ qua an toàn |
Cách kiểm tra tài nguyên bị chặn bằng Google Search Console
Sử dụng công cụ Kiểm tra URL (URL Inspection) trong Google Search Console là phương pháp nhanh và chính xác nhất hiện nay để phát hiện lỗi tài nguyên bị chặn.
Sử dụng công cụ kiểm tra URL trực tiếp
Đầu tiên, bạn đăng nhập vào Google Search Console và nhập đường dẫn URL cần kiểm tra vào thanh tìm kiếm ở trên cùng. Sau khi hệ thống truy xuất dữ liệu ban đầu, hãy nhấn vào nút Kiểm tra URL trực tiếp (Test Live URL). Quá trình này mất khoảng 1-2 phút để Googlebot tiến hành render trang web theo thời gian thực. Khi hoàn tất, bạn có thể nhấp vào mục Xem trang đã kiểm tra (View tested page) để xem ảnh chụp màn hình giao diện mà Googlebot thực sự nhìn thấy.
Phân tích tab thông tin thêm để tìm tài nguyên lỗi
Trong bảng điều khiển bên phải của trang kết quả kiểm tra trực tiếp, hãy chuyển sang tab Thông tin thêm (More Info) và tìm đến mục Tài nguyên trang (Page resources). Tại đây, Google sẽ liệt kê chi tiết danh sách các tệp không thể tải được kèm theo lý do cụ thể. Nếu bạn thấy trạng thái Bị chặn bởi robots.txt (Blocked by robots.txt) nằm ở các tệp CSS hoặc JS thuộc tên miền của mình, đó chính là mục tiêu bạn cần xử lý.
Quy trình khắc phục lỗi tài nguyên bị chặn triệt để
Nguyên tắc cốt lõi để xử lý triệt để là cho phép Googlebot truy cập tất cả các tài nguyên nội bộ cần thiết để render trang thông qua lệnh Allow hoặc cấu hình whitelist.
Chỉnh sửa quy tắc trong tệp robots.txt
Khi đã xác định được thư mục hoặc tệp tin bị chặn, bạn cần mở tệp robots.txt ở thư mục gốc của website và bổ sung lệnh Allow để ghi đè lệnh Disallow trước đó.
Ví dụ, nếu bạn đang chặn toàn bộ thư mục wp-includes nhưng muốn mở khóa cho các tệp JavaScript và CSS bên trong, bạn có thể cấu hình như sau:
User-agent: *
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-includes/css/
Sau khi chỉnh sửa, hãy sử dụng công cụ Robots.txt Tester để kiểm tra lại cú pháp trước khi lưu chính thức. Đồng thời, việc cấu hình chuẩn cũng giúp bạn Xử lý URL gửi sitemap bị chặn bởi robots.txt một cách hiệu quả, đảm bảo luồng thu thập dữ liệu thông suốt từ sitemap đến từng trang chi tiết.
Cấu hình whitelist cho Googlebot trên máy chủ
Nếu tài nguyên không bị chặn bởi robots.txt mà do lỗi máy chủ, bạn cần kiểm tra lại nhật ký truy cập (server logs). Hãy đảm bảo rằng các plugin bảo mật trên website hoặc hệ thống tường lửa (như Cloudflare) đã đưa dải IP chính thức của Googlebot vào danh sách trắng (whitelist). Điều này giúp bot có thể thoải mái thu thập dữ liệu mà không bị chặn nhầm bởi các quy tắc chống DDoS hoặc chống spam.
Giải đáp thắc mắc về tài nguyên bị chặn trong SEO
Dưới đây là giải đáp cho những câu hỏi phổ biến nhất giúp bạn hiểu rõ hơn về cách xử lý các cảnh báo kỹ thuật trong Google Search Console.
Có cần phải khắc phục toàn bộ tài nguyên bị chặn không
Không. Bạn chỉ cần tập trung sửa các tài nguyên nội bộ quyết định đến việc hiển thị giao diện trang (như CSS, JS chính, ảnh sản phẩm). Các tài nguyên thuộc bên thứ ba như nút chia sẻ mạng xã hội, mã theo dõi quảng cáo bị chặn sẽ không ảnh hưởng đến SEO của bạn và có thể bỏ qua một cách an toàn.
Thời gian để Google cập nhật sau khi sửa lỗi tài nguyên bị chặn là bao lâu
Googlebot cần thời gian để thu thập lại dữ liệu các trang bị ảnh hưởng. Thông thường quá trình này mất từ vài ngày đến vài tuần tùy thuộc vào ngân sách thu thập thông tin của website. Bạn có thể đẩy nhanh tiến độ bằng cách sử dụng tính năng “Yêu cầu lập chỉ mục” (Request Indexing) trong Google Search Console.
Lỗi trang đã được lập chỉ mục mặc dù bị chặn bởi robots.txt là gì
Lỗi “Indexed, though blocked by robots.txt” có nghĩa là trang web của bạn đã được Google đưa vào cơ sở dữ liệu (thường do có liên kết từ bên ngoài trỏ về), nhưng Googlebot lại bị chặn không cho đọc nội dung trang do quy tắc trong file robots.txt. Đây là trạng thái không tối ưu vì Google không thể hiểu nội dung để xếp hạng chính xác.
Cách kiểm tra nội dung file robots.txt nhanh nhất
Bạn chỉ cần thêm đuôi /robots.txt vào sau tên miền của mình trên thanh địa chỉ trình duyệt (ví dụ: domain.com/robots.txt) để xem trực tiếp nội dung file. Ngoài ra, bạn cũng có thể sử dụng công cụ Robots.txt Tester tích hợp sẵn trong Google Search Console.
Nguyên nhân Googlebot báo lỗi Other error khi tải tài nguyên
Lỗi “Other error” thường xảy ra khi Googlebot chủ động bỏ qua việc tải tài nguyên do máy chủ của bạn phản hồi quá chậm, hoặc trang web có quá nhiều tài nguyên vượt quá ngân sách thu thập thông tin tại thời điểm đó, chứ không phải do bị chặn bởi tệp robots.txt.
Nếu bạn đã thử các phương pháp trên nhưng vẫn gặp khó khăn trong việc tối ưu hóa robots.txt hoặc xử lý các lỗi lập chỉ mục phức tạp, hãy liên hệ với đội ngũ chuyên gia của V4SEO để được hỗ trợ kiểm tra website toàn diện và đưa ra giải pháp Technical SEO chuyên sâu nhất.
