Khi quản trị website và theo dõi hiệu suất trên Google Search Console (GSC), việc bắt gặp thông báo lỗi thường khiến nhiều người lo lắng, đặc biệt là khi các bài viết mới xuất bản mãi không xuất hiện trên kết quả tìm kiếm. Một trong những trạng thái phổ biến nhất gây ra sự bối rối này chính là thông báo URL đã được phát hiện nhưng chưa được lập chỉ mục. Thực tế, đây không phải là một hình phạt hay lỗi kỹ thuật nghiêm trọng, mà chỉ là một phần trong quy trình xử lý dữ liệu tự động của công cụ tìm kiếm.
Khái niệm Discovered currently not indexed là gì
Discovered – currently not indexed (Đã phát hiện – hiện chưa được lập chỉ mục) là trạng thái trong Google Search Console cho biết Google đã biết đến sự tồn tại của URL nhưng chưa thực hiện thu thập dữ liệu (crawl). Do chưa được crawl, trang này hoàn toàn chưa được đánh giá nội dung và chưa thể xuất hiện trên kết quả tìm kiếm.
Trạng thái này giống như việc bạn đã nộp hồ sơ xin việc và được nhà tuyển dụng đưa vào danh sách chờ, nhưng họ chưa có thời gian để đọc chi tiết hồ sơ của bạn. Googlebot đã tìm thấy đường dẫn thông qua sitemap hoặc các liên kết nội bộ, nhưng quyết định trì hoãn việc tải mã nguồn trang do giới hạn về tài nguyên hệ thống hoặc do đánh giá mức độ ưu tiên chưa cao.
Bên cạnh việc khai báo sitemap, việc ứng dụng dữ liệu có cấu trúc (ví dụ như tìm hiểu Ý nghĩa của thuộc tính sameAs trong Schema Markup) cũng giúp Google hiểu rõ hơn về thực thể website, từ đó hỗ trợ hệ thống phân loại và sắp xếp thứ tự ưu tiên thu thập dữ liệu hiệu quả hơn.
Quy trình xử lý URL của Googlebot
Để hiểu rõ tại sao URL lại bị kẹt ở trạng thái này, chúng ta cần nắm vững ba giai đoạn độc lập mà Googlebot thực hiện trước khi một trang xuất hiện trên SERP:
- Giai đoạn phát hiện (Discovery): Google tìm thấy URL mới thông qua sitemap XML, RSS feed hoặc các liên kết từ những trang đã được lập chỉ mục trước đó.
- Giai đoạn thu thập dữ liệu (Crawling): Googlebot truy cập vào URL, tải mã nguồn HTML, CSS, JavaScript và các tài nguyên liên quan về máy chủ của họ để phân tích.
- Giai đoạn lập chỉ mục (Indexing): Hệ thống phân tích nội dung, đánh giá chất lượng, xác định ngữ cảnh và lưu trữ trang vào cơ sở dữ liệu (Index) để sẵn sàng hiển thị cho người dùng.
Trạng thái Discovered nằm ngay giữa giai đoạn 1 và giai đoạn 2, nghĩa là tiến trình đã bị tạm dừng trước khi Googlebot thực sự đọc nội dung trang.
Phân biệt Discovered và Crawled currently not indexed
Sự khác biệt cốt lõi nằm ở việc Googlebot đã tải nội dung trang về máy chủ của họ hay chưa. Nếu như Discovered báo hiệu Google chưa hề đọc nội dung, thì Crawled lại cho biết Google đã đọc xong nhưng quyết định không đưa vào chỉ mục.
Nhiều quản trị viên web thường nhầm lẫn giữa hai khái niệm này dẫn đến việc áp dụng sai phương pháp khắc phục. Ví dụ, nếu trang đang ở trạng thái Discovered, việc bạn cố gắng viết lại nội dung cho hay hơn sẽ không có tác dụng ngay lập tức, vì Google vốn dĩ chưa hề đọc phiên bản cũ. Để hiểu rõ hơn, bạn có thể xem thêm cách Phân biệt trạng thái Crawled – currently not indexed để có cái nhìn tổng quan nhất.
Bảng đối chiếu chi tiết giữa hai trạng thái
Bảng dưới đây giúp phân biệt nhanh hai trạng thái dựa trên các tiêu chí kỹ thuật cốt lõi:
|
Tiêu chí |
Discovered – currently not indexed |
Crawled – currently not indexed |
|
Hành vi của Googlebot |
Chỉ mới biết URL, chưa tải mã nguồn trang. |
Đã truy cập và tải toàn bộ nội dung trang. |
|
Đánh giá nội dung |
Chưa có bất kỳ đánh giá nào về nội dung. |
Đã đánh giá nhưng thấy nội dung chưa đủ tốt hoặc bị trùng lặp. |
|
Nguyên nhân chính |
Quá tải máy chủ, thiếu liên kết nội bộ, cạn kiệt ngân sách thu thập dữ liệu. |
Nội dung mỏng (thin content), trùng lặp (duplicate), hoặc thiếu giá trị (low quality). |
|
Hướng khắc phục |
Tối ưu cấu trúc liên kết, cải thiện tốc độ máy chủ, dọn dẹp URL rác. |
Cải thiện chất lượng bài viết, gộp nội dung, sử dụng thẻ canonical. |
Nguyên nhân phổ biến khiến URL rơi vào trạng thái Discovered
Google trì hoãn crawl chủ yếu do hạn chế về tài nguyên hệ thống hoặc do website chưa tối ưu hóa đường dẫn cho Googlebot. Khi đối mặt với hàng tỷ trang web mới mỗi ngày, Google buộc phải sử dụng các thuật toán phán đoán để quyết định xem URL nào đáng để dành tài nguyên thu thập dữ liệu trước.
Việc dọn dẹp các URL lỗi, chẳng hạn như tìm hiểu Cách xử lý lỗi Submitted URL not found 404, sẽ giúp tránh lãng phí ngân sách thu thập dữ liệu, tạo điều kiện cho Googlebot tập trung vào các trang quan trọng hơn.
Hạn chế về ngân sách thu thập dữ liệu Crawl Budget
Crawl Budget (Ngân sách thu thập dữ liệu) là giới hạn số lượng URL mà Googlebot sẽ quét trên một website trong một khoảng thời gian nhất định. Giới hạn này được tính toán dựa trên sức mạnh của máy chủ và mức độ phổ biến của website.
Đối với các website lớn như thương mại điện tử hoặc trang tin tức, sự xuất hiện của hàng ngàn trang lọc (faceted navigation), trang tag hoặc URL chứa tham số có thể làm cạn kiệt Crawl Budget. Khi ngân sách này hết, các bài viết mới xuất bản sẽ bị đẩy vào hàng đợi và nhận trạng thái Discovered.
Sự xuất hiện của các trang mồ côi Orphan Page
Orphan Page là những trang không nhận được bất kỳ liên kết nội bộ nào từ các trang khác trên cùng website. Mặc dù bạn đã khai báo URL này trong sitemap, nhưng nếu thiếu liên kết nội bộ, Googlebot sẽ đánh giá đây là một trang kém quan trọng.
Googlebot sử dụng số lượng và chất lượng của các liên kết trỏ đến một trang để định vị mức độ ưu tiên. Một bài viết nằm sâu trong cấu trúc thư mục, không có ai trỏ link tới sẽ rất khó để kích hoạt tiến trình crawl tự nhiên.
Quy trình khắc phục trạng thái Discovered currently not indexed
Để khắc phục, bạn cần tối ưu hóa đồng thời cả cấu trúc kỹ thuật của website và chất lượng nội dung tổng thể. Việc chỉ bấm nút yêu cầu lập chỉ mục thủ công sẽ không giải quyết được gốc rễ vấn đề nếu hệ thống vẫn tồn tại các điểm nghẽn kỹ thuật.
Tối ưu hóa cấu trúc liên kết nội bộ và độ sâu click
Đảm bảo mọi trang quan trọng đều có thể truy cập được trong vòng tối đa 3 lượt click từ trang chủ. Độ sâu click (Click Depth) càng lớn, khả năng Googlebot bỏ qua trang càng cao.
Bạn nên xây dựng cấu trúc website theo mô hình Silo hoặc Topic Cluster vững chắc. Hãy chủ động đặt liên kết nội bộ từ các bài viết cũ đã có traffic ổn định trỏ về bài viết mới. Ngoài ra, việc tạo một HTML Sitemap dành cho người dùng cũng là một giải pháp kỹ thuật tốt để làm phẳng cấu trúc website, giúp bot tìm kiếm quét qua các danh mục dễ dàng hơn.
Kiểm tra hiệu suất và cấu hình máy chủ
Đảm bảo máy chủ luôn sẵn sàng phản hồi Googlebot nhanh chóng mà không bị quá tải. Nếu máy chủ phản hồi quá chậm, Googlebot sẽ tự động giảm tần suất thu thập dữ liệu để tránh làm sập website của bạn.
Bạn có thể theo dõi chỉ số Crawl Stats (Chỉ số thu thập dữ liệu) trong Google Search Console để xem thời gian phản hồi trung bình. Khuyến nghị thời gian phản hồi máy chủ (TTFB) nên được duy trì dưới 600ms, và lý tưởng nhất là dưới 200ms. Hãy cân nhắc nâng cấp hosting, sử dụng CDN hoặc tối ưu hóa bộ nhớ đệm (cache) nếu phát hiện máy chủ thường xuyên bị nghẽn.
Khi nào bạn thực sự cần lo lắng về trạng thái này
Mức độ nghiêm trọng của trạng thái này phụ thuộc hoàn toàn vào quy mô website và tầm quan trọng của các URL bị ảnh hưởng. Không phải mọi URL bị báo lỗi đều cần bạn phải can thiệp ngay lập tức.
Đối với các website nhỏ (dưới 10.000 trang), trạng thái này thường tự biến mất sau vài ngày hoặc vài tuần khi Googlebot hoàn thành lịch trình quét tự nhiên. Tuy nhiên, đối với các website lớn, bạn cần can thiệp ngay nếu các trang sản phẩm chủ lực, bài viết mang lại chuyển đổi cao bị kẹt quá lâu. Nếu tỷ lệ URL bị Discovered chiếm hơn 20% tổng số trang quan trọng, đó là dấu hiệu cảnh báo cấu trúc website đang gặp vấn đề nghiêm trọng về điều hướng bot.
Câu hỏi thường gặp
Mất bao lâu để Google thu thập dữ liệu các trang đang chờ xử lý
Không có một mốc thời gian cố định nào cho tiến trình này. Tùy thuộc vào độ uy tín của domain (Domain Authority), cấu trúc liên kết nội bộ và hiệu suất máy chủ, thời gian chờ có thể dao động từ vài ngày đến vài tuần. Việc tối ưu hóa tốt sẽ giúp rút ngắn đáng kể khoảng thời gian này.
Có nên lạm dụng tính năng Yêu cầu lập chỉ mục thủ công
Không nên. Việc bấm nút “Yêu cầu lập chỉ mục” (Request Indexing) liên tục không giúp đẩy nhanh tiến trình mà còn có thể khiến tài khoản của bạn bị Google giới hạn lượt yêu cầu hàng ngày. Nút này chỉ mang tính chất gửi tín hiệu ưu tiên nhẹ, không phải là lệnh ép buộc hệ thống.
Tại sao website mới thường xuyên gặp trạng thái này
Các website mới lập thường chưa tích lũy đủ độ uy tín và hệ thống liên kết nội bộ chưa đủ mạnh. Do đó, Googlebot sẽ không ưu tiên phân bổ nhiều tài nguyên crawl ngay lập tức. Bạn cần kiên trì xây dựng nội dung chất lượng và cấu trúc link vững chắc theo thời gian.
Có nên sử dụng các công cụ ép index từ bên thứ ba
Hầu hết các công cụ ép index bên ngoài sử dụng API hoặc các thủ thuật tạm thời để thu hút bot. Về lâu dài, nếu nội dung và cấu trúc website không thực sự chất lượng, Google vẫn sẽ de-index (xóa khỏi chỉ mục) trang đó. Lời khuyên tốt nhất là hãy tập trung vào tối ưu hóa tự nhiên và an toàn.
Cách kiểm tra hoạt động của Googlebot trên website
Bạn có thể sử dụng báo cáo Crawl Stats (Chỉ số thu thập dữ liệu) nằm trong phần Cài đặt của Google Search Console. Báo cáo này cung cấp chi tiết về tần suất, số lượng yêu cầu từ Googlebot và mã phản hồi của máy chủ, giúp bạn chẩn đoán chính xác tình trạng sức khỏe kỹ thuật của website.
Nếu bạn đã áp dụng các phương pháp trên nhưng tình trạng lập chỉ mục vẫn không được cải thiện, hãy liên hệ với đội ngũ chuyên gia V4SEO. Chúng tôi sẵn sàng hỗ trợ bạn audit kỹ thuật chuyên sâu, gỡ rối các vấn đề về cấu trúc và giúp website phát triển bền vững trên công cụ tìm kiếm.
