Obalanie 3 popularnych mitów związanych z indeksowaniem witryn, indeksowaniem i mapami witryn XML

Wielu z nas błędnie wierzy, że uruchomienie witryny wyposażonej w mapę witryny XML spowoduje automatyczne zindeksowanie i indeksowanie wszystkich jej stron.

W związku z tym narastają pewne mity i nieporozumienia. Najczęstsze z nich to:

• Google automatycznie indeksuje wszystkie witryny i robi to szybko.
• Podczas indeksowania witryny Google śledzi wszystkie linki i odwiedza wszystkie jej strony i od razu umieszcza je w Indeksie.
• Dodanie mapy witryny XML to najlepszy sposób na zindeksowanie i zindeksowanie wszystkich stron witryny.

Niestety umieszczenie Twojej witryny w indeksie Google jest nieco bardziej skomplikowanym zadaniem. Czytaj dalej, aby lepiej zrozumieć, jak działa proces indeksowania i indeksowania oraz jaką rolę odgrywa w nim mapa witryny XML.

Zanim przejdziemy do obalania powyższych mitów, poznajmy kilka podstawowych pojęć SEO:

Indeksowanie to działanie realizowane przez wyszukiwarki w celu śledzenia i gromadzenia adresów URL z całej sieci.

Indeksowanie to proces następujący po indeksowaniu. Zasadniczo chodzi o analizowanie i przechowywanie danych internetowych, które są później wykorzystywane podczas udostępniania wyników zapytań wyszukiwarek. Indeks wyszukiwarki to miejsce, w którym wszystkie zebrane dane z sieci są przechowywane do dalszego wykorzystania.

Indeks indeksowania to wartość, którą Google przypisuje Twojej witrynie i jej stronom. Nadal nie wiadomo, w jaki sposób wyszukiwarka oblicza te dane. Google wielokrotnie potwierdzało, że częstotliwość indeksowania nie jest związana z rankingiem, więc nie ma bezpośredniej korelacji między autorytetem rankingu witryn internetowych a jego rankingiem indeksowania.

Witryny z wiadomościami, witryny z wartościową treścią i witryny aktualizowane regularnie mają większe szanse na regularne indeksowanie.

Budżet indeksowania to ilość zasobów indeksowania, które wyszukiwarka przydziela do witryny. Zwykle Google oblicza tę kwotę na podstawie rankingu indeksowania Twojej witryny.

Crawl Depth to stopień, w jakim Google analizuje witrynę podczas jej przeglądania.

Crawl Priority to liczba porządkowa przypisana do strony witryny, która oznacza jej znaczenie w odniesieniu do indeksowania.

Teraz, znając wszystkie podstawy tego procesu, pokonajmy te 3 mity dotyczące map witryn XML, indeksowania i indeksowania!

Mit 1. Google automatycznie indeksuje wszystkie witryny i robi to szybko.

Google twierdzi, że jeśli chodzi o zbieranie danych internetowych, jest zwinny i elastyczny.

Ale prawdę mówiąc, ponieważ w tej chwili w sieci są biliony stron, technicznie rzecz biorąc, wyszukiwarka nie może ich wszystkich szybko przeszukać.

Wybieranie witryn do przydzielenia budżetu na indeksowanie

Inteligentny algorytm Google (aka Crawl Budget) rozdziela zasoby wyszukiwarki i decyduje, które witryny warto zaindeksować, a które nie.

Zazwyczaj Google nadaje priorytet zaufanym witrynom, które odpowiadają ustalonym wymaganiom i służą jako podstawa do definiowania wyników innych witryn.

Jeśli więc masz witrynę „po prostu wyjętą z piekarnika” lub witrynę ze zdrapaną, zduplikowaną lub ubogą treścią, szanse na to, że zostanie ona prawidłowo zindeksowana, są dość małe.

Ważnymi czynnikami, które mogą również wpływać na przydzielanie budżetu na indeksowanie, są:

• rozmiar strony internetowej,
• jego ogólny stan (ten zestaw wskaźników zależy od liczby błędów, które możesz mieć na każdej stronie),
• oraz liczbę linków przychodzących i wewnętrznych.

Aby zwiększyć swoje szanse na uzyskanie budżetu na indeksowanie, upewnij się, że Twoja witryna spełnia wszystkie wymienione powyżej wymagania Google, a także zoptymalizuj jej wydajność indeksowania (patrz następna sekcja w artykule).

Przewidywanie harmonogramu indeksowania

Google nie ogłasza swoich planów indeksowania internetowych adresów URL. Trudno też odgadnąć, z jaką częstotliwością wyszukiwarka odwiedza niektóre witryny.

Może się zdarzyć, że w przypadku jednej witryny może ona wykonywać indeksowanie co najmniej raz dziennie, podczas gdy inne są odwiedzane raz w miesiącu lub nawet rzadziej.

• Częstotliwość indeksowania zależy od:
• jakość zawartości serwisu,
• nowość i aktualność informacji dostarczanych przez stronę internetową,
• oraz o tym, jak ważne lub popularne są według wyszukiwarki adresy URL witryn.

Biorąc pod uwagę te czynniki, możesz spróbować przewidzieć, jak często Google może odwiedzać Twoją witrynę.

Rola linków zewnętrznych/wewnętrznych i map witryn XML

Jako ścieżki Googleboty wykorzystują linki, które łączą ze sobą strony witryny i witrynę. W ten sposób wyszukiwarka dociera do bilionów połączonych ze sobą stron, które istnieją w sieci.

Wyszukiwarka może rozpocząć skanowanie Twojej witryny z dowolnej strony, niekoniecznie z domowej. Wybór punktu wejścia do indeksowania zależy od źródła łącza przychodzącego. Załóżmy, że niektóre strony Twoich produktów zawierają wiele linków pochodzących z różnych witryn. Google w pierwszej kolejności łączy kropki i odwiedza takie popularne strony.

Mapa witryny XML to świetne narzędzie do budowania przemyślanej struktury witryny. Ponadto może sprawić, że proces indeksowania witryny będzie bardziej ukierunkowany i inteligentny.

Zasadniczo mapa witryny jest centrum ze wszystkimi linkami do witryn. Każdy zawarty w nim link może być wyposażony w dodatkowe informacje: datę ostatniej aktualizacji, częstotliwość aktualizacji, jego związek z innymi adresami URL na stronie itp.

Wszystko to zapewnia Googlebotom szczegółową mapę drogową indeksowania witryny i sprawia, że ​​indeksowanie jest bardziej świadome. Ponadto wszystkie główne wyszukiwarki nadają priorytet adresom URL wymienionym w mapie witryny.

Podsumowując, aby umieścić strony swojej witryny na radarze Googlebota, musisz zbudować witrynę z doskonałą zawartością i zoptymalizować jej wewnętrzną strukturę linków.

Na wynos

• Google nie indeksuje automatycznie wszystkich Twoich witryn.
• Częstotliwość indeksowania witryny zależy od tego, jak ważna i popularna jest witryna i jej strony.
• Aktualizacja treści sprawia, że ​​Google częściej odwiedza witrynę.
• Witryny, które nie spełniają wymagań wyszukiwarek, prawdopodobnie nie zostaną poprawnie zaindeksowane.
• Witryny i strony witryn, które nie mają wewnętrznych/zewnętrznych linków, są zwykle ignorowane przez boty wyszukiwarek.
• Dodanie mapy witryny XML może usprawnić proces indeksowania witryny i uczynić ją bardziej inteligentną.

Mit 2. Dodanie mapy witryny XML to najlepszy sposób na zindeksowanie i zindeksowanie wszystkich stron witryny.

Każdy właściciel witryny chce, aby Googlebot odwiedzał wszystkie ważne strony witryny (z wyjątkiem tych ukrytych przed indeksacją), a także błyskawicznie przeglądał nowe i zaktualizowane treści.

Wyszukiwarka ma jednak własną wizję priorytetów indeksowania witryny.

Jeśli chodzi o sprawdzanie strony internetowej i jej zawartości, Google stosuje zestaw algorytmów nazywany budżetem indeksowania. Zasadniczo pozwala wyszukiwarce na skanowanie stron witryny, jednocześnie umiejętnie korzystając z własnych zasobów.

Sprawdzanie budżetu indeksowania witryny

Łatwo jest dowiedzieć się, w jaki sposób witryna jest indeksowana i czy występują problemy z budżetem indeksowania.

Wystarczy:

• policz liczbę stron w Twojej witrynie i w mapie witryny XML,
• odwiedź Google Search Console, przejdź do sekcji Indeksowanie -> Statystyki indeksowania i sprawdź, ile stron jest indeksowanych w Twojej witrynie dziennie,
• podziel łączną liczbę stron witryny przez liczbę stron indeksowanych dziennie.

Jeśli uzyskana liczba jest większa niż 10 (w Twojej witrynie jest 10 razy więcej stron niż indeksowana codziennie przez Google), mamy dla Ciebie złą wiadomość: Twoja witryna ma problemy z indeksowaniem.

Ale zanim nauczysz się je naprawiać, musisz zrozumieć inne pojęcie, czyli…

Głębokość indeksowania

Głębokość indeksowania to stopień, w jakim Google eksploruje witrynę do pewnego poziomu.

Zasadniczo strona główna jest uważana za poziom 1, strona oddalona o 1 kliknięcie jest na poziomie 2 itd.

Strony głębokiego poziomu mają niższy PageRank (lub nie mają go wcale) i są mniej prawdopodobne, że zostaną zaindeksowane przez Googlebota. Zazwyczaj wyszukiwarka nie sięga głębiej niż poziom 4.

W idealnym scenariuszu konkretna strona powinna znajdować się w odległości 1-4 kliknięć od strony głównej lub głównych kategorii witryn. Im dłuższa jest ścieżka do tej strony, tym więcej zasobów muszą przeznaczyć wyszukiwarki, aby do niej dotrzeć.

Jeśli jesteś na stronie internetowej, Google szacuje, że ścieżka jest zbyt długa, przestaje się dalej indeksować.

Optymalizacja głębokości indeksowania i budżetu

Aby zapobiec spowolnieniu Googlebota, zoptymalizuj budżet i głębokość indeksowania witryny, musisz:

• napraw wszystkie błędy 404, JS i inne strony;

Nadmierna liczba błędów strony może znacznie spowolnić działanie robota Google. Aby znaleźć wszystkie główne błędy witryny, zaloguj się do panelu Narzędzi dla webmasterów Google (Bing, Yandex) i postępuj zgodnie ze wszystkimi instrukcjami podanymi tutaj.

• optymalizować paginację;

W przypadku, gdy masz zbyt długie listy stronicowania lub Twój schemat stronicowania nie pozwala na kliknięcie dalej niż kilka stron w dół listy, robot wyszukiwarki prawdopodobnie przestanie kopać taki stos stron.

Ponadto, jeśli na takiej stronie jest niewiele elementów, można ją uznać za ubogą w treść i nie będzie ona indeksowana.

• sprawdź filtry nawigacyjne;

Niektóre schematy nawigacji mogą zawierać wiele filtrów, które generują nowe strony (np. strony filtrowane według nawigacji warstwowej). Chociaż takie strony mogą mieć potencjał ruchu organicznego, mogą również powodować niechciane obciążenie robotów wyszukiwarek.

Najlepszym sposobem na rozwiązanie tego problemu jest ograniczenie systematycznych linków do przefiltrowanych list. Idealnie powinieneś używać maksymalnie 1-2 filtrów. Np. jeśli masz sklep z 3 filtrami LN (kolor/rozmiar/płeć), powinieneś pozwolić na systematyczne łączenie tylko 2 filtrów (np. kolor-rozmiar, płeć-rozmiar). Jeśli chcesz dodać kombinacje większej liczby filtrów, powinieneś ręcznie dodać do nich linki.

• Optymalizuj parametry śledzenia w adresach URL;

Różne parametry śledzenia adresów URL (np. „?source=thispage”) mogą tworzyć pułapki dla robotów, ponieważ generują ogromną liczbę nowych adresów URL. Ten problem jest typowy dla stron z blokami „podobnych produktów” lub „powiązanych historii”, gdzie te parametry są wykorzystywane do śledzenia zachowania użytkowników.

Aby zoptymalizować wydajność indeksowania w tym przypadku, zaleca się przesyłanie informacji o śledzeniu za znakiem „#” na końcu adresu URL. W ten sposób taki adres URL pozostanie niezmieniony. Dodatkowo możliwe jest również przekierowanie adresów URL z parametrami śledzenia do tych samych adresów URL, ale bez śledzenia.

• usuń nadmierne przekierowania 301;

Załóżmy, że masz dużą część adresów URL, do których prowadzą linki bez końcowego ukośnika. Gdy bot wyszukiwarki odwiedza takie strony, zostaje przekierowany do wersji z ukośnikiem.

W ten sposób bot musi zrobić dwa razy więcej niż powinien, a w końcu może się poddać i przestać się czołgać. Aby tego uniknąć, po prostu spróbuj zaktualizować wszystkie linki w swojej witrynie za każdym razem, gdy zmienisz adresy URL.

Priorytet indeksowania

Jak wspomniano powyżej, Google nadaje priorytet witrynom do indeksowania. Nic więc dziwnego, że to samo dzieje się ze stronami w zindeksowanej witrynie.

W przypadku większości witryn stroną o najwyższym priorytecie indeksowania jest strona główna.

Jednak, jak wspomniano wcześniej, w niektórych przypadkach może to być również najpopularniejsza kategoria lub najczęściej odwiedzana strona produktu. Aby znaleźć strony, które są indeksowane przez Googlebota, wystarczy spojrzeć na dzienniki serwera.

Chociaż Google nie ogłasza oficjalnie, że czynniki, które mogą prawdopodobnie wpłynąć na priorytet indeksowania strony witryny, to:

• włączenie do mapy witryny XML (oraz dodanie tagów Priority* dla najważniejszych stron),
• liczba linków przychodzących,
• liczba linków wewnętrznych,
• popularność strony (liczba wizyt),
• PageRank.

Ale nawet po oczyszczeniu drogi dla robotów wyszukiwarek do indeksowania Twojej witryny, nadal mogą to zignorować. Czytaj dalej, aby dowiedzieć się dlaczego.

Aby lepiej zrozumieć priorytet indeksowania, obejrzyj ten wirtualny przemówienie Gary'ego Illyesa.

Mówiąc o tagach Priority w mapie witryny XML, można je dodać ręcznie lub za pomocą wbudowanej funkcjonalności platformy, na której opiera się Twoja witryna. Ponadto niektóre platformy obsługują rozszerzenia/aplikacje XML stron trzecich, które upraszczają ten proces.
Za pomocą tagu Priorytet mapy witryny XML możesz przypisać następujące wartości do różnych kategorii stron witryny:

• 0.0-0,3 do stron użytkowych, nieaktualnych treści i wszelkich stron o mniejszym znaczeniu,
• 0.4-0.7 do artykułów na blogu, często zadawanych pytań i stron z wiedzą, stron kategorii i podkategorii o drugorzędnym znaczeniu oraz
• 0,8-1,0 do głównych kategorii witryn, kluczowych stron docelowych i strony głównej.

Na wynos

• Google ma własną wizję priorytetów procesu indeksowania.
• Strona, która ma znaleźć się w indeksie wyszukiwarki, powinna znajdować się w odległości 1-4 kliknięć od strony głównej, głównych kategorii witryn lub najpopularniejszych stron witryn.
• Aby zapobiec spowolnieniu przez Googlebota i zoptymalizowaniu budżetu indeksowania witryny i głębokości indeksowania, należy znaleźć i naprawić błędy 404, JS i inne strony, zoptymalizować paginację witryny i filtry nawigacyjne, usunąć nadmierne przekierowania 301 i zoptymalizować parametry śledzenia w adresach URL.
• Aby zwiększyć priorytet indeksowania ważnych stron witryny, upewnij się, że są one zawarte w mapie witryny XML (z tagami Priority) i są dobrze połączone z innymi stronami witryny, mają linki pochodzące z innych odpowiednich i wiarygodnych witryn.

Mit 3. Mapa witryny XML może rozwiązać wszystkie problemy z indeksowaniem i indeksacją.

Będąc dobrym narzędziem komunikacyjnym, które ostrzega Google o adresach URL Twojej witryny i sposobach dotarcia do nich, mapa witryny XML NIE daje ŻADNEJ gwarancji, że Twoja witryna zostanie odwiedzona przez boty wyszukiwarek (nie mówiąc już o włączeniu wszystkich stron witryny do indeksu) .

Należy również zrozumieć, że mapy witryn nie pomogą poprawić rankingu witryny. Nawet jeśli strona zostanie zaindeksowana i uwzględniona w indeksie wyszukiwarki, jej wydajność w rankingu zależy od mnóstwa innych czynników (linki wewnętrzne i zewnętrzne, treść, jakość witryny itp.).

Jednak prawidłowo używana mapa witryny XML może znacznie poprawić wydajność indeksowania witryny. Poniżej kilka porad, jak zmaksymalizować potencjał SEO tego narzędzia.

Bądź konsekwentny

Tworząc mapę witryny, pamiętaj, że będzie ona używana jako mapa drogowa dla robotów Google. Dlatego ważne jest, aby nie wprowadzać wyszukiwarki w błąd, podając niewłaściwe wskazówki.

Na przykład możesz od czasu do czasu dołączyć do mapy witryny XML niektóre strony narzędziowe (strony Skontaktuj się z nami lub TOS, strony do logowania, strony przywracania utraconego hasła, strony do udostępniania treści itp.).

Te strony są zwykle ukryte przed indeksacją za pomocą metatagów noindex robots lub niedozwolone w pliku robots.txt.

Włączenie ich do mapy witryny XML tylko zdezorientuje Googleboty, co może negatywnie wpłynąć na proces zbierania informacji o Twojej witrynie.

Aktualizuj regularnie

Większość witryn internetowych zmienia się niemal każdego dnia. Zwłaszcza strona eCommerce z produktami i kategoriami regularnie tasującymi się na stronie i poza nią.

Aby Google był dobrze poinformowany, musisz dbać o aktualność mapy witryny XML.

Niektóre platformy (Magento, Shopify) mają wbudowaną funkcję, która pozwala okresowo aktualizować mapy witryn XML, lub obsługują niektóre rozwiązania innych firm, które są w stanie wykonać to zadanie.

Na przykład w Magento 2 możesz określić cykliczność cykli aktualizacji mapy witryny. Gdy zdefiniujesz to w ustawieniach konfiguracyjnych platformy, sygnalizujesz robotowi indeksującemu, że strony Twojej witryny są aktualizowane w określonych odstępach czasu (co godzinę, co tydzień, co miesiąc), a Twoja witryna wymaga kolejnego indeksowania.

Kliknij tutaj, aby dowiedzieć się więcej na ten temat.

Pamiętaj jednak, że chociaż ustawienie priorytetu i częstotliwości aktualizacji map witryn pomaga, mogą one nie nadążać za rzeczywistymi zmianami i czasami nie dawać prawdziwego obrazu.

Dlatego upewnij się, że mapa witryny odzwierciedla wszystkie ostatnio wprowadzone zmiany.

Segmentuj zawartość witryny i ustaw odpowiednie priorytety indeksowania

Google ciężko pracuje, aby zmierzyć ogólną jakość witryny i wyświetlać tylko najlepsze i najtrafniejsze witryny.

Ale jak to często bywa, nie wszystkie strony są sobie równe i mogą dostarczać rzeczywistą wartość.

Powiedzmy, że strona internetowa może składać się z 1000 stron, a tylko 50 z nich ma ocenę „A”. Pozostałe są albo czysto funkcjonalne, mają przestarzałą treść, albo w ogóle nie zawierają treści.

Jeśli Google zacznie eksplorować taką stronę, prawdopodobnie uzna, że ​​jest ona dość tandetna ze względu na wysoki odsetek stron o niskiej wartości, spamerskich lub nieaktualnych.

Dlatego podczas tworzenia mapy witryny XML zaleca się segmentację treści witryny i kierowanie robotów wyszukiwarek tylko do odpowiednich obszarów witryny.

Jak zapewne pamiętasz, bardzo pomocne mogą być również tagi Priority przypisane do najważniejszych stron witryny w mapie witryny XML.

Na wynos

• Podczas tworzenia mapy witryny upewnij się, że nie uwzględniasz stron ukrytych przed indeksacją z metatagami noindex robots lub niedozwolonych w pliku robots.txt.
• Aktualizuj mapy witryn XML (ręcznie lub automatycznie) zaraz po dokonaniu zmian w strukturze i treści witryny.
• Posegmentuj zawartość witryny, aby uwzględnić w mapie witryny tylko strony z oceną „A”.
• Ustaw priorytet indeksowania dla różnych typów stron.

To w zasadzie to.

Masz coś do powiedzenia na ten temat? Podziel się swoją opinią na temat indeksowania, indeksowania lub map witryn w sekcji komentarzy poniżej.