Zacznij od kryteriów decyzji po redesignie
Ocena redesignu ma sens tylko wtedy, gdy najpierw określisz, jaką decyzję chcesz podjąć. Zadaj jedno proste pytanie: czy nowa wersja sprawiła, że produkt jest łatwiejszy w użyciu, trudniejszy w użyciu, czy po prostu inny? To właśnie pierwszy krok, gdy chcesz wiedzieć, jak ocenić redesign strony.
Brzmi banalnie, ale oszczędza godziny pracy. Jeśli strona główna dostała nowy układ, nową nawigację i nowy proces rejestracji, nie chcesz traktować każdej liczby z panelu tak samo. Wybierz 2 lub 3 najważniejsze efekty tej zmiany, a potem zdecyduj, które liczby są sygnałem, a które szumem.
W przypadku redesignu checkoutu sygnałem mogą być współczynnik ukończenia, odpływ na poszczególnych krokach i liczba błędów. W serwisie treściowym sygnałem może być głębokość czytania artykułów, kliknięcia wewnętrzne i powroty użytkowników. Zmiana wizualna wymaga innego podejścia niż zmiana przepływu pracy, a panel powinien to odzwierciedlać.
Dobrym nawykiem jest zapisanie kryteriów decyzji jeszcze przed wdrożeniem. Na przykład: „Jeśli ukończenia na mobile spadną o więcej niż ustalony próg, redesign wymaga kolejnej iteracji”. To daje Ci próg zamiast przeczucia, co jest bardzo pomocne, gdy zespół zaczyna spierać się o gust.
Ludzie często pytają, jakie liczby z panelu Astrina warto śledzić po redesignie, a najlepsza odpowiedź brzmi nie „wszystkie”. To te liczby, które odpowiadają zachowaniom, które redesign miał zmienić.
Wybierz właściwe okno porównania i zestaw stron
Porównuj te same szablony stron lub ścieżki przed wdrożeniem i po nim. Jeśli zestawisz nową stronę główną ze starą stroną produktu, wynik będzie bezwartościowy. Zestaw stron musi odpowiadać zakresowi redesignu.
Wybierz też stabilne okno czasowe. Pierwszy dzień po wdrożeniu może być chaotyczny przez efekt cache, powracających użytkowników, udostępnienia linków i testy wykonywane przez zespół. Okno 7- lub 14-dniowe często sprawdza się lepiej niż pojedynczy poranek, ale właściwy zakres zależy od ruchu i harmonogramu wdrożeń.
Jeśli to możliwe, dopasuj okresy przed i po wdrożeniu do tych samych dni tygodnia. Zachowanie w poniedziałek nie jest takie samo jak w sobotę. Sklep może widzieć weekendowy skok ruchu; produkt B2B już niekoniecznie. Jeśli porównasz złe dni, panel pokaże fałszywy obraz.
Zwracaj uwagę na przesunięcia w definicjach metryk. Jeśli podczas redesignu zmieniono nazwę zdarzenia, otagowanie albo jego miejsce, odnotuj to, zanim porównasz je ze starą wersją. Wykres, który wygląda poprawnie, nadal może mierzyć coś innego.
Używaj tych samych jednostek i tego samego zakresu. Jeśli Astrina pokazuje liczby na poziomie strony, nie mieszaj ich z danymi na poziomie sesji i nie ogłaszaj tego jako werdyktu po redesignie. Tak właśnie zespoły świętują zwycięstwo, którego nigdy nie było.
Sprawdzaj liczby w panelu, które pokazują jakość doświadczenia użytkownika
Najbardziej użyteczne liczby to te, które opisują, jak użytkownicy odczuli redesign w praktyce. Zacznij od współczynnika ukończenia głównego zadania. Jeśli redesign miał przyspieszyć rejestrację, panel powinien pokazać, czy więcej osób faktycznie ją kończy.
Sprawdź czas ukończenia kroku, jeśli Astrina go śledzi. Krótsza ścieżka nie zawsze oznacza lepszą, ale duże spowolnienie zwykle wskazuje na tarcie. Może przycisk przesunął się poniżej pierwszego ekranu. Może pole formularza stało się trudniejsze do zauważenia. Małe zmiany potrafią wywołać duże opóźnienia.
Wskaźnik błędów ma znaczenie, gdy redesign zmienia formularze, filtry albo etapy płatności. Ścieżka wymagająca jednego kliknięcia, ale generująca więcej niepoprawnych wysłań, nie jest sukcesem. Użytkownicy zauważają zamieszanie, zanim je zgłoszą. Dlatego tak ważne jest, jakie metryki po redesignie śledzić w pierwszej kolejności.
Głębokość przewijania, kliknięcia wewnętrzne i powtarzane cofanie się mogą pomóc, ale tylko wtedy, gdy są powiązane z konkretną akcją. Redesign, który dodaje więcej kliknięć, nadal może działać, jeśli dodatkowy krok jest zrozumiały. Redesign, który zwiększa rage clicki, to już inna historia, a panel zwykle to pokazuje.
Nie wyciągaj zbyt daleko idących wniosków z pojedynczej wartości bounce rate albo exit rate. Jedna strona może wyglądać gorzej tylko dlatego, że nowy układ szybciej odpowiada na potrzeby użytkownika. To poprawny efekt, a nie porażka.
Jest różnica między „mniej aktywności” a „mniej zamieszania”. Liczba w panelu, która spadła o 12%, może być dobra, jeśli użytkownicy szybciej dochodzą do odpowiedzi.
Porównuj zachowania według urządzenia, układu i kluczowego segmentu odbiorców
Redesign rzadko wpływa na wszystkich tak samo. Użytkownicy desktopowi mogą polubić gęstszy układ, a mobilni mogą mieć problem z odstępami albo ukrytymi kontrolkami. Taki podział jest normalny, a panel powinien pokazywać go od razu.
Najpierw rozbij dane według urządzeń. Mobile zasługuje na szczególną uwagę, bo zmiany układu mogą wpływać na zasięg kciuka, zawijanie tekstu i położenie głównych akcji. Jeśli wersja mobilna traci ukończenia, a desktop zyskuje, redesign nie jest zepsuty wszędzie; jest zepsuty w jednym miejscu.
Następnie podziel dane na nowych i powracających użytkowników. Nowi użytkownicy nie pamiętają starego interfejsu, więc często adaptują się inaczej. Powracający mogą reagować negatywnie na zmianę nawigacji albo przesunięty przycisk, bo nauczyli się już starego schematu.
Znaczenie mają też grupy pozyskania. Użytkownicy z płatnych wyników wyszukiwania często przychodzą z konkretną intencją. Odbiorcy z mailingu mogą już znać markę. Redesign może poprawić wyniki dla jednej grupy i pogorszyć je dla innej — i oba efekty mogą być prawdziwe jednocześnie.
Dokładna analiza powinna też sprawdzić główne punkty wejścia. Redesign strony produktu może pomóc ruchowi z social mediów, ale zaszkodzić ruchowi bezpośredniemu, jeśli powracający użytkownicy nie znajdą tego samego skrótu. To nie jest teoretyczne ryzyko; zdarza się na tyle często, że zasługuje na osobny wiersz w panelu.
Jeśli jeden segment zmienia się wyraźnie, a pozostałe prawie wcale, nie uśredniaj tego wyniku na siłę. Średnia może ukryć realny problem części użytkowników.
Sprawdź spójność kroków lejka w Astrina
Użyj Astriny, aby porównać kolejność działań przed redesignem i po nim. Chodzi nie tylko o to, czy użytkownicy ukończyli lejek, ale też o to, czy nadal przechodzą przez niego w tej samej kolejności.
Załóżmy, że stary lejek wyglądał tak: oglądanie produktu, dodanie do koszyka, wysyłka, płatność. Jeśli redesign sprawia, że użytkownicy otwierają szczegóły wysyłki, zanim cokolwiek dodadzą do koszyka, to jest problem przepływu. Lejek może nadal kończyć się zakupem, ale ścieżka staje się mniej przejrzysta.
Sprawdź krok, na którym pojawia się największy odpływ. Jeśli odpływ przesunął się wcześniej, redesign mógł wprowadzić chaos już na początku ścieżki. Jeśli przesunął się później, redesign mógł ułatwić wcześniejsze kroki, ale odsłonić nowe tarcie tuż przed końcem.
Małe zmiany na jednym kroku mogą znaczyć więcej niż duże zmiany w całym wyniku. Zmiana o 5% na pierwszym etapie jest często ważniejsza niż zmiana o 1% na ostatnim, bo tarcie na początku kumuluje się dalej. Dlatego spójność kroków zasługuje na osobny przegląd.
Obserwuj powtarzające się pętle. Przechodzenie z kroku 3 z powrotem do kroku 1 nie zawsze jest złe, ale jeśli taka pętla nasiliła się po wdrożeniu, redesign prawdopodobnie mniej jasno prowadzi użytkownika przez decyzję. Ludzie nie poruszają się po ścieżkach w idealny sposób.
Jedna praktyczna zasada: jeśli lejek wygląda na krótszy, ale ukończenia spadły, redesign mógł usunąć pomocną wskazówkę. Krótszy nie znaczy automatycznie lepszy.
Odczytaj panel pod kątem anomalii związanych z trackingiem lub zmianami w UI
Nie każda zmiana w panelu wynika z zachowania użytkowników. Czasem redesign sam psuje pomiar. Zmieniona nazwa widoku strony, przesunięty przycisk albo opóźnione zdarzenie mogą stworzyć fałszywy spadek lub fałszywy wzrost.
Zacznij od brakujących zdarzeń. Jeśli na dzień wdrożenia zniknął jakiś krok w panelu, zapytaj, czy akcja przestała się wykonywać, czy może przestał działać tracking. Różnica ma znaczenie. To właśnie analiza redesignu w panelu pozwala odróżnić zmianę zachowania od problemu technicznego.
Następnie szukaj zdublowanych zdarzeń. Redesign może przypadkowo wysłać ten sam klik dwa razy, jeśli komponent zostanie zamontowany dwukrotnie albo skrypt odpali się zarówno dla desktopu, jak i mobilnych breakpointów. To może zawyżyć aktywność i sprawić, że słabszy przepływ wygląda lepiej, niż jest w rzeczywistości.
Pułapką są też zmiany nazw widoków stron. Jeśli zmieniła się struktura URL, panel grupujący dane po nazwie strony może rozdzielić jedną stronę na dwie. Zamiast jednej stabilnej strony zobaczysz wtedy dwie przeciętne. Dane nie pogorszyły się; pogorszyły się etykiety.
Zmiany w UI mogą też wpływać na znaczenie zdarzeń. Jeśli główna akcja przeniosła się z przycisku na kliknięcie w kartę, stare zdarzenie może nadal się wyzwalać, ale nie będzie już oznaczać tego samego zamiaru.
Jeśli potrzebujesz pomocy w zrozumieniu szumu infrastrukturalnego podczas wdrożenia, zobacz co zrobić, gdy Astrina ma problem z uptime. Redesign i awaria mogą tworzyć ten sam kształt wykresu. To nie jest przyjemna gra w zgadywanie.
Obok siebie: co się zmieniło, co pozostało stabilne, co wymaga dalszych działań
Tabela obok siebie wymusza dyscyplinę. Powstrzymuje zespół przed ogólnikami i ułatwia zobaczenie, które liczby zasługują na kolejną rundę pracy.
| Liczba z panelu | Przed redesignem | Po redesignie | Interpretacja |
|---|---|---|---|
| Ukończenie głównego zadania | Stabilna baza odniesienia | Aktualna baza odniesienia | Poprawa, regresja albo brak zmian |
| Odpływ na kluczowym etapie lejka | Stabilna baza odniesienia | Aktualna baza odniesienia | Sprawdzaj, czy strata nie pojawia się wcześniej |
| Ukończenie na mobile | Stabilna baza odniesienia | Aktualna baza odniesienia | Często pierwsze miejsce, gdzie redesign pokazuje napięcie |
| Ukończenie na desktopie | Stabilna baza odniesienia | Aktualna baza odniesienia | Może rosnąć nawet wtedy, gdy mobile spada |
| Powtarzające się cofanie | Stabilna baza odniesienia | Aktualna baza odniesienia | Sygnał chaosu, jeśli rośnie |
| Liczba zdarzeń dla głównego CTA | Stabilna baza odniesienia | Aktualna baza odniesienia | Sprawdź, czy nie doszło do duplikacji trackingu |
Ta tabela nie powinna udawać, że wie więcej, niż wie. Jeśli definicje się zmieniły, zaznacz to w wierszu. Jeśli redesign zmienił sam lejek, zaznacz, że porównanie przed i po nie jest czystym pomiarem. Jasny język ma tu znaczenie.
Dobrym podejściem jest oznaczanie każdego wiersza na zielono, żółto lub czerwono dopiero wtedy, gdy surowe liczby się ustabilizują. Tabela wypełniona zbyt wcześnie może popchnąć zespół do szybkiej historii zamiast do właściwej.
Uczciwy werdykt: kiedy redesign działa, jest mieszany albo wymaga wycofania
Redesign działa wtedy, gdy panel pokazuje poprawę głównego zadania, kluczowy lejek pozostaje nienaruszony, a problematyczne segmenty nie spadają w przepaść. Jeden mocny segment to za mało. Chcesz, żeby wynik utrzymał się tam, gdzie produkt jest używany najczęściej.
Redesign jest mieszany, gdy desktop zyskuje, a mobile słabnie, albo gdy ukończenia rosną, ale użytkownicy potrzebują więcej czasu, by skończyć. To nie jest automatycznie porażka. Oznacza to, że redesign rozwiązał jeden problem i stworzył inny.
O wycofaniu warto rozmawiać wtedy, gdy panel pokazuje wyraźną regresję w kluczowej akcji, zwłaszcza jeśli ten sam problem pojawia się w kilku segmentach, a tracking wygląda czysto. Jeśli zarówno mobile, jak i desktop spadają, a kształt lejka zmienia się w tym samym kierunku, nie czekaj zbyt długo na reakcję.
Czasem redesign wygląda na udany w ujęciu zbiorczym, ale nadal wymaga celowanej poprawki. Tak może się zdarzyć, gdy jedna grupa odbiorców generuje większość ruchu, a mniejsza grupa doświadcza dużego spadku. Szeroka średnia może ukrywać tę nierównowagę przez wiele dni.
Odpowiedź nie sprowadza się więc do jednego wyniku. To wzorzec: stabilny pomiar, to samo okno porównawcze, czytelne kroki lejka oraz jedna lub dwie liczby, które dowodzą, że redesign zrobił to, co obiecywał. Jeśli te liczby się nie zgadzają, panel mówi Ci, że trzeba dalej pracować.
