Speaker A
Teraz mam do ciebie pytanie, w sumie już kolejne. Wyobraź sobie, że przychodzisz do tego swojego nowego pracownika, o którym mówiliśmy w poprzedniej części, i pytasz go o wynik sprzedaży z ostatniego kwartału.
Omówienie trzech głównych pułapek analizy danych z AI: halucynacje, błędy obliczeniowe i brak kontekstu biznesowego oraz jak ich unikać.
Ask about this video. Answers come from its transcript only — with the timestamp, so you can check them.
Generated from the transcript and can be wrong — check the timestamp.
Key Takeaways
- AI może generować fałszywe, ale przekonujące odpowiedzi – halucynacje to główna pułapka.
- Składnikiem ryzyka są też błędy w obliczeniach na dużych i złożonych danych.
- Brak pełnego kontekstu biznesowego może prowadzić do błędnych wniosków.
- Weryfikacja i krytyczne podejście do wyników AI są niezbędne.
- AI to narzędzie wspomagające, a nie zastępujące ludzką analizę i decyzje.
What the video covers
- AI może generować wiarygodnie brzmiące, ale nieprawdziwe odpowiedzi – tzw. halucynacje.
- Halucynacje wynikają z tego, że AI stara się podać najbardziej prawdopodobną odpowiedź, nawet jeśli dane tego nie potwierdzają.
- AI może popełniać błędy w skomplikowanych obliczeniach na dużych zestawach danych, mimo że proste działania matematyczne wykonuje poprawnie.
- Wyniki obliczeń AI mogą wyglądać wiarygodnie, dlatego ważne jest, aby prosić o wyjaśnienie procesu myślenia i kalkulacji.
- AI nie zna pełnego kontekstu biznesowego, co może prowadzić do wniosków statystycznie poprawnych, ale biznesowo nieopłacalnych.
- Przykłady braku kontekstu to rekomendacje zwiększenia budżetu na niskomarżowe produkty lub alarmy o problemach wynikających z błędów w danych.
- Zawsze należy weryfikować odpowiedzi AI, zadając pytania o źródła danych i kontekst, który AI mogło pominąć.
- AI jest narzędziem wspierającym, które daje szybkie sugestie, ale ostateczna decyzja należy do człowieka.
- Dobry analityk również może się mylić, ale AI jest dostępne natychmiast i nie narzeka.
- W kolejnej części zostanie pokazane praktyczne wykorzystanie AI w pracy z Google Analytics 4.
Full Transcript — Download SRT & Markdown
Speaker A
On tak patrzy przez chwilę, kiwa głową, mhm, zastanawia się i mówi: "Tak, sprawdziłem, przychód wzrósł o 23%, głównie dzięki kampanii mailingowej w październiku." Pewny siebie, konkretny, brzmi wiarygodnie.
Speaker A
Tylko że w październiku nie było żadnej kampanii mailingowej. I tu jest sedno problemu z AI, on nie kłamie świadomie, on po prostu czasem nie wie, że nie wie.
Speaker A
I zamiast powiedzieć: "Nie mam pewności", podaje odpowiedź, która dobrze brzmi. To się nazywa halucynacja.
Speaker A
I to jest ta największa pułapka w pracy z AI z danymi. A skąd się biorą halucynacje? AI jest trenowane, żeby generować taką najlepszą, prawdopodobną odpowiedź.
Speaker A
Więc jeżeli pytanie sugeruje pewien kierunek, AI często w tym kierunku będzie podążał, nawet jeżeli dane tego nie potwierdzają.
Speaker A
W codziennej pracy z danymi halucynacje najczęściej wyglądają tak: wklejasz dane, dostajesz wnioski, a jeden z nich dotyczy czegoś, czego w twoich danych po prostu nie ma. Albo AI przywołuje jakąś regułę branżową czy benchmark, który brzmi rozsądnie, ale jest po prostu wymyślony.
Speaker A
Jeżeli AI podaje jakąś konkretną liczbę, której nie widzisz w swoich danych, to zawsze możesz sprawdzić, skąd ją wziął. Możesz po prostu zapytać: "Skąd jest ta liczba? Wskaż mi, gdzie jest to w moich danych, które ci dałem." Jeżeli będzie to błędna odpowiedź,
Speaker A
to AI sam to zauważy i się poprawi. Może cię to zaskoczy, ale AI, mimo że wygląda jak superkomputer, w podstawowych narzędziach, z których często korzystamy, może być po prostu niedokładny w swoich działaniach matematycznych.
Speaker A
Szczególnie jeżeli chodzi o obliczenia na dużych zestawach danych albo takich wieloetapowych kalkulacji. Dodawanie kilku liczb? Oczywiście, bez problemu.
Speaker A
A jeżeli poprosisz AI, żeby policzył średnią ważoną z 50 wierszy albo przeliczył ROAS, uwzględniając zwroty i rabaty, tam mogą, podkreślam, mogą, nie muszą, mogą pojawić się błędy.
Speaker A
Ale co najgorsze, wynik zazwyczaj będzie wyglądał bardzo wiarygodnie. Dlatego jeżeli prosisz o skomplikowane obliczenia na danych, dopytaj o to, jak AI doszedł do takich wyników.
Speaker A
Niech przedstawi ci proces myślenia i obliczenia, jakie wykonał. Albo, jeżeli masz taką możliwość, podejrzyj proces tworzenia odpowiedzi.
Speaker A
W modelach myślących jest taka możliwość, da ci to pewność, że wynik, który otrzymałeś czy otrzymałaś, jest prawidłowy.
Speaker A
Trzecia pułapka jest subtelniejsza. AI może wyciągnąć wniosek, który jest statystycznie poprawny, ale biznesowo bez sensu, bo nie zna kontekstu, którego ty możesz nawet nie pomyśleć, żeby mu podać.
Speaker A
Przykład. AI patrzy na twoje dane i mówi: "Największy ruch generuje kategoria X, warto zwiększyć na nią budżet." Brzmi rozsądnie. Ale ty wiesz, że kategoria X to produkty z najniższą marżą w całym sklepie i celowo nie inwestujesz tam więcej, AI tego nie wie,
Speaker A
bo mu nie powiedziałeś czy nie powiedziałaś. Albo inny przykład. AI zauważa gwałtowny spadek sesji w konkretnym dniu i alarmuje, że coś jest nie tak.
Speaker A
Ale ty wiesz, że tego dnia był błąd we wdrożeniu tagu i dane po prostu nie zbierały się poprawnie.
Speaker A
AI nie ma pojęcia o rzeczach, które dzieją się poza systemem, poza danymi. Zanim zaakceptujesz wniosek, który dostajesz od AI, zadaj sobie pytanie: "Czy jest coś, co wiem o moim biznesie, czego AI mógł nie wiedzieć?" Często odpowiedź brzmi: "Tak i może ona dużo zmienić."
Speaker A
Podsumowując, mamy trzy pułapki: halucynacje, błędne obliczenia i brak kontekstu biznesowego. Brzmi trochę strasznie, prawda?
Speaker A
Ale to nie jest powód, żeby nie używać AI. To jest powód, żeby używać go mądrze.
Speaker A
Pamiętaj, co ci mówiłem w poprzedniej części: AI to punkt startowy, nie punkt końcowy. Daje ci szybciej pierwszy wniosek, sugestie kierunku, pomysł na to, co sprawdzić.
Speaker A
Ale to ty weryfikujesz i decydujesz. Tak zresztą działa też dobry analityk. Też się może pomylić, też czasami trzeba go sprawdzić.
Speaker A
Różnica jest taka, że AI jest dostępny natychmiast, tu i teraz, i nigdy nie narzeka.
Speaker A
Dobra, skoro wiemy, jak działać bezpiecznie, czas na praktykę. W następnej części pokażę ci, jak konkretnie używać AI podczas pracy z narzędziem Google Analytics 4. Zapraszam.
Topics:AIanaliza danychhalucynacje AIbłędy obliczeniowekontekst biznesowyGoogle Analytics 4pułapki AIweryfikacja danychsztuczna inteligencjaanalityka danych
