Speaker A
Wyobraźmy sobie typową sytuację. Prezes twojej firmy wchodzi do twojego biura i kładzie na biurku dwa projekty.
Wprowadzenie do różnic między tradycyjnym IT a projektami AI, kluczowe elementy sukcesu i różnice między machine learning a modelami językowymi.
Key Takeaways
- Sukces projektu AI wymaga jasnego celu i odpowiednich danych.
- Projekty AI to proces eksperymentalny, a nie liniowa realizacja jak w tradycyjnym IT.
- Różne podejścia do machine learning i modeli językowych wymagają odmiennego zarządzania i mierzenia efektów.
- Zespół projektowy powinien być interdyscyplinarny, łącząc ekspertów technicznych i biznesowych.
- Infrastruktura powinna umożliwiać szybkie eksperymenty i łatwe przetwarzanie danych.
Summary
- Porównanie klasycznego projektu IT (CRM) z projektem AI na przykładzie Booking.com.
- Opis wyzwań i różnic w realizacji projektów AI, w tym potrzeba danych i eksperymentów.
- Przykład systemu Channel Recommender do optymalizacji kanałów obsługi klienta.
- Znaczenie czterech kluczowych elementów sukcesu projektu AI: cel, dane, infrastruktura i zespół.
- Podkreślenie konieczności jasnego celu i odpowiedniej jakości danych przed rozpoczęciem projektu AI.
- Różnice między klasycznym machine learningiem a modelami językowymi (LLM) takimi jak GPT.
- Machine learning to wyspecjalizowane modele do konkretnych zadań, LLM to wszechstronni asystenci wymagający odpowiedniego promptowania.
- Wyzwania związane z kontrolą jakości i interpretacją wyników w projektach AI.
- Znaczenie zbalansowanego podejścia do danych, infrastruktury i zespołu dla powodzenia projektu.
- Praktyczne wskazówki dotyczące zarządzania projektami AI w dużych i mniejszych organizacjach.
Full Transcript — Download SRT & Markdown
Speaker A
Jeden to wdrożenie nowego systemu CRM, klasyczny projekt IT. Drugi to system przewidywania odpływu klientów, wykorzystujący AI.
Speaker A
Ten sam budżet, ten sam deadline. Ale sposób realizacji będzie kompletnie inny. W Booking.com stanąłem przed podobnym wyzwaniem.
Speaker A
Pracowaliśmy nad Channel Recommenderem, systemem, który decyduje, jak obsłużyć klienta: przez telefon, mail, czat, czy może samoobsługę.
Speaker A
Stawka była wysoka. Każde przekierowanie klienta do droższego kanału to konkretne koszty, a każde złe przekierowanie to ryzyko utraty rezerwacji wartej setki euro.
Speaker A
Początkowo mieliśmy prosty system reguł if-else, jeżeli-to. Jeśli klient ma rezerwację za więcej niż 7 dni, rekomendujemy mail albo czat. Jeśli wartość rezerwacji przewyższa 1000 euro, rekomendujemy telefon.
Speaker A
Klasyczne drzewo decyzyjne, jak quiz z kilkoma ścieżkami. Działało... okej. Przełom nastąpił, gdy zdecydowaliśmy się na AI.
Speaker A
I tutaj zaczęły się schody. Zamiast pisania reguł potrzebowaliśmy danych, tysięcy interakcji z klientami, historii ich rezerwacji, zapisów czatów, maili, połączeń. Każda zmienna mogła być istotna, może pora dnia wpływa na skuteczność obsługi, może kraj pochodzenia klienta, a może historia jego poprzednich interakcji.
Speaker A
Co nas najbardziej zaskoczyło? Nasz pierwszy model AI miał dość niską skuteczność. Na potrzeby naszego spotkania przyjmijmy, że 60%.
Speaker A
W tradycyjnym IT projekt z takim wynikiem byłby katastrofą. Wyobraźcie sobie system księgowy, który poprawnie księguje tylko 60% faktur.
Speaker A
Ale w świecie AI to był dopiero początek. Kolejne miesiące to była seria eksperymentów. Model świetnie radził sobie z typowymi przypadkami, ale kompletnie gubił się w bardziej złożonych sytuacjach.
Speaker A
Dostawaliśmy dane, dostrajaliśmy parametry. Po kilku miesiącach osiągnęliśmy ponownie, przyjmijmy na potrzeby tego wykładu, 82% skuteczności, ale tylko dla klientów, którzy mieli już historię kontaktów z nami.
Speaker A
To pokazuje fundamentalną różnicę między IT a AI. W tradycyjnym IT jesteś jak architekt, masz plan, wiesz, co budujesz, możesz precyzyjnie określić kolejne kroki.
Speaker A
W AI jesteś jak naukowiec prowadzący eksperymenty. Stawiasz hipotezy, testujesz je, uczysz się na błędach.
Speaker A
Nie możesz obiecać, że za 3 miesiące model będzie miał dokładnie 95% skuteczności. Możesz za to określić, kiedy model jest wystarczająco dobry, by przynieść wartość biznesową.
Speaker A
To jak różnica między budową domu a uprawą ogrodu. Przy budowie domu wiesz dokładnie, co dostaniesz.
Speaker A
Masz projekt, harmonogram, jasno określone etapy. W ogrodzie? Tworzysz odpowiednie warunki, dbasz, pielęgnujesz, ale... natura może cię zaskoczyć. Czasem pozytywnie, czasem nie.
Speaker A
Zanim rzucimy się w wir projektów AI, zatrzymajmy się na chwilę. Z mojego doświadczenia wynika, że sukces projektu AI zależy od czterech kluczowych elementów. I uwaga, kolejność nie jest przypadkowa.
Speaker A
Pierwszy to jasny cel i zakres. Nie chcemy wdrożyć AI, ale mamy konkretny problem biznesowy do rozwiązania.
Speaker A
W Booking.com naszym celem nie było zautomatyzowanie obsługi klienta, było nim znaczące zmniejszenie liczby połączeń telefonicznych bez pogorszenia satysfakcji klientów.
Speaker A
Różnica? Ogromna. Od razu wiedzieliśmy, co mierzymy i kiedy odnieśliśmy sukces. Drugi element to dane. I tutaj ciekawostka.
Speaker A
Często firmy zaczynają od szukania data scientistów, a dopiero potem patrzą na swoje dane. To błąd.
Speaker A
Jeśli firma chce przewidywać zachowania klientów, ale ma dane tylko z ostatnich trzech miesięcy, to...
Speaker A
jak próba przewidzenia pogody na rok, patrząc tylko przez okno. Najpierw sprawdźcie, czy macie odpowiednie dane w odpowiedniej ilości i jakości.
Speaker A
Trzeci element to infrastruktura techniczna. Ale uwaga, nie chodzi o kupienie najdroższego sprzętu czy wszystkich możliwych narzędzi.
Speaker A
W początkowej fazie często wystarczy laptop i dostęp do chmury. Kluczowe jest co innego. Czy wasza infrastruktura pozwala na szybkie eksperymenty?
Speaker A
Czy możecie łatwo trenować nowe modele? Czy macie gdzie przechowywać i przetwarzać dane? I wreszcie... zespół.
Speaker A
Ale nie chodzi tylko o zatrudnienie data scientista. Potrzebujecie też inżynierów danych, którzy przygotują i przetworzą informacje w waszej firmie.
Speaker A
Potrzebujecie product managera lub analityka biznesowego, który rozumie specyfikę AI. I, co najważniejsze, potrzebujecie ekspertów dziedzinowych, którzy rozumieją wasz biznes.
Speaker A
W przypadku Booking.com to byli agenci obsługi klienta. To oni wiedzieli dokładnie, które przypadki są najtrudniejsze i dlaczego.
Speaker A
Teraz pytanie, które często słyszę: od czego zacząć? Zacznijcie od celu i danych. Bez tego reszta nie ma sensu.
Speaker A
Możecie mieć najlepszy zespół na świecie i nieograniczony budżet na infrastrukturę, ale jeśli nie macie jasnego celu lub odpowiednich danych, projekt się nie uda.
Speaker A
I jeszcze jedna rzecz. Te elementy muszą być zbalansowane. Świetne dane bez odpowiedniej infrastruktury? Problem.
Speaker A
Świetny zespół bez jasnego celu? Strata czasu i pieniędzy. To jak próba ugotowania obiadu. Potrzebujesz składników i sprzętu, i przepisu, i kucharza.
Speaker A
Brak któregokolwiek elementu i... zamawiamy pizzę. Często wrzucamy wszystkie projekty związane z AI do jednego worka.
Speaker A
Ale jest zasadnicza różnica między klasycznym machine learningiem a tym, co robimy z modelami językowymi jak GPT.
Speaker A
Pokażę wam to na konkretnym przykładzie. Weźmy obsługę klienta. W klasycznym machine learning, nad którym pracowałem w Booking.com, uczyliśmy model konkretnego zadania: przewidywania najlepszego kanału komunikacji. Model dostawał konkretne zmienne: czas do przyjazdu, wartość rezerwacji, typ pokoju.
Speaker A
Zwracał konkretną odpowiedź: telefon, mail czy czat. To jak wyspecjalizowany pracownik, który robi jedną rzecz, ale robi ją bardzo dobrze.
Speaker A
A modele językowe? To zupełnie inna historia. One są jak wszechstronny konsultant. Możesz je wykorzystać do różnych zadań bez trenowania.
Speaker A
Weźmy przykład asystenta w obsłudze klienta. Nie uczysz go konkretnie odpowiadania na maile czy kategoryzowania zgłoszeń. Zamiast tego dajesz mu kontekst w postaci promptu: Jesteś asystentem obsługi klienta firmy X, oto nasze procedury, oto nasz tone of voice itd.
Speaker A
Ale ta wszechstronność ma swoją cenę. W machine learningu mamy pełną kontrolę nad danymi treningowymi i możemy precyzyjnie zmierzyć skuteczność.
Speaker A
Model albo dobrze przewidział kanał komunikacji, albo nie. A z modelami językowymi? Czasem odpowiedź może być technicznie poprawna, ale nie w stylu twojej firmy.
Speaker A
Albo całkiem poprawna, ale nieoptymalna. To przekłada się na sposób prowadzenia projektu. W machine learningu skupiasz się na jednym konkretnym problemie.
Speaker A
Zbierasz dane, trenujesz model, mierzysz wyniki. Z LLM-ami kluczowe staje się m.in. projektowanie promptów, budowa zabezpieczeń przed halucynacjami, integracja z istniejącymi procesami czy testowanie różnych scenariuszy użycia.
Speaker A
W machine learningu sukces często mierzymy jedną liczbą, skutecznością modelu. W projektach z LLM patrzymy na szerszy obraz: jak bardzo zmniejszyło się obciążenie zespołu? Jak szybko otrzymują odpowiedź klienci?
Speaker A
Ile przypadków wymaga ludzkiej interwencji? Myślę o tym w ten sposób. Machine learning to jak budowa robota na linii produkcyjnej, wykonuje konkretne zadanie w konkretny sposób, z mierzalną precyzją.
Speaker A
LLM to bardziej jak zatrudnienie asystenta, wszechstronnego, ale wymagającego odpowiedniego briefingu i nadzoru. Oba podejścia są wartościowe, ale wymagają zupełnie innego podejścia do zarządzania projektem.
Speaker A
Z racji mojego doświadczenia dzisiaj skupimy się na projektach machine learningowych. Pracowałem nad nimi zarówno w dużych organizacjach jak Booking.com, gdzie budowaliśmy własne modele od podstaw, jak i przy mniejszych projektach, gdzie korzystaliśmy z zewnętrznych rozwiązań. To, co zauważyłem, to,
Speaker A
że niezależnie czy budujecie własne modele, czy współpracujecie z dostawcami, zasady sukcesu są podobne. Dostawca może wam pomóc z techniczną stroną, ale to wy musicie wiedzieć, czego chcecie i jak to zmierzyć. Trochę jak z remontem mieszkania.
Speaker A
Możecie
Speaker A
Niezależnie czy jutro będziecie rozmawiać z waszym zespołem data science, czy z potencjalnym dostawcą AI.
Topics:AImachine learningprojekty AIBooking.comsystem rekomendacjimodele językoweLLMdata sciencezarządzanie projektamiinfrastruktura AI
