Kluczowe wnioski
Traktuj model jako jeden z elementów działającego systemu produkcyjnego
Model to tylko jeden z elementów. Produkcyjny system uczenia maszynowego obejmuje również interfejsy, z których korzystają ludzie, potok danych, infrastrukturę obliczeniową i sprzęt. Uruchomienie w 2016 roku neuronowego tłumaczenia w Google Translate pokazało, co model potrafi osiągnąć na dużą skalę, ale sam model nie wyjaśnia, jak zapewnić niezawodne dotarcie takiej usługi do użytkowników. Projektowanie całego systemu obejmuje określenie, jak połączyć te elementy i co ma zapewniać aplikacja.
Projektuj z myślą o czterech wymaganiach. Niezawodny system powinien działać poprawnie mimo awarii, skalować dostępne zasoby w górę i w dół zależnie od zapotrzebowania, pozostawać łatwy w utrzymaniu przez różne zespoły oraz dostosowywać się do zmian danych i potrzeb biznesowych. Awaria może być niewidoczna: oprogramowanie może działać prawidłowo, a jednocześnie generować błędne prognozy. Gotowość do wdrożenia produkcyjnego jest więc cechą systemu, a nie wynikiem modelu.
Uderza to, jak takie ujęcie zmienia miarę sukcesu. Model nie jest gotowym produktem, tak jak silnik nie jest gotowym samochodem: użytkownicy doświadczają całego łańcucha, łącznie z opóźnieniami, przerwami w działaniu i błędnymi danymi wejściowymi. Inżynieria niezawodności stanowi tu użyteczny punkt odniesienia, bo bada, jak awarie poszczególnych elementów wpływają na siebie nawzajem, zamiast pytać, czy każdy z nich działa osobno. Cztery wymagania mogą też pozostawać ze sobą w konflikcie. Na przykład szybkie skalowanie może zwiększyć złożoność operacyjną. Jasne określenie tych wymagań pomaga zespołom rozmawiać o kompromisach, zanim pozorna dokładność modelu przesłoni kruchość usługi.
Stosuj uczenie maszynowe tylko wtedy, gdy uzasadniają je wzorce, dane i powtarzalne przewidywania
Sprawdź, czy przewidywanie pasuje do zadania. Uczenie maszynowe pozwala uczyć się złożonych wzorców na podstawie istniejących danych, a następnie wykorzystywać je do przewidywań dotyczących nowych danych. Dlatego jest kiepskim narzędziem do prostego wyszukiwania, na przykład przypisywania kodu pocztowego do stanu, albo do przewidywania wyniku rzutu uczciwą kostką, gdzie nie ma użytecznego wzorca. Lepszym przykładem jest model ceny wynajmu: na cenę wpływa wiele cech oferty, a ręczne określenie ich wzajemnych zależności jest trudne.
Wymagaj praktycznego uzasadnienia. Zadanie wymaga odpowiednich danych, powtarzających się przewidywań oraz wartości wystarczającej, by uzasadnić inwestycję w dane, moc obliczeniową, infrastrukturę i wiedzę specjalistyczną. Przypadki, których model wcześniej nie widział, muszą przypominać dane użyte do jego trenowania. Jeśli błąd mógłby mieć katastrofalne skutki, prostsze rozwiązanie jest tańsze albo zastosowanie jest nieetyczne, uczenie maszynowe może być niewłaściwym wyborem. Czasem lepsze jest węższe zastosowanie: automatyzacja prostych pytań kierowanych do pomocy technicznej, a przekazywanie niepewnych przypadków człowiekowi.
Uderza to, jak takie ujęcie zmienia sposób definiowania sukcesu. Model nie jest gotowym produktem, tak jak silnik nie jest gotowym samochodem: użytkownicy doświadczają całego łańcucha, wraz z opóźnieniami, przerwami w działaniu i błędnymi danymi wejściowymi. Inżynieria niezawodności stanowi tu użyteczny punkt odniesienia, bo pyta, jak awarie poszczególnych elementów na siebie wpływają, zamiast sprawdzać, czy każdy działa w izolacji. Cztery wymagania mogą też pozostawać ze sobą w konflikcie. Na przykład szybkie skalowanie może zwiększać złożoność operacyjną. Wyraźne określenie tych wymagań pomaga zespołom omawiać kompromisy, zanim pozorna dokładność modelu przesłoni kruchość usługi.
Optymalizuj usługę potrzebną użytkownikom, a nie wynik w rankingu
W produkcji ścierają się różne cele. W systemie polecającym restauracje inżynierowie mogą dążyć do zwiększenia liczby zamówień, zespół sprzedaży może faworyzować płatne umieszczenia, menedżerowie produktu mogą wymagać niskich opóźnień, a zespół infrastruktury może sprzeciwiać się modelowi trudnemu do skalowania. Żaden pojedynczy wynik dokładności nie rozwiąże tych konfliktów. Niewielka poprawa modelu ma znaczenie tylko wtedy, gdy poprawia wyniki biznesowe lub korzyści użytkowników na tyle, by uzasadnić dodatkową złożoność.
Mierz doświadczenie po wdrożeniu. W badaniach często nagradza się szybkie trenowanie i wyniki na testach porównawczych. W produkcji większe znaczenie mają zwykle szybkość wnioskowania, zmieniające się dane, sprawiedliwość i interpretowalność. Eksperymenty Google wykazały, że zwiększenie opóźnienia wyszukiwania ze 100 do 400 milisekund zmniejszało dzienną liczbę wyszukiwań na użytkownika o 0,2–0,6%. Model może też powielać historyczną dyskryminację na ogromną skalę, a nieprzejrzystą decyzję trudno zdiagnozować lub uznać za wiarygodną.
Przejście od wyników na testach porównawczych do jakości usługi oznacza odejście od optymalizacji wskaźnika zastępczego na rzecz uzgadniania celów różnych interesariuszy. To dobrze znany problem w ekonomii i administracji publicznej: mierzalne cele mogą wypierać wartości trudniejsze do zmierzenia. Przykłady konkretnie pokazują koszty, zwłaszcza gdy opóźnienie zmienia zachowanie użytkowników albo stronniczy błąd krzywdzi mniejszą grupę. Nie oznacza to jednak, że każda decyzja musi być interpretowalna. Znaczenie interpretowalności zależy od konsekwencji, możliwości odwołania się od decyzji oraz od tego, czy wyjaśnienie rzeczywiście może pomóc komuś ją skontrolować lub zakwestionować.
Inwestuj w wiarygodne potoki danych, zanim zaczniesz szukać bardziej pomysłowego algorytmu
Jakość danych kształtuje jakość modelu. Książka opisuje rosnącą zależność tej dziedziny od danych: od benchmarku językowego zawierającego 0,8 miliarda tokenów w 2013 roku po dane treningowe GPT-3, liczące 500 miliardów tokenów w 2020 roku. Więcej danych nie oznacza automatycznie lepszych danych: nieaktualne przykłady i błędne etykiety mogą pogorszyć działanie modelu. Dane produkcyjne mogą pochodzić od użytkowników, z dzienników systemowych, wewnętrznych baz danych lub od zewnętrznych dostawców, a każde z tych źródeł wiąże się z innymi kwestiami jakości, dostępu i prywatności.
Zbuduj drogę od źródła do zastosowania. ETL oznacza pobieranie danych, ich przekształcanie przez walidację i czyszczenie, a następnie ładowanie do miejsca, z którego mogą korzystać aplikacje. Znaczenie ma też wybór sposobu przechowywania. Formaty zorientowane na wiersze sprawdzają się przy częstym zapisywaniu rekordów; formaty zorientowane na kolumny — przy zapytaniach odczytujących wybrane cechy z wielu rekordów. Jezioro danych może przechowywać surowe i różnorodne dane, a hurtownia danych — bardziej ustrukturyzowany materiał, gotowy do analizy.
Nacisk na dane to coś więcej niż praktyczna preferencja. Uznaje, że system uczenia maszynowego dziedziczy założenia pomiarowe wbudowane w swoje rekordy: co zebrano, kto został uwzględniony i które błędy zachowano. Potoki danych przypominają więc instrumenty naukowe. Wadliwy instrument może dawać wyniki pozornie precyzyjne, a jednak systematycznie błędne. Ta analogia wyjaśnia również, dlaczego sama ilość danych jest słabym dowodem ich jakości. Inwestowanie w dane ma jednak swoje granice: ich gromadzenie może być kosztowne lub naruszać prywatność, a sam proces zbierania może stwarzać zagrożenia. Dobra inżynieria obejmuje również decyzję, czego nie zbierać.
Traktuj etykietowanie jako infrastrukturę produktu, a nie jednorazowy koszt anotacji
Etykietowanie wymaga procesu. Modele nadzorowane uczą się na przykładach połączonych z odpowiedziami, ale etykietowanie może być powolne, kosztowne, wrażliwe z punktu widzenia prywatności i niespójne. W rozpoznawaniu jednostek trzy osoby anotujące mogą nie zgodzić się, czy wyrażenie stanowi jedną jednostkę, czy kilka. Jasna definicja i wspólne instrukcje ograniczają możliwe do uniknięcia rozbieżności. Śledzenie pochodzenia każdego przykładu i każdej etykiety, czyli pochodzenie danych, pomaga zespołom badać awarie spowodowane nowym źródłem albo zmianą jakości anotacji.
Oszczędnie gospodaruj rzadką wiedzą specjalistyczną. Nadzór słaby (weak supervision) wykorzystuje reguły zwane funkcjami etykietującymi, aby na dużą skalę generować niedoskonałe etykiety. Uczenie częściowo nadzorowane wykorzystuje niewielki, oznakowany zbiór do wnioskowania o etykietach podobnych przykładów. Uczenie transferowe dostosowuje model wytrenowany do innego zadania, a aktywne uczenie wybiera przykłady szczególnie przydatne do oznakowania. W opisanym w książce badaniu obrazowania medycznego osiem godzin pracy nad regułami przyniosło wyniki porównywalne z procesem obejmującym niemal rok ręcznego etykietowania.
Etykietowanie często traktuje się jak pracę administracyjną, ale przykład rozbieżności w wyznaczaniu granic jednostek pokazuje, że jest ono również formą projektowania pomiaru. Zespół musi ustalić, co uznaje za przewidywany obiekt, zanim model będzie mógł się tego nauczyć. Etykietowanie programowe pozwala wielokrotnie wykorzystywać wiedzę specjalistyczną i przyspieszać iteracje, ale może też powielić błędną regułę w całym dużym zbiorze danych. Niewielka próbka sprawdzona przez człowieka jest cenna nie tylko jako zalążek automatyzacji, lecz także jako stała kontrola tego, czy procedura etykietowania nadal odpowiada zadaniu.
Uwzględniaj rzadkie błędy zarówno w trenowaniu, jak i ewaluacji
Dokładność ogólna może wprowadzać w błąd. W zbiorze danych do badań przesiewowych w kierunku raka, w którym 99,99% skanów jest prawidłowych, model zawsze przewidujący prawidłowy wynik osiąga pozornie 99,99% dokładności, choć nie wykrywa żadnego nowotworu. Problemem jest niezrównoważenie klas: jedna kategoria występuje znacznie rzadziej niż inna, mimo że często ma poważniejsze konsekwencje. Stosuj miary dla poszczególnych klas, takie jak czułość i F1, i badaj kompromis między przeoczonymi przypadkami a fałszywymi alarmami, zamiast ufać zagregowanej dokładności.
Zmień to, co model widzi lub za co otrzymuje karę. Nadpróbkowanie dodaje przykłady z mniejszościowej klasy; podpróbkowanie usuwa część przykładów z klasy dominującej. Ważone funkcje straty mogą nadawać większe znaczenie kosztownym błędom, a funkcja straty focal loss kładzie nacisk na przykłady, które model nadal ma trudności poprawnie rozpoznać. Augmentacja tworzy dodatkowe przykłady treningowe przez zmiany zachowujące etykietę, takie jak przycięcie obrazu, albo przez syntetyzowanie kombinacji przykładów. Metody te pomagają tylko wtedy, gdy ich założenia odpowiadają rzeczywistemu zadaniu.
Problemy związane ze zdarzeniami rzadkimi uwidaczniają różnicę między częstością statystyczną a znaczeniem dla ludzi. Miara traktująca każdy przykład jednakowo może być matematycznie schludna, a zarazem nieodpowiedzialna operacyjnie, jeśli przeoczenie jednego przypadku jest znacznie kosztowniejsze niż innego. Wiąże się to ściśle z teorią decyzji, zgodnie z którą wybór progu zależy od kosztu poszczególnych błędów, a nie tylko od średniej skuteczności modelu. Ponowne próbkowanie i ważenie to przydatne narzędzia, ale nie tworzą brakujących dowodów. Zespoły nadal muszą pytać, czy przykłady mniejszościowe są reprezentatywne oraz czy przykłady syntetyczne zachowują istotne różnice.
Kontroluj cechy pod kątem informacji o przyszłości, pokrycia danych i znaczenia w rzeczywistym świecie
Cechy mogą pomagać albo wprowadzać w błąd. Cecha to informacja przekazywana modelowi. Głębokie uczenie może uczyć się użytecznych reprezentacji z surowego tekstu lub obrazów, ale wiele systemów nadal korzysta z informacji dziedzinowych, na przykład o tym, kto opublikował komentarz albo jak popularny jest wątek dyskusji. Cechy wymagają odpowiedniego traktowania: brakujące wartości mogą nieść informację, a kategorie, takie jak marki produktów, mogą się zmieniać po trenowaniu. Haszowanie cech odwzorowuje kategorie w przestrzeni numerycznej o ustalonym rozmiarze, dzięki czemu można reprezentować także nowe kategorie, choć czasem dochodzi do kolizji.
Chroń się przed wyciekiem danych. Wyciek danych występuje wtedy, gdy podczas trenowania wykorzystywane są informacje powiązane z odpowiedzią, które nie będą dostępne w chwili, gdy model będzie dokonywał rzeczywistych przewidywań. Aparat do skanowania w szpitalu może niezamierzenie zdradzać, których pacjentów lekarze już podejrzewają o raka. Losowy podział powiązanych z czasem przykładów, skalowanie przed podziałem albo umieszczenie duplikatów zarówno w zbiorze treningowym, jak i testowym również mogą sprawić, że ewaluacja będzie nierealistycznie łatwa. Najpierw podziel dane, a potem dopasuj przetwarzanie wstępne wyłącznie na danych treningowych.
Projektowanie cech pozwala przekuć wiedzę dziedzinową w działający kod, co czyni je jednocześnie potężnym i ryzykownym narzędziem. Model może wykorzystać wygodny sygnał, nie ucząc się zależności, której zespół chciał go nauczyć. Wyciek danych nie jest więc wyłącznie błędem programistycznym; to niedopasowanie warunków ewaluacji do warunków użycia. Ważność cech może pomóc wykryć podejrzane zależności, ale cecha silnie predykcyjna nie jest automatycznie nieprawidłowa. Decydujące pytanie brzmi, czy dana cecha będzie dostępna, będzie oznaczać to samo i będzie konsekwentnie mierzona w chwili podejmowania decyzji.
Uzasadniaj złożoność wynikami bazowymi i jawnymi kompromisami produkcyjnymi
Zacznij od czegoś, co da się sprawdzić. Zanim zbudujesz złożony model, porównaj go z prostymi heurystykami, regułą zawsze przewidującą najczęstszą klasę, wynikami ludzi i każdym istniejącym rozwiązaniem. Następnie ustal prosty model uczenia maszynowego jako punkt odniesienia. Nie chodzi o odrzucanie zaawansowanych metod, lecz o sprawdzenie, czy dodatkowa złożoność poprawia rzeczywiste wykonanie zadania. Porównuj rodziny modeli uczciwie: przyznanie jednej metodzie znacznie większej liczby eksperymentów może sprawić, że będzie wyglądać na lepszą z powodów niezwiązanych z jej konstrukcją.
Wybieraj rozwiązanie z myślą o całym systemie. Dokładność modelu konkuruje z opóźnieniem, kosztem, zapotrzebowaniem na dane, wyjaśnialnością i nakładem pracy potrzebnym do wdrożenia. Odrębne cele, takie jak jakość treści i przewidywanie kliknięć, można modelować niezależnie, a następnie łączyć w rankingu, dzięki czemu ich względne znaczenie da się zmieniać bez ponownego trenowania obu modeli. Zespoły modeli mogą poprawiać dokładność, ale zwiększają obciążenie operacyjne. Automatyczne wyszukiwanie może pomóc w dostrajaniu konfiguracji, choć wymaga czasu i mocy obliczeniowej.
Wyniki bazowe pozwalają dostrzec postępy. Bez nich wynik nie ma praktycznego znaczenia, co pokazuje przykład pozornie dobrego wyniku F1, który można uzyskać także za pomocą losowego predyktora. Nacisk na prostotę chroni również przed częstym błędem organizacyjnym: widoczna nowość techniczna bywa bardziej nagradzana niż niezawodne rozwiązywanie problemów. Prostota nie jest jednak wartością bezwzględną. W zastosowaniu o dużej wartości kosztowny zespół modeli może być uzasadniony. Przydatną zasadą jest proporcjonalność: złożoność powinna przynosić wykazaną poprawę istotną dla użytkowników lub operatorów systemu.
Sprawdzaj zachowanie modelu w różnych podzbiorach danych, przy szumie i pod kątem kalibracji prawdopodobieństw
Jeden wynik ukrywa błędy. Oceniaj skuteczność w istotnych podgrupach, a nie tylko w całym zbiorze testowym. Model może osiągać dobry wynik ogólny, a jednocześnie słabo działać w przypadku grupy mniejszościowej lub ważnego segmentu użytkowników. Ewaluacja według podzbiorów danych polega na porównywaniu wyników w takich podzbiorach. Może ujawnić dyskryminację, zmieniającą się jakość danych, a nawet wadę produktu, na przykład przycisk ukryty na małym ekranie telefonu.
Sprawdzaj, jak zachowują się przewidywania. Testy zaburzeń dodają realistyczny szum do danych wejściowych; testy niezmienniczości sprawdzają, czy nieistotne zmiany, takie jak zmiana imienia lub rasy, nie wpływają na decyzję; testy kierunkowości sprawdzają, czy rozsądne zmiany, na przykład większa powierzchnia działki, nie powodują zmiany przewidywanej ceny domu w niewłaściwą stronę. Kalibracja sprawdza, czy przewidywania opatrzone określonym prawdopodobieństwem sprawdzają się z podaną częstością. Przewidywanie z prawdopodobieństwem 70% powinno sprawdzać się w około 70% porównywalnych przypadków.
Testy te stawiają bogatsze pytanie niż to, czy model dobrze dopasowuje się do odłożonego zbioru danych: czy jego zachowanie jest sensowne przy kontrolowanych zmianach? Łączy to ewaluację z projektowaniem eksperymentów, w których zmiana jednego czynnika naraz pomaga ustalić, co wpływa na wynik. Analiza podgrup jest szczególnie ważna, ponieważ ogólny sukces może ukrywać skoncentrowaną krzywdę. Podgrupy trzeba jednak dobierać rozważnie. Przeszukanie dostatecznie wielu podgrup może ujawnić przypadkowe dysproporcje, a zbyt szerokie grupy mogą ukryć rzeczywiste. Wyniki wymagają interpretacji, odpowiedniej ilości danych i jasnego określenia, które błędy mają największe znaczenie.
Wersjonuj eksperymenty i stale dostosowuj system po wdrożeniu
Prace rozwojowe to pętla. Typowy projekt obejmuje określenie zakresu, inżynierię danych, rozwój modelu, wdrożenie, monitorowanie i analizę biznesową, po czym cykl się powtarza. Model reklamowy może początkowo optymalizować decyzję o wyświetleniu reklamy, a następnie ujawnić, że wyświetlenia nie przekładają się na kliknięcia ani przychody. Zespół może potrzebować zmienić cel, ponownie przeanalizować etykiety lub zebrać nowsze przykłady. Produkcja nie jest ostatnim etapem; dostarcza nowych dowodów na to, czy system działa.
Dbaj o możliwość prześledzenia zmian. Śledzenie eksperymentów rejestruje postęp trenowania, miary i artefakty; wersjonowanie zapisuje wystarczająco dużo szczegółów, by odtworzyć lub porównać przebieg. Ponieważ uczenie maszynowe zależy od kodu, danych i wytrenowanych artefaktów, sama historia zmian kodu nie wystarcza. Duże zbiory danych i zasady ochrony prywatności utrudniają wersjonowanie danych, ale nieśledzone zmiany mogą uniemożliwić odtworzenie obiecującego wyniku. Trenowanie rozproszone dodaje kolejną warstwę wyzwań inżynieryjnych, między innymi opóźnienia w koordynacji i nieaktualne aktualizacje przesyłane między maszynami.
Iteracyjne ujęcie łączy pracę techniczną i ocenę biznesową w jeden cykl sprzężenia zwrotnego. Model może dobrze działać według pierwotnego celu, a mimo to zawieść organizację, jeśli ten cel przestaje odpowiadać potrzebom użytkowników lub operatorów. Przypomina to sterowanie adaptacyjne: system trzeba obserwować i dostosowywać do zmian otoczenia. Odtwarzalność jest częścią tego procesu kontroli, a nie biurokratycznym obowiązkiem. Jednocześnie ciągłe aktualizacje wymagają nadzoru. Szybka zmiana modelu ma sens tylko wtedy, gdy zespoły potrafią wykrywać pogorszenie działania, rozumieć zmiany i przywrócić poprzednią wersję, jeśli nowa przynosi szkody.
Analiza
Główny wkład książki polega na zmianie perspektywy: uczenie maszynowe to nie odosobniony akt dopasowywania funkcji, lecz ciągły układ tworzony przez ludzi, dane, obliczenia i decyzje. Ta zmiana wyjaśnia, dlaczego pozornie drobne wybory inżynieryjne — takie jak moment podziału zbioru danych czy sposób uzupełniania brakujących wartości — mogą mieć większe znaczenie niż nowatorska architektura. Łączy też jakość techniczną z jakością instytucjonalną. Błędna etykieta, źle dobrana miara albo niezweryfikowany wskaźnik zastępczy mogą zakodować założenie organizacji, a następnie konsekwentnie stosować je na dużą skalę.
Najsilniejszym praktycznym wątkiem książki jest nacisk na porównywanie modelu ze światem, z którym rzeczywiście będzie miał do czynienia. Podziały uwzględniające czas, ewaluacja według podzbiorów danych, testy zaburzeń, kalibracja i opóźnienie operacyjne ujawniają różne rodzaje niedopasowania. Łącznie wskazują, że ewaluację należy traktować jako zestaw testów, a nie pojedynczy wynik. Każdy test sprawdza inne założenie: że przyszłe dane przypominają dane z przeszłości, że skuteczność dla poszczególnych grup jest akceptowalna, że zaszumione dane wejściowe pozostają użyteczne albo że przewidywane prawdopodobieństwa oznaczają to, co deklarują.
Kolejny wniosek jest taki, że system uczenia maszynowego stanowi częściowo mechanizm sprzężenia zwrotnego. Przewidywania wpływają na wybory użytkowników, działania biznesowe, a niekiedy także na dane wykorzystywane później do trenowania kolejnego modelu. Stwarza to ryzyko samowzmacniania: system rekomendacyjny może częściej pokazywać określone pozycje, a następnie traktować wynikające z tego kliknięcia jako niezależny dowód ich atrakcyjności. Tekst wskazuje na zmieniające się dane i konflikty między interesariuszami, ale zespół produkcyjny musi również pytać, czy jego działania zmieniają obserwowane dowody.
Pragmatyzm inżynieryjny książki jest cenny, jednak nie każde ryzyko można ograniczyć dzięki lepszym potokom danych. Niektóre decyzje dotyczą spornych definicji sprawiedliwości, dopuszczalnego błędu, prywatności lub korzyści społecznych. To kwestie nadzoru równie mocno co modelowania. Dojrzały proces projektowania uwidacznia więc założenia techniczne, przypisuje odpowiedzialność za kompromisy i zapewnia osobom, na które decyzje wpływają, rzeczywistą możliwość odwołania. Celem praktycznym nie jest jedynie model, który działa, lecz system, którego zachowanie pozostaje zrozumiałe i możliwe do obrony, gdy zmieniają się warunki.
Podsumowanie recenzji
Jak projektowac systemy uczenia maszynowego zbiera wysokie oceny za kompleksowe omówienie MLOps i praktycznego wdrażania systemów uczenia maszynowego. Czytelnicy doceniają skupienie na koncepcjach, a nie konkretnych narzędziach, dzięki czemu książka jest wartościowa zarówno dla początkujących, jak i doświadczonych praktyków. Omawia inżynierię danych i cech, wdrażanie modeli oraz monitorowanie, przedstawiając wyzwania spotykane w rzeczywistych zastosowaniach. Wielu recenzentów uważa ją za lekturę obowiązkową dla analityków danych i inżynierów uczenia maszynowego, zwracając uwagę na jej aktualność w kontekście obecnych praktyk branżowych oraz nacisk na projektowanie systemów uczenia maszynowego od początku do końca.
Inni czytali również
Słowniczek
Projektowanie systemów uczenia maszynowego
Projektowanie kompletnego systemu uczenia maszynowegoProces definiowania elementów systemu uczenia maszynowego, w tym jego interfejsu, algorytmów, danych, infrastruktury i sprzętu, tak aby system spełniał określone wymagania. Obejmuje więcej niż wybór modelu: uwzględnia także potrzeby operacyjne, takie jak niezawodność, skalowalność, łatwość utrzymania i zdolność adaptacji.
Pochodzenie danych
Śledzenie źródeł danychInformacje o tym, skąd pochodzą próbki danych i przypisane im etykiety oraz w jaki sposób zostały pozyskane lub przetworzone. Pochodzenie danych pomaga zespołom badać nieoczekiwane zachowanie modelu, wykrywać różnice między źródłami danych i identyfikować potencjalne błędy systematyczne lub problemy z jakością etykiet. Jest szczególnie przydatne, gdy model zaczyna zawodzić w przypadku niedawno zebranych przykładów.
Wielość etykiet
Sprzeczne etykiety przypisane przykładomProblem pojawiający się, gdy tej samej próbce danych różni anotatorzy, źródła lub definicje przypisują różne etykiety. Anotatorzy mogą na przykład nie zgadzać się co do granic nazwy własnej. Jasne definicje zadań, spójne instrukcje i zapisy dotyczące pochodzenia etykiet pomagają zespołom zrozumieć te rozbieżności i sobie z nimi radzić.
Nadzór słaby (weak supervision)
Generowanie etykiet za pomocą heurystykSposób tworzenia etykiet treningowych z użyciem niedoskonałych reguł lub innych źródeł heurystycznych, zamiast ręcznego etykietowania każdego przykładu. Reguły te często implementuje się jako funkcje etykietujące, które mogą być ze sobą sprzeczne lub pozostawiać przykłady bez etykiet. Niewielki zbiór etykiet zweryfikowanych przez ludzi może pomóc ocenić i udoskonalić reguły przed zastosowaniem ich na dużą skalę.
Aktywne uczenie
Wybieranie przykładów do etykietowaniaStrategia etykietowania, w której model wybiera nieoznaczone przykłady, które prawdopodobnie najbardziej przyczynią się do poprawy jego przewidywań. Przy wyborze można priorytetowo traktować przykłady, co do których model nie jest pewny, albo takie, w przypadku których różne modele kandydujące dają odmienne wyniki. Wybrane przykłady są następnie etykietowane, często przez ludzi, i wykorzystywane do aktualizacji modelu.
Wyciek danych
Informacje o odpowiedzi, które nie będą dostępne, trafiają do treninguRozbieżność polegająca na tym, że informacje związane z etykietą docelową trafiają do cech wykorzystywanych podczas treningu lub do procesu ewaluacji, mimo że nie będą dostępne w chwili dokonywania przewidywań w praktyce. Wyciek danych może wynikać z błędów przy podziale danych według czasu, obecności zduplikowanych przykładów w różnych podzbiorach lub artefaktów związanych ze sposobem zbierania danych. Może prowadzić do zawyżonych wyników testów i słabych rezultatów w rzeczywistych warunkach.
Haszowanie cech
Przypisywanie kategoriom indeksów o stałym rozmiarzeTechnika reprezentowania wartości kategorialnych za pomocą zestawu indeksów o stałym rozmiarze, z użyciem funkcji haszującej. Umożliwia obsługę kategorii, których nie było w danych treningowych, bez konieczności rozszerzania reprezentacji modelu za każdym razem, gdy pojawia się nowa wartość. Różne kategorie mogą zostać przypisane do tego samego indeksu, co nazywa się kolizją, ale odpowiednio dobrana przestrzeń haszowania może ograniczyć jej wpływ.
Feature Store
Zarządzanie wielokrotnego użytku potokami cechUsługa służąca do zarządzania potokami inżynierii cech, ich przechowywania i automatyzacji. Może pomóc zespołom współdzielić cechy i używać ich ponownie, w tym cechy usunięte z jednego modelu, które mogą się przydać gdzie indziej. Książka przedstawia magazyny cech jako jedno z rozwiązań problemów z utrzymaniem, pojawiających się, gdy cechy się zmieniają lub stają się nieaktualne.
Kalibracja modelu
Dopasowywanie prawdopodobieństw do wynikówWłaściwość modelu, którego przewidywane prawdopodobieństwa odpowiadają obserwowanym częstościom. Jeśli model przypisuje zdarzeniu prawdopodobieństwo 70 procent w wielu porównywalnych przewidywaniach, zdarzenie to powinno wystąpić w około 70 procentach przypadków. Kalibracja ma znaczenie, gdy prawdopodobieństwa służą do szacowania wartości łącznych lub odzwierciedlają rzeczywiste prawdopodobieństwa, a nie tylko porządkują opcje.
Ewaluacja według podzbiorów danych
Pomiar skuteczności w poszczególnych podgrupachPodejście do ewaluacji, w którym przykłady dzieli się na znaczące podgrupy, czyli podzbiory danych, i mierzy skuteczność modelu w każdej z nich. Może ujawnić błędy lub rozbieżności ukryte przez średni wynik ogólny i pomóc zidentyfikować ważne segmenty, takie jak typy urządzeń, lokalizacje czy grupy demograficzne. Podzbiory można wyznaczać na podstawie wiedzy dziedzinowej, analizy błędów lub metod automatycznych.
Śledzenie eksperymentów
Rejestrowanie wyników trenowania modeliPraktyka polegająca na rejestrowaniu postępów i wyników poszczególnych przebiegów trenowania modelu. Typowe zapisy obejmują krzywe funkcji straty, metryki ewaluacyjne, szybkość przetwarzania, wykorzystanie sprzętu i istotne wartości parametrów. Śledzenie pomaga zespołom porównywać eksperymenty, wykrywać problemy z treningiem i rozumieć, jak zmiany w modelu lub jego konfiguracji wpływają na skuteczność.
Uczenie transferowe
Ponowne wykorzystanie modelu w różnych zadaniachGrupa metod, w których model wytrenowany do jednego zadania służy jako punkt wyjścia do innego zadania. Model można dostroić na oznaczonych przykładach dotyczących nowego zadania albo, w niektórych sytuacjach, wykorzystać bez przykładów treningowych specyficznych dla tego zadania. Ponowne użycie wyuczonych reprezentacji może ograniczyć ilość nowych oznaczonych danych i zasobów obliczeniowych potrzebnych do realizacji zadania.
FAQ
O czym jest „Jak projektowac systemy uczenia maszynowego”?
- Kompleksowy przewodnik: „Jak projektowac systemy uczenia maszynowego” autorstwa Chip Huyen to kompleksowy przewodnik po tworzeniu gotowych do wdrożenia aplikacji opartych na uczeniu maszynowym. Obejmuje cały cykl życia systemów uczenia maszynowego — od inżynierii danych po wdrażanie i monitorowanie.
- Proces iteracyjny: Książka podkreśla iteracyjny charakter tworzenia systemów uczenia maszynowego oraz znaczenie ciągłego doskonalenia i dostosowywania się do zmieniających się warunków i wymagań.
- Wyzwania rzeczywistych zastosowań: Omawia wyzwania związane z wdrażaniem systemów uczenia maszynowego w praktyce, takie jak zarządzanie danymi, skalowalność i kwestie etyczne, proponując praktyczne rozwiązania i wskazówki.
- Nacisk na środowisko produkcyjne: W odróżnieniu od wielu innych źródeł książka skupia się na praktycznych aspektach wdrażania systemów uczenia maszynowego w środowisku produkcyjnym, dzięki czemu jest wartościowa dla osób pracujących w tej dziedzinie.
Dlaczego warto przeczytać „Jak projektowac systemy uczenia maszynowego”?
- Praktyczne wskazówki: Książka przedstawia praktyczne spojrzenie na wyzwania i rozwiązania związane z wdrażaniem systemów uczenia maszynowego w środowisku produkcyjnym, często pomijane w środowisku akademickim.
- Szeroki zakres tematów: Obejmuje wiele zagadnień — od inżynierii danych i cech po tworzenie i wdrażanie modeli — dając całościowy obraz cyklu życia systemów uczenia maszynowego.
- Przykłady z rzeczywistego świata: Autorka posługuje się rzeczywistymi przykładami i studiami przypadków, by wyjaśniać kluczowe koncepcje, dzięki czemu treści odnoszą się do praktyki i można je zastosować w realnych sytuacjach.
- Doświadczona autorka: Chip Huyen jest doświadczoną inżynierką i edukatorką. Wnosi do książki swoją wiedzę z zakresu projektowania systemów uczenia maszynowego, dzięki czemu jest ona wiarygodnym i cenionym źródłem.
Jakie są najważniejsze wnioski z książki „Jak projektowac systemy uczenia maszynowego”?
- Iteracyjny rozwój: Systemy uczenia maszynowego należy rozwijać iteracyjnie, stale je monitorując i aktualizując, by dostosowywały się do zmieniających się danych i wymagań.
- Kluczowa rola danych: Powodzenie systemów uczenia maszynowego w dużej mierze zależy od jakości i ilości danych, co podkreśla znaczenie inżynierii danych i zarządzania nimi.
- Projektowanie systemu: Projektowanie systemów uczenia maszynowego wymaga uwzględnienia różnych elementów, w tym algorytmów, danych, infrastruktury i sprzętu, tak aby spełnić określone wymagania.
- Kwestie etyczne: Książka podkreśla znaczenie uwzględniania przy wdrażaniu systemów uczenia maszynowego wyzwań etycznych i społecznych, takich jak sprawiedliwość i interpretowalność.
Jakie są najlepsze cytaty z książki „Jak projektowac systemy uczenia maszynowego” i co oznaczają?
- „Dane są niezwykle głupie”. Cytat podkreśla znaczenie inteligentnego projektowania i ograniczenia polegania wyłącznie na danych w systemach uczenia maszynowego.
- „Uczenie maszynowe nie jest magicznym narzędziem, które rozwiązuje wszystkie problemy”. Przypomina, że trzeba starannie rozważyć, kiedy i jak stosować uczenie maszynowe, zamiast traktować je jako uniwersalne rozwiązanie.
- „Złożone systemy uczenia maszynowego składają się z prostszych elementów”. Podkreśla znaczenie zrozumienia i opanowania podstawowych składników systemów uczenia maszynowego, by tworzyć bardziej złożone aplikacje.
- „Zdecydowana większość miejsc pracy związanych z uczeniem maszynowym dotyczyła — i już dotyczy — wdrażania go w środowisku produkcyjnym”. Cytat odzwierciedla rosnące zapotrzebowanie na umiejętności wdrażania i utrzymywania systemów uczenia maszynowego w środowiskach produkcyjnych.
Jak książka „Jak projektowac systemy uczenia maszynowego” podchodzi do inżynierii danych?
- Znaczenie danych: Książka podkreśla kluczową rolę danych w tworzeniu skutecznych systemów uczenia maszynowego oraz potrzebę sprawnego zarządzania nimi i ich przetwarzania.
- Źródła danych: Omawia różne źródła danych, w tym dane wprowadzane przez użytkowników, generowane przez systemy i pochodzące od zewnętrznych dostawców, a także ich znaczenie dla systemów uczenia maszynowego.
- Formaty danych: Przedstawia różne formaty serializacji danych, takie jak JSON, CSV i Parquet, oraz ich przydatność w różnych zastosowaniach.
- Proces ETL: Wyjaśnia proces ETL (Extract, Transform, Load — ekstrakcja, transformacja i ładowanie), niezbędny do przygotowania danych na potrzeby aplikacji wykorzystujących uczenie maszynowe.
Na czym polega iteracyjny proces projektowania systemów uczenia maszynowego opisany w książce „Jak projektowac systemy uczenia maszynowego”?
- Określenie zakresu projektu: Proces rozpoczyna się od określenia zakresu projektu, celów, założeń, ograniczeń i kryteriów ewaluacji.
- Inżynieria danych: Obejmuje przetwarzanie i przekształcanie danych w celu utworzenia zbiorów treningowych, co ma kluczowe znaczenie dla tworzenia modeli.
- Tworzenie modelu: Ten etap obejmuje generowanie cech, trenowanie modeli, ich optymalizację i ocenę skuteczności.
- Wdrażanie i monitorowanie: Po wdrożeniu modele trzeba monitorować pod kątem spadku skuteczności i aktualizować, by dostosowywały się do zmieniających się warunków i wymagań.
Jak książka „Jak projektowac systemy uczenia maszynowego” omawia tworzenie i ewaluację modeli?
- Wybór modelu: Książka omawia, jak dobrać model do problemu, uwzględniając takie czynniki jak skuteczność, interpretowalność i wymagania obliczeniowe.
- Techniki trenowania: Opisuje techniki trenowania, w tym trening rozproszony i śledzenie eksperymentów, które pozwalają obsługiwać duże modele i zbiory danych.
- Metody ewaluacji: Podkreśla znaczenie rzetelnych metod ewaluacji, takich jak testy perturbacyjne i ewaluacja według podzbiorów danych, by zapewnić niezawodność i sprawiedliwość modelu.
- AutoML: Omawia zastosowanie zautomatyzowanego uczenia maszynowego (AutoML) do strojenia hiperparametrów i przeszukiwania architektur w celu optymalizacji skuteczności modelu.
Jakie wyzwania wiążą się z wdrażaniem systemów uczenia maszynowego w środowisku produkcyjnym według książki „Jak projektowac systemy uczenia maszynowego”?
- Skalowalność: Systemy uczenia maszynowego muszą być skalowalne, aby obsługiwać duże ilości danych i ruchu. Wymaga to sprawnego zarządzania zasobami i odpowiedniej infrastruktury.
- Niezawodność: Systemy powinny działać niezawodnie i prawidłowo mimo awarii sprzętu lub oprogramowania oraz błędów ludzkich.
- Wyzwania etyczne: Wdrażanie systemów uczenia maszynowego wymaga rozwiązywania problemów etycznych, takich jak sprawiedliwość, interpretowalność i stronniczość, aby zapewnić odpowiedzialne wykorzystanie AI.
- Zarządzanie danymi: Sprawne zarządzanie danymi ma kluczowe znaczenie, ponieważ dane w środowisku produkcyjnym często są nieuporządkowane, stale się zmieniają i podlegają wymogom prywatności oraz regulacjom.
Jak książka „Jak projektowac systemy uczenia maszynowego” omawia inżynierię cech?
- Znaczenie cech: Książka omawia znaczenie inżynierii cech dla poprawy skuteczności modelu i przedstawia techniki radzenia sobie z brakującymi wartościami, skalowania oraz kodowania cech kategorialnych.
- Wyciek danych: Zwraca uwagę na ryzyko wycieku danych, gdy informacje z przyszłości lub ze zbioru testowego trafiają do procesu treningu, i przedstawia strategie wykrywania tego zjawiska oraz zapobiegania mu.
- Uogólnianie cech: Podkreśla potrzebę tworzenia cech, które dobrze uogólniają się na nieznane dane, z uwzględnieniem takich czynników jak zakres pokrycia cech i ich rozkład.
- Cechy krzyżowe: Omawia tworzenie cech krzyżowych w celu modelowania nieliniowych zależności między zmiennymi, co może zwiększyć skuteczność modelu.
Jaką rolę odgrywa AutoML w książce „Jak projektowac systemy uczenia maszynowego”?
- Strojenie hiperparametrów: AutoML służy do strojenia hiperparametrów i automatyzuje wyszukiwanie optymalnego ich zestawu dla danego modelu.
- Przeszukiwanie architektur: Książka omawia przeszukiwanie architektur sieci neuronowych (NAS), które automatyzuje projektowanie architektury modelu przez wyszukiwanie najlepszego układu podstawowych elementów.
- Wyuczone optymalizatory: Omawia koncepcję wyuczonych optymalizatorów, które zastępują tradycyjne algorytmy uczenia sieciami neuronowymi, by usprawnić trenowanie modeli.
- Wydajność i skuteczność: Techniki AutoML, takie jak EfficientNets, pokazują znaczną poprawę trafności i wydajności modeli, dzięki czemu są przydatne w systemach produkcyjnych.
Jak książka „Jak projektowac systemy uczenia maszynowego” omawia kwestie etyczne związane z uczeniem maszynowym?
- Sprawiedliwość: Książka podkreśla znaczenie sprawiedliwości w systemach uczenia maszynowego oraz potrzebę eliminowania stronniczości i zapewnienia równego traktowania wszystkich użytkowników.
- Interpretowalność: Omawia potrzebę interpretowalności modeli uczenia maszynowego, która pozwala użytkownikom zrozumieć i ufać decyzjom podejmowanym przez system.
- Wykrywanie stronniczości: Przedstawia metody wykrywania i ograniczania stronniczości w modelach uczenia maszynowego, takie jak testy niezmienniczości i ewaluacja według podzbiorów danych.
- Wpływ społeczny: Zwraca uwagę na potencjalny wpływ systemów uczenia maszynowego na społeczeństwo i zachęca praktyków do uwzględniania etycznych konsekwencji swojej pracy.
Jakie są najlepsze praktyki wdrażania systemów uczenia maszynowego w środowisku produkcyjnym według książki „Jak projektowac systemy uczenia maszynowego”?
- Iteracyjny rozwój: Książka zaleca iteracyjny proces rozwoju, obejmujący ciągłe monitorowanie i aktualizacje, by dostosowywać systemy do zmieniających się danych i wymagań.
- Skalowalna infrastruktura: Podkreśla potrzebę skalowalnej infrastruktury do obsługi dużych ilości danych i ruchu oraz zapewnienia sprawnego zarządzania zasobami.
- Rzetelna ewaluacja: Zwraca uwagę na znaczenie rzetelnych metod ewaluacji, takich jak testy perturbacyjne i kalibracja modelu, by zapewnić niezawodność i sprawiedliwość modeli.
- Kwestie etyczne: Podkreśla wagę rozwiązywania problemów etycznych, takich jak sprawiedliwość i interpretowalność, by zapewnić odpowiedzialne wykorzystanie AI w systemach produkcyjnych.
Pobierz PDF
Pobierz EPUB
.epub idealnie nadaje się do czytania e-booków na telefonach, tabletach i czytnikach.