Rozpocznij darmowy okres próbny
Popularne Nowości Gatunki Autorzy
EnglishEnglish
EspañolSpanish
简体中文Chinese
繁體中文Chinese (Traditional)
FrançaisFrench
DeutschGerman
日本語Japanese
PortuguêsPortuguese
ItalianoItalian
한국어Korean
РусскийRussian
NederlandsDutch
العربيةArabic
PolskiPolish
हिन्दीHindi
Tiếng ViệtVietnamese
SvenskaSwedish
ΕλληνικάGreek
TürkçeTurkish
ไทยThai
ČeštinaCzech
RomânăRomanian
MagyarHungarian
УкраїнськаUkrainian
IndonesiaIndonesian
DanskDanish
SuomiFinnish
БългарскиBulgarian
עבריתHebrew
NorskNorwegian
HrvatskiCroatian
CatalàCatalan
SlovenčinaSlovak
LietuviųLithuanian
SlovenščinaSlovenian
СрпскиSerbian
EestiEstonian
LatviešuLatvian
فارسیPersian
മലയാളംMalayalam
தமிழ்Tamil
اردوUrdu
Wyszukiwanie...
SoBrief
Jak projektowac systemy uczenia maszynowego

Jak projektowac systemy uczenia maszynowego

Tytuł oryginalny: Designing Machine Learning Systems
Spraw, by uczenie maszynowe działało w środowisku produkcyjnym: zadbaj o dane, metryki i wdrożenie.
autor: Chip Huyen 2022 368 stron
4.45
1000+ ocen
Słuchaj
Immersyjne
V2.3
Amazon Kindle Audible
Wypróbuj pełny dostęp przez 3 dni
Odblokuj słuchanie i więcej!
Kontynuuj

Kluczowe wnioski

Traktuj model jako jeden z elementów działającego systemu produkcyjnego

Model to tylko jeden z elementów. Produkcyjny system uczenia maszynowego obejmuje również interfejsy, z których korzystają ludzie, potok danych, infrastrukturę obliczeniową i sprzęt. Uruchomienie w 2016 roku neuronowego tłumaczenia w Google Translate pokazało, co model potrafi osiągnąć na dużą skalę, ale sam model nie wyjaśnia, jak zapewnić niezawodne dotarcie takiej usługi do użytkowników. Projektowanie całego systemu obejmuje określenie, jak połączyć te elementy i co ma zapewniać aplikacja.

Projektuj z myślą o czterech wymaganiach. Niezawodny system powinien działać poprawnie mimo awarii, skalować dostępne zasoby w górę i w dół zależnie od zapotrzebowania, pozostawać łatwy w utrzymaniu przez różne zespoły oraz dostosowywać się do zmian danych i potrzeb biznesowych. Awaria może być niewidoczna: oprogramowanie może działać prawidłowo, a jednocześnie generować błędne prognozy. Gotowość do wdrożenia produkcyjnego jest więc cechą systemu, a nie wynikiem modelu.

Analiza

Uderza to, jak takie ujęcie zmienia miarę sukcesu. Model nie jest gotowym produktem, tak jak silnik nie jest gotowym samochodem: użytkownicy doświadczają całego łańcucha, łącznie z opóźnieniami, przerwami w działaniu i błędnymi danymi wejściowymi. Inżynieria niezawodności stanowi tu użyteczny punkt odniesienia, bo bada, jak awarie poszczególnych elementów wpływają na siebie nawzajem, zamiast pytać, czy każdy z nich działa osobno. Cztery wymagania mogą też pozostawać ze sobą w konflikcie. Na przykład szybkie skalowanie może zwiększyć złożoność operacyjną. Jasne określenie tych wymagań pomaga zespołom rozmawiać o kompromisach, zanim pozorna dokładność modelu przesłoni kruchość usługi.

Stosuj uczenie maszynowe tylko wtedy, gdy uzasadniają je wzorce, dane i powtarzalne przewidywania

Sprawdź, czy przewidywanie pasuje do zadania. Uczenie maszynowe pozwala uczyć się złożonych wzorców na podstawie istniejących danych, a następnie wykorzystywać je do przewidywań dotyczących nowych danych. Dlatego jest kiepskim narzędziem do prostego wyszukiwania, na przykład przypisywania kodu pocztowego do stanu, albo do przewidywania wyniku rzutu uczciwą kostką, gdzie nie ma użytecznego wzorca. Lepszym przykładem jest model ceny wynajmu: na cenę wpływa wiele cech oferty, a ręczne określenie ich wzajemnych zależności jest trudne.

Wymagaj praktycznego uzasadnienia. Zadanie wymaga odpowiednich danych, powtarzających się przewidywań oraz wartości wystarczającej, by uzasadnić inwestycję w dane, moc obliczeniową, infrastrukturę i wiedzę specjalistyczną. Przypadki, których model wcześniej nie widział, muszą przypominać dane użyte do jego trenowania. Jeśli błąd mógłby mieć katastrofalne skutki, prostsze rozwiązanie jest tańsze albo zastosowanie jest nieetyczne, uczenie maszynowe może być niewłaściwym wyborem. Czasem lepsze jest węższe zastosowanie: automatyzacja prostych pytań kierowanych do pomocy technicznej, a przekazywanie niepewnych przypadków człowiekowi.

Analiza

Uderza to, jak takie ujęcie zmienia sposób definiowania sukcesu. Model nie jest gotowym produktem, tak jak silnik nie jest gotowym samochodem: użytkownicy doświadczają całego łańcucha, wraz z opóźnieniami, przerwami w działaniu i błędnymi danymi wejściowymi. Inżynieria niezawodności stanowi tu użyteczny punkt odniesienia, bo pyta, jak awarie poszczególnych elementów na siebie wpływają, zamiast sprawdzać, czy każdy działa w izolacji. Cztery wymagania mogą też pozostawać ze sobą w konflikcie. Na przykład szybkie skalowanie może zwiększać złożoność operacyjną. Wyraźne określenie tych wymagań pomaga zespołom omawiać kompromisy, zanim pozorna dokładność modelu przesłoni kruchość usługi.

Optymalizuj usługę potrzebną użytkownikom, a nie wynik w rankingu

W produkcji ścierają się różne cele. W systemie polecającym restauracje inżynierowie mogą dążyć do zwiększenia liczby zamówień, zespół sprzedaży może faworyzować płatne umieszczenia, menedżerowie produktu mogą wymagać niskich opóźnień, a zespół infrastruktury może sprzeciwiać się modelowi trudnemu do skalowania. Żaden pojedynczy wynik dokładności nie rozwiąże tych konfliktów. Niewielka poprawa modelu ma znaczenie tylko wtedy, gdy poprawia wyniki biznesowe lub korzyści użytkowników na tyle, by uzasadnić dodatkową złożoność.

Mierz doświadczenie po wdrożeniu. W badaniach często nagradza się szybkie trenowanie i wyniki na testach porównawczych. W produkcji większe znaczenie mają zwykle szybkość wnioskowania, zmieniające się dane, sprawiedliwość i interpretowalność. Eksperymenty Google wykazały, że zwiększenie opóźnienia wyszukiwania ze 100 do 400 milisekund zmniejszało dzienną liczbę wyszukiwań na użytkownika o 0,2–0,6%. Model może też powielać historyczną dyskryminację na ogromną skalę, a nieprzejrzystą decyzję trudno zdiagnozować lub uznać za wiarygodną.

Analiza

Przejście od wyników na testach porównawczych do jakości usługi oznacza odejście od optymalizacji wskaźnika zastępczego na rzecz uzgadniania celów różnych interesariuszy. To dobrze znany problem w ekonomii i administracji publicznej: mierzalne cele mogą wypierać wartości trudniejsze do zmierzenia. Przykłady konkretnie pokazują koszty, zwłaszcza gdy opóźnienie zmienia zachowanie użytkowników albo stronniczy błąd krzywdzi mniejszą grupę. Nie oznacza to jednak, że każda decyzja musi być interpretowalna. Znaczenie interpretowalności zależy od konsekwencji, możliwości odwołania się od decyzji oraz od tego, czy wyjaśnienie rzeczywiście może pomóc komuś ją skontrolować lub zakwestionować.

Inwestuj w wiarygodne potoki danych, zanim zaczniesz szukać bardziej pomysłowego algorytmu

Jakość danych kształtuje jakość modelu. Książka opisuje rosnącą zależność tej dziedziny od danych: od benchmarku językowego zawierającego 0,8 miliarda tokenów w 2013 roku po dane treningowe GPT-3, liczące 500 miliardów tokenów w 2020 roku. Więcej danych nie oznacza automatycznie lepszych danych: nieaktualne przykłady i błędne etykiety mogą pogorszyć działanie modelu. Dane produkcyjne mogą pochodzić od użytkowników, z dzienników systemowych, wewnętrznych baz danych lub od zewnętrznych dostawców, a każde z tych źródeł wiąże się z innymi kwestiami jakości, dostępu i prywatności.

Zbuduj drogę od źródła do zastosowania. ETL oznacza pobieranie danych, ich przekształcanie przez walidację i czyszczenie, a następnie ładowanie do miejsca, z którego mogą korzystać aplikacje. Znaczenie ma też wybór sposobu przechowywania. Formaty zorientowane na wiersze sprawdzają się przy częstym zapisywaniu rekordów; formaty zorientowane na kolumny — przy zapytaniach odczytujących wybrane cechy z wielu rekordów. Jezioro danych może przechowywać surowe i różnorodne dane, a hurtownia danych — bardziej ustrukturyzowany materiał, gotowy do analizy.

Analiza

Nacisk na dane to coś więcej niż praktyczna preferencja. Uznaje, że system uczenia maszynowego dziedziczy założenia pomiarowe wbudowane w swoje rekordy: co zebrano, kto został uwzględniony i które błędy zachowano. Potoki danych przypominają więc instrumenty naukowe. Wadliwy instrument może dawać wyniki pozornie precyzyjne, a jednak systematycznie błędne. Ta analogia wyjaśnia również, dlaczego sama ilość danych jest słabym dowodem ich jakości. Inwestowanie w dane ma jednak swoje granice: ich gromadzenie może być kosztowne lub naruszać prywatność, a sam proces zbierania może stwarzać zagrożenia. Dobra inżynieria obejmuje również decyzję, czego nie zbierać.

Traktuj etykietowanie jako infrastrukturę produktu, a nie jednorazowy koszt anotacji

Etykietowanie wymaga procesu. Modele nadzorowane uczą się na przykładach połączonych z odpowiedziami, ale etykietowanie może być powolne, kosztowne, wrażliwe z punktu widzenia prywatności i niespójne. W rozpoznawaniu jednostek trzy osoby anotujące mogą nie zgodzić się, czy wyrażenie stanowi jedną jednostkę, czy kilka. Jasna definicja i wspólne instrukcje ograniczają możliwe do uniknięcia rozbieżności. Śledzenie pochodzenia każdego przykładu i każdej etykiety, czyli pochodzenie danych, pomaga zespołom badać awarie spowodowane nowym źródłem albo zmianą jakości anotacji.

Oszczędnie gospodaruj rzadką wiedzą specjalistyczną. Nadzór słaby (weak supervision) wykorzystuje reguły zwane funkcjami etykietującymi, aby na dużą skalę generować niedoskonałe etykiety. Uczenie częściowo nadzorowane wykorzystuje niewielki, oznakowany zbiór do wnioskowania o etykietach podobnych przykładów. Uczenie transferowe dostosowuje model wytrenowany do innego zadania, a aktywne uczenie wybiera przykłady szczególnie przydatne do oznakowania. W opisanym w książce badaniu obrazowania medycznego osiem godzin pracy nad regułami przyniosło wyniki porównywalne z procesem obejmującym niemal rok ręcznego etykietowania.

Analiza

Etykietowanie często traktuje się jak pracę administracyjną, ale przykład rozbieżności w wyznaczaniu granic jednostek pokazuje, że jest ono również formą projektowania pomiaru. Zespół musi ustalić, co uznaje za przewidywany obiekt, zanim model będzie mógł się tego nauczyć. Etykietowanie programowe pozwala wielokrotnie wykorzystywać wiedzę specjalistyczną i przyspieszać iteracje, ale może też powielić błędną regułę w całym dużym zbiorze danych. Niewielka próbka sprawdzona przez człowieka jest cenna nie tylko jako zalążek automatyzacji, lecz także jako stała kontrola tego, czy procedura etykietowania nadal odpowiada zadaniu.

Uwzględniaj rzadkie błędy zarówno w trenowaniu, jak i ewaluacji

Dokładność ogólna może wprowadzać w błąd. W zbiorze danych do badań przesiewowych w kierunku raka, w którym 99,99% skanów jest prawidłowych, model zawsze przewidujący prawidłowy wynik osiąga pozornie 99,99% dokładności, choć nie wykrywa żadnego nowotworu. Problemem jest niezrównoważenie klas: jedna kategoria występuje znacznie rzadziej niż inna, mimo że często ma poważniejsze konsekwencje. Stosuj miary dla poszczególnych klas, takie jak czułość i F1, i badaj kompromis między przeoczonymi przypadkami a fałszywymi alarmami, zamiast ufać zagregowanej dokładności.

Zmień to, co model widzi lub za co otrzymuje karę. Nadpróbkowanie dodaje przykłady z mniejszościowej klasy; podpróbkowanie usuwa część przykładów z klasy dominującej. Ważone funkcje straty mogą nadawać większe znaczenie kosztownym błędom, a funkcja straty focal loss kładzie nacisk na przykłady, które model nadal ma trudności poprawnie rozpoznać. Augmentacja tworzy dodatkowe przykłady treningowe przez zmiany zachowujące etykietę, takie jak przycięcie obrazu, albo przez syntetyzowanie kombinacji przykładów. Metody te pomagają tylko wtedy, gdy ich założenia odpowiadają rzeczywistemu zadaniu.

Analiza

Problemy związane ze zdarzeniami rzadkimi uwidaczniają różnicę między częstością statystyczną a znaczeniem dla ludzi. Miara traktująca każdy przykład jednakowo może być matematycznie schludna, a zarazem nieodpowiedzialna operacyjnie, jeśli przeoczenie jednego przypadku jest znacznie kosztowniejsze niż innego. Wiąże się to ściśle z teorią decyzji, zgodnie z którą wybór progu zależy od kosztu poszczególnych błędów, a nie tylko od średniej skuteczności modelu. Ponowne próbkowanie i ważenie to przydatne narzędzia, ale nie tworzą brakujących dowodów. Zespoły nadal muszą pytać, czy przykłady mniejszościowe są reprezentatywne oraz czy przykłady syntetyczne zachowują istotne różnice.

Kontroluj cechy pod kątem informacji o przyszłości, pokrycia danych i znaczenia w rzeczywistym świecie

Cechy mogą pomagać albo wprowadzać w błąd. Cecha to informacja przekazywana modelowi. Głębokie uczenie może uczyć się użytecznych reprezentacji z surowego tekstu lub obrazów, ale wiele systemów nadal korzysta z informacji dziedzinowych, na przykład o tym, kto opublikował komentarz albo jak popularny jest wątek dyskusji. Cechy wymagają odpowiedniego traktowania: brakujące wartości mogą nieść informację, a kategorie, takie jak marki produktów, mogą się zmieniać po trenowaniu. Haszowanie cech odwzorowuje kategorie w przestrzeni numerycznej o ustalonym rozmiarze, dzięki czemu można reprezentować także nowe kategorie, choć czasem dochodzi do kolizji.

Chroń się przed wyciekiem danych. Wyciek danych występuje wtedy, gdy podczas trenowania wykorzystywane są informacje powiązane z odpowiedzią, które nie będą dostępne w chwili, gdy model będzie dokonywał rzeczywistych przewidywań. Aparat do skanowania w szpitalu może niezamierzenie zdradzać, których pacjentów lekarze już podejrzewają o raka. Losowy podział powiązanych z czasem przykładów, skalowanie przed podziałem albo umieszczenie duplikatów zarówno w zbiorze treningowym, jak i testowym również mogą sprawić, że ewaluacja będzie nierealistycznie łatwa. Najpierw podziel dane, a potem dopasuj przetwarzanie wstępne wyłącznie na danych treningowych.

Analiza

Projektowanie cech pozwala przekuć wiedzę dziedzinową w działający kod, co czyni je jednocześnie potężnym i ryzykownym narzędziem. Model może wykorzystać wygodny sygnał, nie ucząc się zależności, której zespół chciał go nauczyć. Wyciek danych nie jest więc wyłącznie błędem programistycznym; to niedopasowanie warunków ewaluacji do warunków użycia. Ważność cech może pomóc wykryć podejrzane zależności, ale cecha silnie predykcyjna nie jest automatycznie nieprawidłowa. Decydujące pytanie brzmi, czy dana cecha będzie dostępna, będzie oznaczać to samo i będzie konsekwentnie mierzona w chwili podejmowania decyzji.

Uzasadniaj złożoność wynikami bazowymi i jawnymi kompromisami produkcyjnymi

Zacznij od czegoś, co da się sprawdzić. Zanim zbudujesz złożony model, porównaj go z prostymi heurystykami, regułą zawsze przewidującą najczęstszą klasę, wynikami ludzi i każdym istniejącym rozwiązaniem. Następnie ustal prosty model uczenia maszynowego jako punkt odniesienia. Nie chodzi o odrzucanie zaawansowanych metod, lecz o sprawdzenie, czy dodatkowa złożoność poprawia rzeczywiste wykonanie zadania. Porównuj rodziny modeli uczciwie: przyznanie jednej metodzie znacznie większej liczby eksperymentów może sprawić, że będzie wyglądać na lepszą z powodów niezwiązanych z jej konstrukcją.

Wybieraj rozwiązanie z myślą o całym systemie. Dokładność modelu konkuruje z opóźnieniem, kosztem, zapotrzebowaniem na dane, wyjaśnialnością i nakładem pracy potrzebnym do wdrożenia. Odrębne cele, takie jak jakość treści i przewidywanie kliknięć, można modelować niezależnie, a następnie łączyć w rankingu, dzięki czemu ich względne znaczenie da się zmieniać bez ponownego trenowania obu modeli. Zespoły modeli mogą poprawiać dokładność, ale zwiększają obciążenie operacyjne. Automatyczne wyszukiwanie może pomóc w dostrajaniu konfiguracji, choć wymaga czasu i mocy obliczeniowej.

Analiza

Wyniki bazowe pozwalają dostrzec postępy. Bez nich wynik nie ma praktycznego znaczenia, co pokazuje przykład pozornie dobrego wyniku F1, który można uzyskać także za pomocą losowego predyktora. Nacisk na prostotę chroni również przed częstym błędem organizacyjnym: widoczna nowość techniczna bywa bardziej nagradzana niż niezawodne rozwiązywanie problemów. Prostota nie jest jednak wartością bezwzględną. W zastosowaniu o dużej wartości kosztowny zespół modeli może być uzasadniony. Przydatną zasadą jest proporcjonalność: złożoność powinna przynosić wykazaną poprawę istotną dla użytkowników lub operatorów systemu.

Sprawdzaj zachowanie modelu w różnych podzbiorach danych, przy szumie i pod kątem kalibracji prawdopodobieństw

Jeden wynik ukrywa błędy. Oceniaj skuteczność w istotnych podgrupach, a nie tylko w całym zbiorze testowym. Model może osiągać dobry wynik ogólny, a jednocześnie słabo działać w przypadku grupy mniejszościowej lub ważnego segmentu użytkowników. Ewaluacja według podzbiorów danych polega na porównywaniu wyników w takich podzbiorach. Może ujawnić dyskryminację, zmieniającą się jakość danych, a nawet wadę produktu, na przykład przycisk ukryty na małym ekranie telefonu.

Sprawdzaj, jak zachowują się przewidywania. Testy zaburzeń dodają realistyczny szum do danych wejściowych; testy niezmienniczości sprawdzają, czy nieistotne zmiany, takie jak zmiana imienia lub rasy, nie wpływają na decyzję; testy kierunkowości sprawdzają, czy rozsądne zmiany, na przykład większa powierzchnia działki, nie powodują zmiany przewidywanej ceny domu w niewłaściwą stronę. Kalibracja sprawdza, czy przewidywania opatrzone określonym prawdopodobieństwem sprawdzają się z podaną częstością. Przewidywanie z prawdopodobieństwem 70% powinno sprawdzać się w około 70% porównywalnych przypadków.

Analiza

Testy te stawiają bogatsze pytanie niż to, czy model dobrze dopasowuje się do odłożonego zbioru danych: czy jego zachowanie jest sensowne przy kontrolowanych zmianach? Łączy to ewaluację z projektowaniem eksperymentów, w których zmiana jednego czynnika naraz pomaga ustalić, co wpływa na wynik. Analiza podgrup jest szczególnie ważna, ponieważ ogólny sukces może ukrywać skoncentrowaną krzywdę. Podgrupy trzeba jednak dobierać rozważnie. Przeszukanie dostatecznie wielu podgrup może ujawnić przypadkowe dysproporcje, a zbyt szerokie grupy mogą ukryć rzeczywiste. Wyniki wymagają interpretacji, odpowiedniej ilości danych i jasnego określenia, które błędy mają największe znaczenie.

Wersjonuj eksperymenty i stale dostosowuj system po wdrożeniu

Prace rozwojowe to pętla. Typowy projekt obejmuje określenie zakresu, inżynierię danych, rozwój modelu, wdrożenie, monitorowanie i analizę biznesową, po czym cykl się powtarza. Model reklamowy może początkowo optymalizować decyzję o wyświetleniu reklamy, a następnie ujawnić, że wyświetlenia nie przekładają się na kliknięcia ani przychody. Zespół może potrzebować zmienić cel, ponownie przeanalizować etykiety lub zebrać nowsze przykłady. Produkcja nie jest ostatnim etapem; dostarcza nowych dowodów na to, czy system działa.

Dbaj o możliwość prześledzenia zmian. Śledzenie eksperymentów rejestruje postęp trenowania, miary i artefakty; wersjonowanie zapisuje wystarczająco dużo szczegółów, by odtworzyć lub porównać przebieg. Ponieważ uczenie maszynowe zależy od kodu, danych i wytrenowanych artefaktów, sama historia zmian kodu nie wystarcza. Duże zbiory danych i zasady ochrony prywatności utrudniają wersjonowanie danych, ale nieśledzone zmiany mogą uniemożliwić odtworzenie obiecującego wyniku. Trenowanie rozproszone dodaje kolejną warstwę wyzwań inżynieryjnych, między innymi opóźnienia w koordynacji i nieaktualne aktualizacje przesyłane między maszynami.

Analiza

Iteracyjne ujęcie łączy pracę techniczną i ocenę biznesową w jeden cykl sprzężenia zwrotnego. Model może dobrze działać według pierwotnego celu, a mimo to zawieść organizację, jeśli ten cel przestaje odpowiadać potrzebom użytkowników lub operatorów. Przypomina to sterowanie adaptacyjne: system trzeba obserwować i dostosowywać do zmian otoczenia. Odtwarzalność jest częścią tego procesu kontroli, a nie biurokratycznym obowiązkiem. Jednocześnie ciągłe aktualizacje wymagają nadzoru. Szybka zmiana modelu ma sens tylko wtedy, gdy zespoły potrafią wykrywać pogorszenie działania, rozumieć zmiany i przywrócić poprzednią wersję, jeśli nowa przynosi szkody.

Analiza

Główny wkład książki polega na zmianie perspektywy: uczenie maszynowe to nie odosobniony akt dopasowywania funkcji, lecz ciągły układ tworzony przez ludzi, dane, obliczenia i decyzje. Ta zmiana wyjaśnia, dlaczego pozornie drobne wybory inżynieryjne — takie jak moment podziału zbioru danych czy sposób uzupełniania brakujących wartości — mogą mieć większe znaczenie niż nowatorska architektura. Łączy też jakość techniczną z jakością instytucjonalną. Błędna etykieta, źle dobrana miara albo niezweryfikowany wskaźnik zastępczy mogą zakodować założenie organizacji, a następnie konsekwentnie stosować je na dużą skalę.

Najsilniejszym praktycznym wątkiem książki jest nacisk na porównywanie modelu ze światem, z którym rzeczywiście będzie miał do czynienia. Podziały uwzględniające czas, ewaluacja według podzbiorów danych, testy zaburzeń, kalibracja i opóźnienie operacyjne ujawniają różne rodzaje niedopasowania. Łącznie wskazują, że ewaluację należy traktować jako zestaw testów, a nie pojedynczy wynik. Każdy test sprawdza inne założenie: że przyszłe dane przypominają dane z przeszłości, że skuteczność dla poszczególnych grup jest akceptowalna, że zaszumione dane wejściowe pozostają użyteczne albo że przewidywane prawdopodobieństwa oznaczają to, co deklarują.

Kolejny wniosek jest taki, że system uczenia maszynowego stanowi częściowo mechanizm sprzężenia zwrotnego. Przewidywania wpływają na wybory użytkowników, działania biznesowe, a niekiedy także na dane wykorzystywane później do trenowania kolejnego modelu. Stwarza to ryzyko samowzmacniania: system rekomendacyjny może częściej pokazywać określone pozycje, a następnie traktować wynikające z tego kliknięcia jako niezależny dowód ich atrakcyjności. Tekst wskazuje na zmieniające się dane i konflikty między interesariuszami, ale zespół produkcyjny musi również pytać, czy jego działania zmieniają obserwowane dowody.

Pragmatyzm inżynieryjny książki jest cenny, jednak nie każde ryzyko można ograniczyć dzięki lepszym potokom danych. Niektóre decyzje dotyczą spornych definicji sprawiedliwości, dopuszczalnego błędu, prywatności lub korzyści społecznych. To kwestie nadzoru równie mocno co modelowania. Dojrzały proces projektowania uwidacznia więc założenia techniczne, przypisuje odpowiedzialność za kompromisy i zapewnia osobom, na które decyzje wpływają, rzeczywistą możliwość odwołania. Celem praktycznym nie jest jedynie model, który działa, lecz system, którego zachowanie pozostaje zrozumiałe i możliwe do obrony, gdy zmieniają się warunki.

Podsumowanie w 30 sekund
Użyteczny system uczenia maszynowego zależy od wiarygodnych danych, infrastruktury i usługi dla użytkowników, a nie tylko od modelu. Wybierz uczenie maszynowe, gdy powtarzające się przewidywania, znaczące wzorce i odpowiednie dane uzasadniają jego koszt. Mierz rzeczywiste rezultaty obok trafności: wydłużenie czasu odpowiedzi wyszukiwarki ze 100 do 400 milisekund zmniejszyło liczbę codziennych wyszukiwań o 0,2–0,6%. Trafność ogólna może ukrywać błędy dotyczące rzadkich przypadków, jak w modelu, który osiąga trafność 99,99%, nie wykrywając żadnego przypadku raka w badaniach obrazowych. Testuj podgrupy, realistyczny szum i kalibrację prawdopodobieństw, a po wdrożeniu monitoruj system i wprowadzaj poprawki.
Zawiera spoilery

Ostatnia aktualizacja:

Zgłoś problem

Podsumowanie recenzji

4.45 z 5
Średnia z 1000+ ocen z Goodreads i Amazon.

Jak projektowac systemy uczenia maszynowego zbiera wysokie oceny za kompleksowe omówienie MLOps i praktycznego wdrażania systemów uczenia maszynowego. Czytelnicy doceniają skupienie na koncepcjach, a nie konkretnych narzędziach, dzięki czemu książka jest wartościowa zarówno dla początkujących, jak i doświadczonych praktyków. Omawia inżynierię danych i cech, wdrażanie modeli oraz monitorowanie, przedstawiając wyzwania spotykane w rzeczywistych zastosowaniach. Wielu recenzentów uważa ją za lekturę obowiązkową dla analityków danych i inżynierów uczenia maszynowego, zwracając uwagę na jej aktualność w kontekście obecnych praktyk branżowych oraz nacisk na projektowanie systemów uczenia maszynowego od początku do końca.

Twoja ocena:
4.65
370 ocen
Chcesz przeczytać całą książkę?

Słowniczek

Projektowanie systemów uczenia maszynowego

Projektowanie kompletnego systemu uczenia maszynowego

Proces definiowania elementów systemu uczenia maszynowego, w tym jego interfejsu, algorytmów, danych, infrastruktury i sprzętu, tak aby system spełniał określone wymagania. Obejmuje więcej niż wybór modelu: uwzględnia także potrzeby operacyjne, takie jak niezawodność, skalowalność, łatwość utrzymania i zdolność adaptacji.

Pochodzenie danych

Śledzenie źródeł danych

Informacje o tym, skąd pochodzą próbki danych i przypisane im etykiety oraz w jaki sposób zostały pozyskane lub przetworzone. Pochodzenie danych pomaga zespołom badać nieoczekiwane zachowanie modelu, wykrywać różnice między źródłami danych i identyfikować potencjalne błędy systematyczne lub problemy z jakością etykiet. Jest szczególnie przydatne, gdy model zaczyna zawodzić w przypadku niedawno zebranych przykładów.

Wielość etykiet

Sprzeczne etykiety przypisane przykładom

Problem pojawiający się, gdy tej samej próbce danych różni anotatorzy, źródła lub definicje przypisują różne etykiety. Anotatorzy mogą na przykład nie zgadzać się co do granic nazwy własnej. Jasne definicje zadań, spójne instrukcje i zapisy dotyczące pochodzenia etykiet pomagają zespołom zrozumieć te rozbieżności i sobie z nimi radzić.

Nadzór słaby (weak supervision)

Generowanie etykiet za pomocą heurystyk

Sposób tworzenia etykiet treningowych z użyciem niedoskonałych reguł lub innych źródeł heurystycznych, zamiast ręcznego etykietowania każdego przykładu. Reguły te często implementuje się jako funkcje etykietujące, które mogą być ze sobą sprzeczne lub pozostawiać przykłady bez etykiet. Niewielki zbiór etykiet zweryfikowanych przez ludzi może pomóc ocenić i udoskonalić reguły przed zastosowaniem ich na dużą skalę.

Aktywne uczenie

Wybieranie przykładów do etykietowania

Strategia etykietowania, w której model wybiera nieoznaczone przykłady, które prawdopodobnie najbardziej przyczynią się do poprawy jego przewidywań. Przy wyborze można priorytetowo traktować przykłady, co do których model nie jest pewny, albo takie, w przypadku których różne modele kandydujące dają odmienne wyniki. Wybrane przykłady są następnie etykietowane, często przez ludzi, i wykorzystywane do aktualizacji modelu.

Wyciek danych

Informacje o odpowiedzi, które nie będą dostępne, trafiają do treningu

Rozbieżność polegająca na tym, że informacje związane z etykietą docelową trafiają do cech wykorzystywanych podczas treningu lub do procesu ewaluacji, mimo że nie będą dostępne w chwili dokonywania przewidywań w praktyce. Wyciek danych może wynikać z błędów przy podziale danych według czasu, obecności zduplikowanych przykładów w różnych podzbiorach lub artefaktów związanych ze sposobem zbierania danych. Może prowadzić do zawyżonych wyników testów i słabych rezultatów w rzeczywistych warunkach.

Haszowanie cech

Przypisywanie kategoriom indeksów o stałym rozmiarze

Technika reprezentowania wartości kategorialnych za pomocą zestawu indeksów o stałym rozmiarze, z użyciem funkcji haszującej. Umożliwia obsługę kategorii, których nie było w danych treningowych, bez konieczności rozszerzania reprezentacji modelu za każdym razem, gdy pojawia się nowa wartość. Różne kategorie mogą zostać przypisane do tego samego indeksu, co nazywa się kolizją, ale odpowiednio dobrana przestrzeń haszowania może ograniczyć jej wpływ.

Feature Store

Zarządzanie wielokrotnego użytku potokami cech

Usługa służąca do zarządzania potokami inżynierii cech, ich przechowywania i automatyzacji. Może pomóc zespołom współdzielić cechy i używać ich ponownie, w tym cechy usunięte z jednego modelu, które mogą się przydać gdzie indziej. Książka przedstawia magazyny cech jako jedno z rozwiązań problemów z utrzymaniem, pojawiających się, gdy cechy się zmieniają lub stają się nieaktualne.

Kalibracja modelu

Dopasowywanie prawdopodobieństw do wyników

Właściwość modelu, którego przewidywane prawdopodobieństwa odpowiadają obserwowanym częstościom. Jeśli model przypisuje zdarzeniu prawdopodobieństwo 70 procent w wielu porównywalnych przewidywaniach, zdarzenie to powinno wystąpić w około 70 procentach przypadków. Kalibracja ma znaczenie, gdy prawdopodobieństwa służą do szacowania wartości łącznych lub odzwierciedlają rzeczywiste prawdopodobieństwa, a nie tylko porządkują opcje.

Ewaluacja według podzbiorów danych

Pomiar skuteczności w poszczególnych podgrupach

Podejście do ewaluacji, w którym przykłady dzieli się na znaczące podgrupy, czyli podzbiory danych, i mierzy skuteczność modelu w każdej z nich. Może ujawnić błędy lub rozbieżności ukryte przez średni wynik ogólny i pomóc zidentyfikować ważne segmenty, takie jak typy urządzeń, lokalizacje czy grupy demograficzne. Podzbiory można wyznaczać na podstawie wiedzy dziedzinowej, analizy błędów lub metod automatycznych.

Śledzenie eksperymentów

Rejestrowanie wyników trenowania modeli

Praktyka polegająca na rejestrowaniu postępów i wyników poszczególnych przebiegów trenowania modelu. Typowe zapisy obejmują krzywe funkcji straty, metryki ewaluacyjne, szybkość przetwarzania, wykorzystanie sprzętu i istotne wartości parametrów. Śledzenie pomaga zespołom porównywać eksperymenty, wykrywać problemy z treningiem i rozumieć, jak zmiany w modelu lub jego konfiguracji wpływają na skuteczność.

Uczenie transferowe

Ponowne wykorzystanie modelu w różnych zadaniach

Grupa metod, w których model wytrenowany do jednego zadania służy jako punkt wyjścia do innego zadania. Model można dostroić na oznaczonych przykładach dotyczących nowego zadania albo, w niektórych sytuacjach, wykorzystać bez przykładów treningowych specyficznych dla tego zadania. Ponowne użycie wyuczonych reprezentacji może ograniczyć ilość nowych oznaczonych danych i zasobów obliczeniowych potrzebnych do realizacji zadania.

FAQ

O czym jest „Jak projektowac systemy uczenia maszynowego”?

  • Kompleksowy przewodnik: „Jak projektowac systemy uczenia maszynowego” autorstwa Chip Huyen to kompleksowy przewodnik po tworzeniu gotowych do wdrożenia aplikacji opartych na uczeniu maszynowym. Obejmuje cały cykl życia systemów uczenia maszynowego — od inżynierii danych po wdrażanie i monitorowanie.
  • Proces iteracyjny: Książka podkreśla iteracyjny charakter tworzenia systemów uczenia maszynowego oraz znaczenie ciągłego doskonalenia i dostosowywania się do zmieniających się warunków i wymagań.
  • Wyzwania rzeczywistych zastosowań: Omawia wyzwania związane z wdrażaniem systemów uczenia maszynowego w praktyce, takie jak zarządzanie danymi, skalowalność i kwestie etyczne, proponując praktyczne rozwiązania i wskazówki.
  • Nacisk na środowisko produkcyjne: W odróżnieniu od wielu innych źródeł książka skupia się na praktycznych aspektach wdrażania systemów uczenia maszynowego w środowisku produkcyjnym, dzięki czemu jest wartościowa dla osób pracujących w tej dziedzinie.

Dlaczego warto przeczytać „Jak projektowac systemy uczenia maszynowego”?

  • Praktyczne wskazówki: Książka przedstawia praktyczne spojrzenie na wyzwania i rozwiązania związane z wdrażaniem systemów uczenia maszynowego w środowisku produkcyjnym, często pomijane w środowisku akademickim.
  • Szeroki zakres tematów: Obejmuje wiele zagadnień — od inżynierii danych i cech po tworzenie i wdrażanie modeli — dając całościowy obraz cyklu życia systemów uczenia maszynowego.
  • Przykłady z rzeczywistego świata: Autorka posługuje się rzeczywistymi przykładami i studiami przypadków, by wyjaśniać kluczowe koncepcje, dzięki czemu treści odnoszą się do praktyki i można je zastosować w realnych sytuacjach.
  • Doświadczona autorka: Chip Huyen jest doświadczoną inżynierką i edukatorką. Wnosi do książki swoją wiedzę z zakresu projektowania systemów uczenia maszynowego, dzięki czemu jest ona wiarygodnym i cenionym źródłem.

Jakie są najważniejsze wnioski z książki „Jak projektowac systemy uczenia maszynowego”?

  • Iteracyjny rozwój: Systemy uczenia maszynowego należy rozwijać iteracyjnie, stale je monitorując i aktualizując, by dostosowywały się do zmieniających się danych i wymagań.
  • Kluczowa rola danych: Powodzenie systemów uczenia maszynowego w dużej mierze zależy od jakości i ilości danych, co podkreśla znaczenie inżynierii danych i zarządzania nimi.
  • Projektowanie systemu: Projektowanie systemów uczenia maszynowego wymaga uwzględnienia różnych elementów, w tym algorytmów, danych, infrastruktury i sprzętu, tak aby spełnić określone wymagania.
  • Kwestie etyczne: Książka podkreśla znaczenie uwzględniania przy wdrażaniu systemów uczenia maszynowego wyzwań etycznych i społecznych, takich jak sprawiedliwość i interpretowalność.

Jakie są najlepsze cytaty z książki „Jak projektowac systemy uczenia maszynowego” i co oznaczają?

  • „Dane są niezwykle głupie”. Cytat podkreśla znaczenie inteligentnego projektowania i ograniczenia polegania wyłącznie na danych w systemach uczenia maszynowego.
  • „Uczenie maszynowe nie jest magicznym narzędziem, które rozwiązuje wszystkie problemy”. Przypomina, że trzeba starannie rozważyć, kiedy i jak stosować uczenie maszynowe, zamiast traktować je jako uniwersalne rozwiązanie.
  • „Złożone systemy uczenia maszynowego składają się z prostszych elementów”. Podkreśla znaczenie zrozumienia i opanowania podstawowych składników systemów uczenia maszynowego, by tworzyć bardziej złożone aplikacje.
  • „Zdecydowana większość miejsc pracy związanych z uczeniem maszynowym dotyczyła — i już dotyczy — wdrażania go w środowisku produkcyjnym”. Cytat odzwierciedla rosnące zapotrzebowanie na umiejętności wdrażania i utrzymywania systemów uczenia maszynowego w środowiskach produkcyjnych.

Jak książka „Jak projektowac systemy uczenia maszynowego” podchodzi do inżynierii danych?

  • Znaczenie danych: Książka podkreśla kluczową rolę danych w tworzeniu skutecznych systemów uczenia maszynowego oraz potrzebę sprawnego zarządzania nimi i ich przetwarzania.
  • Źródła danych: Omawia różne źródła danych, w tym dane wprowadzane przez użytkowników, generowane przez systemy i pochodzące od zewnętrznych dostawców, a także ich znaczenie dla systemów uczenia maszynowego.
  • Formaty danych: Przedstawia różne formaty serializacji danych, takie jak JSON, CSV i Parquet, oraz ich przydatność w różnych zastosowaniach.
  • Proces ETL: Wyjaśnia proces ETL (Extract, Transform, Load — ekstrakcja, transformacja i ładowanie), niezbędny do przygotowania danych na potrzeby aplikacji wykorzystujących uczenie maszynowe.

Na czym polega iteracyjny proces projektowania systemów uczenia maszynowego opisany w książce „Jak projektowac systemy uczenia maszynowego”?

  • Określenie zakresu projektu: Proces rozpoczyna się od określenia zakresu projektu, celów, założeń, ograniczeń i kryteriów ewaluacji.
  • Inżynieria danych: Obejmuje przetwarzanie i przekształcanie danych w celu utworzenia zbiorów treningowych, co ma kluczowe znaczenie dla tworzenia modeli.
  • Tworzenie modelu: Ten etap obejmuje generowanie cech, trenowanie modeli, ich optymalizację i ocenę skuteczności.
  • Wdrażanie i monitorowanie: Po wdrożeniu modele trzeba monitorować pod kątem spadku skuteczności i aktualizować, by dostosowywały się do zmieniających się warunków i wymagań.

Jak książka „Jak projektowac systemy uczenia maszynowego” omawia tworzenie i ewaluację modeli?

  • Wybór modelu: Książka omawia, jak dobrać model do problemu, uwzględniając takie czynniki jak skuteczność, interpretowalność i wymagania obliczeniowe.
  • Techniki trenowania: Opisuje techniki trenowania, w tym trening rozproszony i śledzenie eksperymentów, które pozwalają obsługiwać duże modele i zbiory danych.
  • Metody ewaluacji: Podkreśla znaczenie rzetelnych metod ewaluacji, takich jak testy perturbacyjne i ewaluacja według podzbiorów danych, by zapewnić niezawodność i sprawiedliwość modelu.
  • AutoML: Omawia zastosowanie zautomatyzowanego uczenia maszynowego (AutoML) do strojenia hiperparametrów i przeszukiwania architektur w celu optymalizacji skuteczności modelu.

Jakie wyzwania wiążą się z wdrażaniem systemów uczenia maszynowego w środowisku produkcyjnym według książki „Jak projektowac systemy uczenia maszynowego”?

  • Skalowalność: Systemy uczenia maszynowego muszą być skalowalne, aby obsługiwać duże ilości danych i ruchu. Wymaga to sprawnego zarządzania zasobami i odpowiedniej infrastruktury.
  • Niezawodność: Systemy powinny działać niezawodnie i prawidłowo mimo awarii sprzętu lub oprogramowania oraz błędów ludzkich.
  • Wyzwania etyczne: Wdrażanie systemów uczenia maszynowego wymaga rozwiązywania problemów etycznych, takich jak sprawiedliwość, interpretowalność i stronniczość, aby zapewnić odpowiedzialne wykorzystanie AI.
  • Zarządzanie danymi: Sprawne zarządzanie danymi ma kluczowe znaczenie, ponieważ dane w środowisku produkcyjnym często są nieuporządkowane, stale się zmieniają i podlegają wymogom prywatności oraz regulacjom.

Jak książka „Jak projektowac systemy uczenia maszynowego” omawia inżynierię cech?

  • Znaczenie cech: Książka omawia znaczenie inżynierii cech dla poprawy skuteczności modelu i przedstawia techniki radzenia sobie z brakującymi wartościami, skalowania oraz kodowania cech kategorialnych.
  • Wyciek danych: Zwraca uwagę na ryzyko wycieku danych, gdy informacje z przyszłości lub ze zbioru testowego trafiają do procesu treningu, i przedstawia strategie wykrywania tego zjawiska oraz zapobiegania mu.
  • Uogólnianie cech: Podkreśla potrzebę tworzenia cech, które dobrze uogólniają się na nieznane dane, z uwzględnieniem takich czynników jak zakres pokrycia cech i ich rozkład.
  • Cechy krzyżowe: Omawia tworzenie cech krzyżowych w celu modelowania nieliniowych zależności między zmiennymi, co może zwiększyć skuteczność modelu.

Jaką rolę odgrywa AutoML w książce „Jak projektowac systemy uczenia maszynowego”?

  • Strojenie hiperparametrów: AutoML służy do strojenia hiperparametrów i automatyzuje wyszukiwanie optymalnego ich zestawu dla danego modelu.
  • Przeszukiwanie architektur: Książka omawia przeszukiwanie architektur sieci neuronowych (NAS), które automatyzuje projektowanie architektury modelu przez wyszukiwanie najlepszego układu podstawowych elementów.
  • Wyuczone optymalizatory: Omawia koncepcję wyuczonych optymalizatorów, które zastępują tradycyjne algorytmy uczenia sieciami neuronowymi, by usprawnić trenowanie modeli.
  • Wydajność i skuteczność: Techniki AutoML, takie jak EfficientNets, pokazują znaczną poprawę trafności i wydajności modeli, dzięki czemu są przydatne w systemach produkcyjnych.

Jak książka „Jak projektowac systemy uczenia maszynowego” omawia kwestie etyczne związane z uczeniem maszynowym?

  • Sprawiedliwość: Książka podkreśla znaczenie sprawiedliwości w systemach uczenia maszynowego oraz potrzebę eliminowania stronniczości i zapewnienia równego traktowania wszystkich użytkowników.
  • Interpretowalność: Omawia potrzebę interpretowalności modeli uczenia maszynowego, która pozwala użytkownikom zrozumieć i ufać decyzjom podejmowanym przez system.
  • Wykrywanie stronniczości: Przedstawia metody wykrywania i ograniczania stronniczości w modelach uczenia maszynowego, takie jak testy niezmienniczości i ewaluacja według podzbiorów danych.
  • Wpływ społeczny: Zwraca uwagę na potencjalny wpływ systemów uczenia maszynowego na społeczeństwo i zachęca praktyków do uwzględniania etycznych konsekwencji swojej pracy.

Jakie są najlepsze praktyki wdrażania systemów uczenia maszynowego w środowisku produkcyjnym według książki „Jak projektowac systemy uczenia maszynowego”?

  • Iteracyjny rozwój: Książka zaleca iteracyjny proces rozwoju, obejmujący ciągłe monitorowanie i aktualizacje, by dostosowywać systemy do zmieniających się danych i wymagań.
  • Skalowalna infrastruktura: Podkreśla potrzebę skalowalnej infrastruktury do obsługi dużych ilości danych i ruchu oraz zapewnienia sprawnego zarządzania zasobami.
  • Rzetelna ewaluacja: Zwraca uwagę na znaczenie rzetelnych metod ewaluacji, takich jak testy perturbacyjne i kalibracja modelu, by zapewnić niezawodność i sprawiedliwość modeli.
  • Kwestie etyczne: Podkreśla wagę rozwiązywania problemów etycznych, takich jak sprawiedliwość i interpretowalność, by zapewnić odpowiedzialne wykorzystanie AI w systemach produkcyjnych.

O autorze

Chip Huyen jest pisarką i informatyczką o różnorodnych doświadczeniach. Urodziła się w wietnamskiej wiosce, której mieszkańcy uprawiali ryż, a później wiele podróżowała po Azji, Afryce i Ameryce Południowej, wykonując różne prace. Ma doświadczenie w uczeniu maszynowym, zdobyte między innymi w firmach takich jak NVIDIA i Netflix. Ukończyła Stanford University, gdzie obecnie prowadzi kurs projektowania systemów uczenia maszynowego. Huyen interesuje się wykorzystaniem AI do opowiadania historii; założyła i sprzedała też firmę. Jej wyjątkowe doświadczenia i wiedza na temat projektowania systemów uczenia maszynowego składają się na praktyczne wskazówki zawarte w jej książce.

Pobierz PDF

Aby zachować streszczenie „Jak projektowac systemy uczenia maszynowego” na później, pobierz bezpłatny plik PDF. Możesz je wydrukować lub przeczytać offline w dogodnym dla siebie momencie.
Download PDF

Pobierz EPUB

Aby przeczytać streszczenie „Jak projektowac systemy uczenia maszynowego” na czytniku lub w aplikacji, pobierz bezpłatny plik EPUB. Cyfrowy format książki .epub idealnie nadaje się do czytania e-booków na telefonach, tabletach i czytnikach.
Download EPUB
Chcesz przeczytać całą książkę?
Obserwuj
Słuchaj
Główna
Swipe
Biblioteka
Aplikacja
Wypróbuj pełny dostęp przez 3 dni
Słuchaj, dodawaj zakładki i więcej
Porównaj funkcje Darmowy Pro
📖 Czytaj streszczenia
Czytaj nieograniczoną liczbę streszczeń. Darmowi użytkownicy otrzymują 3 miesięcznie
🎧 Słuchaj streszczeń
Słuchaj nieograniczonej liczby streszczeń w 40 językach
—
❤️ Nieograniczone zakładki
Darmowi użytkownicy mają limit 4
—
📜 Nieograniczona historia
Darmowi użytkownicy mają limit 4
—
📥 Nieograniczone pobieranie
Darmowi użytkownicy mają limit 1
—
Harmonogram bez ryzyka
Dziś: Uzyskaj natychmiastowy dostęp
Słuchaj pełnych streszczeń ponad 26 000 książek. To ponad 12 000 godzin audio!
Dzień 2: Przypomnienie o okresie próbnym
Wyślemy Ci powiadomienie, że okres próbny wkrótce się kończy.
Dzień 3: Rozpoczęcie subskrypcji
Opłata zostanie pobrana 24 lis,
anuluj w dowolnym momencie wcześniej.
Consume 2.8× More Books
2.8× więcej książek Słuchanie Czytanie
Nasi użytkownicy nas kochają
1M+ czytelników
Trustpilot Rating
TrustPilot
4.6 Doskonały
Ta strona to prawdziwa rewolucja. Czytam streszczenia książek szybciej niż kiedykolwiek. Bardzo, bardzo polecam.
— Dave G
Warte mojego czasu i pieniędzy, naprawdę dobrze zrobione. Nigdy nie widziałem tak dobrych streszczeń na innych stronach. Bardzo pomocne!
— Em
Gorąco polecam!! Fantastyczna usługa. Idealna dla tych, którzy chcą czegoś więcej niż zajawka, ale nie potrzebują wszystkich szczegółów pełnego audiobooka.
— Greg M
Oszczędź 62%
Roczny
$119.88 $44.99/rok/rok
$3.75/mies.
Miesięczny
$9.99/mies.
Rozpocznij 3-dniowy darmowy okres próbny
3 dni za darmo, potem $44.99/rok. Anuluj w dowolnym momencie.
Unlock a world of fiction & nonfiction books
Ponad 26 000 książek w cenie 2 książek
Przeczytaj dowolną książkę w 10 minut
Odkrywaj nowe książki jak na Tinderze
Zamów dowolną książkę, jeśli nie ma jeszcze streszczenia
Czytaj więcej książek niż ktokolwiek, kogo znasz
Aplikacja nr 1 dla miłośników książek
Lifelike & immersive summaries
30-dniowa gwarancja zwrotu pieniędzy
Pobieraj streszczenia w formatach EPUB i PDF
Anuluj w każdej chwili kilkoma kliknięciami

Dlaczego tylko jedno streszczenie?

Skaner
Znajdź kod kreskowy do zeskanowania

⭐
⭐
⭐
Mamy dla Ciebie specjalny prezent
Otwórz
Rabat 38%
RABAT DLA CIEBIE
⭐
⭐
⭐
$79.99
$49.99/rok
Tylko $4.16 miesięcznie
Kontynuuj
Wystarczą 2 kliknięcia, by zacząć. Rezygnacja jest bardzo prosta
Ustawienia
Ogólne
Widget
Ładowanie...