Rozpocznij darmowy okres próbny
Popularne Nowości Gatunki Autorzy
EnglishEnglish
EspañolSpanish
简体中文Chinese
繁體中文Chinese (Traditional)
FrançaisFrench
DeutschGerman
日本語Japanese
PortuguêsPortuguese
ItalianoItalian
한국어Korean
РусскийRussian
NederlandsDutch
العربيةArabic
PolskiPolish
हिन्दीHindi
Tiếng ViệtVietnamese
SvenskaSwedish
ΕλληνικάGreek
TürkçeTurkish
ไทยThai
ČeštinaCzech
RomânăRomanian
MagyarHungarian
УкраїнськаUkrainian
IndonesiaIndonesian
DanskDanish
SuomiFinnish
БългарскиBulgarian
עבריתHebrew
NorskNorwegian
HrvatskiCroatian
CatalàCatalan
SlovenčinaSlovak
LietuviųLithuanian
SlovenščinaSlovenian
СрпскиSerbian
EestiEstonian
LatviešuLatvian
فارسیPersian
മലയാളംMalayalam
தமிழ்Tamil
اردوUrdu
Wyszukiwanie...
SoBrief
Python w analizie danych

Python w analizie danych

Tytuł oryginalny: Python for Data Analysis
Przekształcaj nieuporządkowane pliki w dane gotowe do analizy i dowiedz się, które decyzje mogą zmienić wnioski.
autor: Wes McKinney 2011 579 stron
4.17
2000+ ocen
Słuchaj
Immersyjne
V2.3
Amazon Kindle Audible
Wypróbuj pełny dostęp przez 3 dni
Odblokuj słuchanie i więcej!
Kontynuuj

Kluczowe wnioski

Traktuj porządkowanie danych jako część analizy, a nie urzędniczy wstęp

Praca poprzedzająca modelowanie ma znaczenie. McKinney skupia się na programowaniu potrzebnym do przekształcania, czyszczenia i przygotowywania danych, a nie na teorii statystycznej. Analitycy często deklarują, że poświęcają na te zadania 80% czasu lub więcej, dlatego książka przedstawia je jako zasadniczą pracę analityczną, a nie administracyjny obowiązek.

Narzędzie powstało z potrzeby pokonania trudności. Pracując w finansach ilościowych, McKinney zauważył, że żadne pojedyncze narzędzie nie radzi sobie dobrze jednocześnie z danymi opatrzonymi etykietami, szeregami czasowymi, brakującymi wartościami i złączeniami w stylu bazodanowym. Zaczął więc tworzyć pandas, aby połączyć te możliwości w Pythonie. Książka podąża tą praktyczną ścieżką: wczytać dane w użytecznej postaci, przyjrzeć się im, zmienić ich układ, a dopiero potem przeprowadzić analizę lub zastosować modele.

Analiza

Uderzające jest to, że książka pokazuje przygotowywanie danych jako źródło sądów analitycznych. Decyzje o tym, co uznać za brakujące, które rekordy uwzględnić i jak wyrównywać tabele, mogą zmienić wynik, zanim pojawi się jakikolwiek model statystyczny. Łączy się to z teorią pomiaru: danych po prostu się nie znajduje — nadaje się im postać operacyjną poprzez podejmowane wybory. Ten nacisk jest cenny właśnie dlatego, że odwraca uwagę od blasku modelowania. Staranna obróbka danych nie naprawi jednak stronniczego sposobu ich zbierania ani nie zagwarantuje, że zmienna mierzy to, co sugeruje jej etykieta. Czysty kod i wiarygodne dane są ze sobą powiązane, ale nie są tym samym.

Zbuduj interaktywną pętlę, która zamienia nieznane pliki w tabele możliwe do sprawdzenia

Eksploruj w trakcie pracy. IPython i Jupyter wspierają pracę w trybie: wykonaj, sprawdź, popraw. Uzupełnianie poleceń klawiszem Tab pomaga odkrywać dostępne metody, introspekcja wyświetla dokumentację funkcji, a notatniki łączą kod z tekstem i wynikami. Jest to szczególnie przydatne, gdy zbiór danych jest nieznany i trzeba sprawdzać każdą transformację.

Sięgaj po dane tam, gdzie są. pandas potrafi odczytywać tabele z plików CSV, Excel, JSON, HTML i XML, baz danych SQL oraz innych formatów. Rzeczywiste pliki mogą mieć nieregularne separatory, niespójne oznaczenia brakujących wartości albo daty rozdzielone na kilka kolumn, dlatego wczytywanie często wymaga świadomego doboru opcji. W przypadku dużych plików CSV parametr `chunksize` pozwala przetwarzać wiersze partiami zamiast wczytywać wszystko naraz. W rozdziale wprowadzającym zaleca się również korzystanie z odizolowanych środowisk pakietów, aby ograniczyć konflikty między projektami.

Analiza

Interaktywne obliczenia działają jak laboratoryjny notatnik: każda operacja pozostawia widoczny ślad, który ułatwia debugowanie i wyjaśnianie. To podejście jest zgodne z zasadami badań reprodukowalnych, według których wynikom łatwiej zaufać, gdy można sprawdzić kroki przetwarzania. Ta sama wygoda może jednak stać się pułapką, jeśli notatnik zawiera ukryty stan, nieaktualne wyniki albo komórki uruchamiane w niewłaściwej kolejności. Przydatne kryterium nie polega po prostu na tym, że analiza przebiega interaktywnie, lecz na tym, że inna osoba może ją uruchomić ponownie, zaczynając od znanego punktu, i uzyskać tę samą tabelę.

Wektoryzuj kosztowne obliczenia, ale pamiętaj, kiedy tablica jest tylko widokiem

Przenieś powtarzające się obliczenia poza pętle Pythona. Tablica NumPy `ndarray` to wielowymiarowy kontener na wartości jednego typu danych. Wektoryzacja polega na zastosowaniu operacji do całej tablicy, zamiast iterowania w Pythonie po jej elementach. W przykładzie z książki pomnożenie miliona liczb całkowitych przez dwa zajmuje w NumPy około 715 mikrosekund, a przy użyciu składni listowej Pythona około 48,8 milisekundy.

Sprawdzaj, co jest kopiowane. Podstawowe wycinki tablic NumPy są zazwyczaj widokami oryginalnej tablicy, więc zmiana wycinka może zmienić dane źródłowe. Indeksowanie logiczne i zaawansowane tworzy natomiast kopie. Jeśli potrzebujesz niezależnego wyniku, użyj `.copy()`. Tablice są wydajne między innymi dlatego, że ich wartości są przechowywane w zwartej postaci i przetwarzane przez kod niższego poziomu, ale duże obliczenie wektoryzowane nadal może wymagać znacznej ilości pamięci.

Analiza

Wektoryzacja jest zarówno techniką poprawy wydajności, jak i sposobem jasnego wyrażenia obliczenia. Pozwala programiście opisać operację na zbiorze danych, zamiast mechaniki odwiedzania każdego elementu z osobna. Równie ważne jest zrozumienie modelu pamięci: widok oszczędza czas i miejsce, ale nieoczekiwana modyfikacja może zepsuć dalsze etapy pracy. To klasyczny kompromis w projektowaniu systemów, w którym wydajność i izolacja zmierzają w przeciwnych kierunkach. Szybkość NumPy jest rzeczywista, ale wyrażenie wektoryzowane nie staje się przez to automatycznie bezpieczniejsze ani bardziej oszczędne pamięciowo niż pętla.

Pozwól etykietom wierszy i kolumn ujawniać niezgodności, zamiast po cichu zgadywać

Nazwy niosą znaczenie. Obiekt Series w pandas przechowuje jedną sekwencję opatrzoną etykietami; obiekt DataFrame przechowuje tabelę, której kolumny mogą mieć różne typy, a zarówno wiersze, jak i kolumny są opatrzone etykietami. Działania arytmetyczne wyrównują obiekty według tych etykiet. Jeśli jeden obiekt Series zawiera Ohio, Texas i Utah, a w drugim brakuje Utah, ich dodanie da brakującą wartość dla Utah, zamiast łączyć wartości według pozycji.

Wybieraj jawnie sposób indeksowania. Używaj `.loc` do wyboru według etykiet, a `.iloc` — według pozycji całkowitych. Pozwala to uniknąć niejednoznaczności, gdy indeks zawiera liczby całkowite. Przy przypisywaniu wartości lepiej użyć pojedynczego wyrażenia, takiego jak `df.loc[mask, "value"] = 0`; łańcuchowe wybieranie może wskazać obiekt tymczasowy i wywołać ostrzeżenie zamiast zmienić oryginalną tabelę.

Analiza

Etykiety działają jak lekkie kontrole integralności. Utrudniają dodawanie wartości, które zajmują tę samą pozycję, ale odnoszą się do różnych obiektów — częstego zagrożenia, gdy zbiory danych pochodzą z różnych źródeł. Nie gwarantują jednak prawdziwości. Etykieta może być błędnie zapisana, zduplikowana albo przypisana niewłaściwemu rekordowi, a automatyczne wyrównywanie może utworzyć brakujące wartości, które użytkownicy przeoczą. Najlepiej traktować nieoczekiwane braki jako powód do sprawdzenia połączenia zbiorów danych, a nie tylko jako niedogodność, którą należy usunąć przez uzupełnienie.

Traktuj braki, duplikaty i powtarzające się kategorie jako odrębne problemy

Zastanów się, co oznacza brak. pandas potrafi wykrywać brakujące wartości, usuwać wiersze lub kolumny za pomocą `dropna` albo uzupełniać braki stałą wartością, wartością właściwą dla danej kolumny lub przez propagację wartości do przodu. To różne decyzje: usuwanie może pozbawić nas użytecznych rekordów, a uzupełnianie może sugerować informacje, których nigdy nie zaobserwowano. Wartość taka jak `-999` może też być specjalnym znacznikiem brakujących danych i należy ją odpowiednio przekształcić.

Ograniczaj powtórzenia, gdy jest to przydatne. `drop duplicates` pozwala wykrywać powtarzające się wiersze na podstawie wszystkich kolumn lub wybranego podzbioru. Dane kategorialne przechowują powtarzające się etykiety jako kody całkowite oraz listę kategorii. W przykładzie z książki, obejmującym dziesięć milionów etykiet, zamiana czterech powtarzających się ciągów znaków na reprezentację kategorialną zmniejsza raportowane zużycie pamięci z około 600 megabajtów do około 10 megabajtów, a czas zliczania wartości spada z około 840 milisekund do 30 milisekund.

Analiza

Najważniejsze jest rozróżnienie między wadą danych a faktem dotyczącym danych. Duplikat może być przypadkowym powtórzeniem, ale może też oznaczać prawidłowo powtarzające się zdarzenie. Brakująca wartość może oznaczać coś nieznanego, nieodnoszącego się do danego przypadku albo niezbieranego — nie należy bezrefleksyjnie sprowadzać tych znaczeń do jednego. Typy kategorialne pokazują, że można poprawić wydajność dzięki zmianie reprezentacji bez zmiany pojęciowej wartości. Przykład z pamięcią jest przekonujący, ale konwersja ma swój koszt i opłaca się przede wszystkim wtedy, gdy wiele wierszy wykorzystuje niewielki zestaw etykiet. Optymalizacja powinna wynikać ze zrozumienia danych, a nie je zastępować.

Łącz według kluczy, doklejaj w określonym kierunku i zmieniaj układ stosownie do pytania

Dobieraj operację do rodzaju relacji. `merge` łączy wiersze za pomocą wspólnych kluczy, podobnie jak złączenie w relacyjnej bazie danych. Złączenie wewnętrzne zachowuje pasujące klucze, natomiast lewe, prawe i pełne złączenie zachowują różne zestawy niepasujących wierszy. Gdy po obu stronach występują zduplikowane klucze, złączenie wiele-do-wielu tworzy każdą pasującą parę, dlatego warto sprawdzić, czy liczba wynikowych wierszy ma sens. `concat` łączy obiekty wzdłuż wierszy lub kolumn; `combine first` uzupełnia braki w jednym obiekcie opatrzonym etykietami wartościami z drugiego.

Świadomie zmieniaj kształt tabeli. W układzie długim każdy pomiar znajduje się w osobnym wierszu, a w układzie szerokim kategorie są rozłożone na kolumny. W przykładzie z ekonomicznymi szeregami czasowymi w książce `stack` przekształca miary, takie jak inflacja i bezrobocie, w wiersze, a `pivot` rozkłada je z powrotem na kolumny. Najlepszy układ zależy od kolejnej operacji.

Analiza

Te operacje kodują różne założenia dotyczące tożsamości. Złączenie zakłada, że pasujące klucze odnoszą się do powiązanych obserwacji; konkatenacja — że odrębne bloki należy umieścić obok siebie. Pomylenie tych operacji może dać wiarygodnie wyglądające, ale niepoprawne tabele. Układy długi i szeroki także służą różnym celom: tabele długie są elastyczne przy grupowaniu, natomiast szerokie mogą być łatwiejsze do sprawdzenia lub przekazania określonym algorytmom. Rzetelny przepływ pracy obejmuje sprawdzenie unikalności kluczy, liczby wierszy i brakujących wartości po zmianie układu, zamiast uznawania pomyślnego wywołania funkcji za dowód poprawności wyniku.

Dziel dane na grupy, by uzyskać odpowiedzi; stosuj transformację, gdy każdy wiersz ma pozostać

Grupuj, obliczaj, łącz ponownie. Książka używa terminu schemat „podziel–zastosuj–połącz” (split-apply-combine), opisującego podział danych według kluczy, wykonanie obliczenia w każdej grupie, a następnie zestawienie wyników. W przypadku napiwków w restauracjach grupowanie według dnia i statusu osoby palącej pozwala porównać średni procent napiwku. Wbudowane podsumowania, takie jak średnia i liczebność, są zazwyczaj szybsze niż funkcje niestandardowe przekazywane do `apply`.

Dobieraj operację do oczekiwanego wyniku. Używaj agregacji, gdy dla każdej grupy ma powstać podsumowanie, na przykład średnia. Używaj `transform`, gdy wynik ma zawierać po jednej wartości na każdy oryginalny wiersz, na przykład średnią dla grupy każdego wiersza albo jego rangę w obrębie grupy. `apply` daje większą elastyczność w zadaniach takich jak wybór pięciu najwyższych napiwków w każdej grupie, ale jego ogólność często odbywa się kosztem szybkości.

Analiza

Grupowanie zamienia tabelę w zestaw znaczących porównań. Kluczowy wybór analityczny dotyczy kryterium grupowania: średnia dla każdego dnia może odpowiadać na inne pytanie niż średnia dla każdego dnia i posiłku. Rozróżnienie między agregacją a transformacją to także przydatny model myślowy w różnych systemach programowania: redukuj grupy przy tworzeniu podsumowań, a zachowuj ich kształt, gdy dodajesz kontekst do każdej obserwacji. Niestandardowe apply nadal przydaje się w nietypowych zadaniach, ale domyślne stosowanie tej funkcji może przesłaniać prostsze i szybsze operacje oraz utrudniać kontrolę kodu.

Nadaj znacznikom czasu jawne znaczenie częstotliwości, kalendarza i strefy czasowej

Data nie zawsze oznacza konkretny moment. Znacznik czasu wskazuje chwilę, a okres (Period) reprezentuje przedział, taki jak miesiąc lub kwartał fiskalny. pandas potrafi parsować znaczniki czasu, generować regularne zakresy dat i wybierać zakresy chronologiczne nawet wtedy, gdy dokładne daty graniczne nie występują w danych. W przypadku kwartalnych danych biznesowych rok fiskalny kończący się w styczniu przypisuje kwartały inaczej niż rok kalendarzowy kończący się w grudniu.

Resampling zmienia jednostkę analizy. Zmniejszanie częstotliwości łączy obserwacje, na przykład sumując odczyty jednominutowe w przedziałach pięciominutowych. Zwiększanie częstotliwości tworzy nowe punkty w czasie i może pozostawiać luki albo je wypełniać na podstawie sąsiednich obserwacji. Obliczenia kroczące podsumowują ruchome okna, a obliczenia z wykładniczymi wagami przypisują większą wagę nowszym obserwacjom. Znaczenie mają także strefy czasowe i zmiany czasu letniego: lokalizacja przypisuje strefę naiwnym znacznikom czasu, a konwersja zmienia sposób wyświetlania tej samej chwili.

Analiza

Narzędzia do pracy z szeregami czasowymi są potężne, ponieważ pozwalają ujmować kalendarz w postaci obliczeniowej, ale ich ustawienia domyślne kodują wybory dotyczące granic i etykiet przedziałów. Suma z pięciominutowego przedziału oznaczona jego początkiem może być interpretowana inaczej niż suma opisana czasem końca przedziału. Okresy pozwalają uniknąć częstego błędu pojęciowego: traktowania kwartału jak pojedynczej chwili. Szczególny nacisk książki na strefy czasowe jest bardzo praktyczny, ponieważ reguły zmiany czasu letniego mogą powodować pomijanie lub powtarzanie godzin na lokalnym zegarze. Jasne konwencje dotyczące częstotliwości i stref są niezbędne, gdy rekordy obejmują różne granice kalendarzowe lub geograficzne.

Używaj wykresów do badania wzorców, a potem przekazuj modelom uporządkowane cechy

Uczyń wzorce widocznymi. matplotlib zapewnia szczegółową kontrolę nad figurami, osiami, etykietami, legendami i adnotacjami. pandas tworzy typowe wykresy na podstawie obiektu Series lub DataFrame, a seaborn ułatwia sporządzanie wykresów statystycznych, takich jak rozkłady, porównania grup i wykresy punktowe. W przykładzie restauracyjnym wykres skumulowany porównuje liczebność grup gości w poszczególne dni, a wykres słupkowy seaborn zestawia średni procent napiwków i pokazuje przedziały niepewności.

Zadbaj o jawny sposób przekazania danych do modelu. Tabele pandas często przekształca się w tablice NumPy przed przekazaniem ich do biblioteki modelującej. statsmodels kładzie nacisk na wnioskowanie statystyczne, w tym szacunki niepewności i testy; scikit-learn koncentruje się na predykcji, przetwarzaniu wstępnym i ocenie modeli. W przykładzie z Titanikiem brakujące wieki uzupełnia się medianą ze zbioru treningowego, płeć koduje jako cechę liczbową, a do oceny modelu regresji logistycznej stosuje walidację krzyżową.

Analiza

Wizualizacja jest przydatna przed przygotowaniem końcowego raportu, ponieważ może ujawnić skośność, nietypowe punkty i różnice między grupami, które przesłania pojedyncza statystyka podsumowująca. Wypolerowany wykres może jednak także nadawać słabym dowodom pozór pewności. Słupki błędów, dobór osi i mianownik użyty do obliczenia odsetka powinny być widoczne i zrozumiałe. Podobny problem pojawia się przy przekazywaniu danych do modelu: konwersja na tablice może odrzucić etykiety ułatwiające śledzenie cech. Zachowanie nazw cech i dokumentowanie przetwarzania wstępnego pomaga utrzymać powiązanie między danymi wejściowymi modelu a reprezentowanymi przez nie wielkościami rzeczywistymi.

Traktuj progi i mianowniki jako część każdego wniosku opartego na danych

Wynik zależy od przyjętych reguł. Przykłady z książki zamieniają surowe pliki w pytania: próbka Bitly pozwala policzyć strefy czasowe, MovieLens umożliwia porównanie ocen w grupach demograficznych, a dane Federalnej Komisji Wyborczej — porównanie darowizn według kandydata, zawodu, kwoty i stanu. Każda analiza wymaga decyzji dotyczących brakujących rekordów, powtarzających się obserwacji i porównywanych kategorii.

Analiza imion nadawanych dzieciom unaocznia te wybory. Pliki zawierają imiona, które nadano co najmniej pięciorgu dzieci w danym roku, a w rozdziale często zawęża się analizę do 1000 najpopularniejszych imion. Wśród chłopców z tego podzbioru liczba imion, które łącznie obejmują połowę urodzeń, wzrasta z 25 w 1900 roku do 117 w 2010 roku. Wynik ten uzasadnia konkretne twierdzenie o rosnącej różnorodności imion w obrębie wybranych danych i przyjętego progu, ale nie dowodzi, że pliki obejmują wszystkie imiona ani nie wyjaśnia, dlaczego zmieniły się preferencje.

Analiza

Najbardziej uniwersalna lekcja płynąca z tych przykładów jest taka, że statystyka dziedziczy granice swojego zbioru danych. Analiza 1000 najpopularniejszych imion może ujawnić zmiany dotyczące imion powszechnych, ale wyklucza rzadkie; łączna kwota darowizn może zależeć od sposobu ujednolicenia nazw zawodów lub uwzględnienia zwrotów. Nie jest to wada analizy eksploracyjnej, o ile reguły zostaną podane. Problem pojawia się wtedy, gdy wygodny wskaźnik zastępuje całe zjawisko. Rzetelna praca z danymi uwzględnia mianownik, próg i wykluczenia w wyjaśnieniu.

Analiza

Najważniejszy argument książki nie sprowadza się do twierdzenia, że pandas ułatwia analizę. Chodzi o to, że kompetencje analityczne zależą od przedstawiania danych w sposób, który zachowuje ich znaczenie, a zarazem pozwala sprawnie wykonywać operacje. NumPy zapewnia szybkość dzięki tablicom jednorodnego typu i operacjom wektoryzowanym. pandas dodaje etykiety, kolumny o różnych typach, obsługę brakujących wartości i narzędzia relacyjne. Interaktywny Python łączy te możliwości z plikami, bazami danych, modelami i wizualizacjami. W ten sposób powstaje praktyczny pomost między myśleniem eksploracyjnym a powtarzalnymi obliczeniami.

To właśnie w tym pomoście tkwią również główne zagrożenia opisywane w książce. Etykiety pomagają uniknąć niezgodności pozycyjnych, ale wyrównywanie może po cichu rozszerzyć indeks i utworzyć brakujące wyniki. Elastyczne czyszczenie danych może sprawić, że zbiór nadaje się do użycia, ale imputacja może ukryć informacyjne wzorce braku odpowiedzi. Podsumowania grup są wygodne, ale zmiana klucza lub mianownika może odwrócić pozorny obraz. Operacje techniczne nie są więc neutralną instalacją wodno-kanalizacyjną. Stanowią część pomiaru i należy je odpowiednio dokumentować.

Książka jest najmocniejsza wtedy, gdy łączy narzędzie z konkretnym zadaniem analitycznym: uzgadnianiem obiektów Series o różnych indeksach, zmianą układu wskaźników ekonomicznych, analizą miliona ocen MovieLens lub wykrywaniem zmian w różnorodności imion nadawanych dzieciom. Przykłady uczą uniwersalnych operacji, nie udając, że biblioteka zapewnia projekt badania. Zakres książki jest celowo podstawowy; nie stanowi ona pełnego omówienia statystyki, uczenia maszynowego, systemów rozproszonych ani teorii wizualizacji. To ograniczenie jest użyteczne: pandas przedstawiono jako przygotowanie do pracy w konkretnej dziedzinie, a nie jej zamiennik.

Współczesny czytelnik powinien też odróżniać trwałe idee od interfejsów API zależnych od wersji. Etykiety, wektoryzacja, jawna obsługa brakujących wartości i staranne złączenia to pojęcia trwałe. Szczegóły instalacji i interfejsy bibliotek się zmieniają. Najtrwalszą umiejętnością nie jest zapamiętanie nazwy metody, lecz rozpoznanie charakteru problemu, sprawdzenie założeń operacji i upewnienie się, że wynik nadal odpowiada na pierwotne pytanie.

Podsumowanie w 30 sekund
Przygotowanie danych to praca analityczna: analitycy mogą poświęcać 80% czasu lub więcej na ich czyszczenie i zmianę układu. NumPy przyspiesza powtarzane obliczenia dzięki wektoryzacji tablic, a pandas wykorzystuje etykiety do wyrównywania wartości i ujawniania niezgodności. Brakujące wartości, łączenia i podsumowania grup wymagają przemyślanych decyzji, bo mogą zmienić wyniki. Powtarzające się kategorie mogą oszczędzać pamięć, a resampling uwzględniający czas pomaga odkrywać wzorce. Przed wyciągnięciem wniosków sprawdź progi i mianowniki.
Zawiera spoilery

Ostatnia aktualizacja:

Zgłoś problem

Podsumowanie recenzji

4.17 z 5
Średnia z 2000+ ocen z Goodreads i Amazon.

Książka Python w analizie danych zbiera przeważnie pozytywne recenzje za wszechstronne omówienie pandas i przetwarzania danych w Pythonie. Czytelnicy chwalą praktyczne przykłady i jasne objaśnienia, szczególnie przydatne osobom przechodzącym z innych języków programowania. Niektórzy krytykują skupienie na pandas kosztem szerszych zagadnień analizy danych oraz wykorzystanie losowych zbiorów danych. Książka jest uznawana za wartościową pozycję do nauki porządkowania danych, ale dla doświadczonych użytkowników może być zbyt rozwlekła. Ogólnie postrzega się ją jako przydatne źródło wiedzy o pandas i analizie danych w Pythonie.

Twoja ocena:
4.56
331 ocen
Chcesz przeczytać całą książkę?

Słowniczek

tablica ndarray

Wielowymiarowa tablica o określonym typie

Podstawowy obiekt tablicowy biblioteki NumPy, zawierający wartości jednego typu danych, rozmieszczone w jednym lub większej liczbie wymiarów. Kształt tablicy określa rozmiar każdego wymiaru, a dtype — sposób reprezentacji wartości. Operacje NumPy mogą wydajnie przetwarzać całe tablice, a indeksowanie wycinkami często tworzy widoki na te same dane w pamięci.

obiekt Series

Jednowymiarowe dane z etykietami

Obiekt pandas zawierający jednowymiarowy ciąg wartości i powiązany z nim indeks etykiet. Etykiety można wykorzystać do wybierania obserwacji i wyrównywania działań arytmetycznych na różnych obiektach Series. Obiekt Series przypomina uporządkowane odwzorowanie wartości indeksu na wartości danych i jest podstawowym elementem obiektu DataFrame.

obiekt DataFrame

Dane tabelaryczne z etykietami

Obiekt pandas reprezentujący wiersze i nazwane kolumny, z etykietami na obu osiach. Każda kolumna może mieć inny typ danych, dzięki czemu ta struktura nadaje się do danych arkuszowych lub relacyjnych. Obiekty DataFrame obsługują wybieranie, wyrównywanie, agregowanie, łączenie, zmianę układu oraz konwersję do tablic NumPy.

wektoryzacja

Obliczenia na całej tablicy

Zapisywanie operacji wykonywanej na całej tablicy zamiast tworzenia pętli w Pythonie, która przetwarza każdy element z osobna. Skompilowane operacje NumPy mogą znacznie przyspieszyć w ten sposób obliczenia numeryczne. Wektoryzacja może też skrócić kod, ale nie gwarantuje niskiego zużycia pamięci ani nie zapobiega przypadkowym modyfikacjom.

wyrównywanie danych według etykiet

Dopasowywanie wartości według etykiet

Zachowanie biblioteki pandas polegające na dopasowywaniu wartości według etykiet indeksu lub kolumn podczas działań arytmetycznych i innych operacji. Gdy etykiety się nie pokrywają, wynik może zawierać brakujące wartości; gdy są różne, wynik może obejmować ich sumę zbiorów. Wyrównywanie pomaga zachować tożsamość danych, ale jego skutki należy sprawdzać.

schemat „podziel–zastosuj–połącz” (split-apply-combine)

Grupowy schemat pracy z danymi

Sposób opisywania operacji na grupach: podział zbioru danych według jednego lub kilku kluczy, zastosowanie obliczenia lub przekształcenia do każdej grupy, a następnie zebranie wyników. W pandas strukturę grupowania zapewnia groupby, natomiast o wyniku decyduje agregacja, transformacja lub apply.

typ kategorialny

Kody dla powtarzających się wartości

Typ danych pandas, który reprezentuje wartości za pomocą kodów całkowitych odwołujących się do osobnej listy kategorii. Jest przydatny, gdy kolumna zawiera niewielki, stosunkowo stały zbiór powtarzających się wartości, zwłaszcza tekstowych, ponieważ może ograniczyć zużycie pamięci i przyspieszyć niektóre operacje. Kategoriom można też jawnie przypisać kolejność.

resampling szeregów czasowych

Zmiana częstotliwości szeregu czasowego

Przekształcanie szeregu czasowego z jednej częstotliwości na inną. Zmniejszanie częstotliwości grupuje częstsze obserwacje w przedziały i agreguje je, natomiast zwiększanie częstotliwości tworzy gęstszy indeks czasu, co może wprowadzać luki lub wartości uzupełniające. Granice przedziałów i etykiety wynikowe wpływają na interpretację wyników resamplingu.

okres (Period)

Przedział czasu kalendarzowego

Reprezentacja przedziału czasu w pandas, z określoną częstotliwością, na przykład miesiąca, roku lub kwartału fiskalnego. W przeciwieństwie do znacznika czasu, który wskazuje konkretny moment, obiekt Period reprezentuje przedział. Okresy można przesuwać arytmetycznie lub konwertować na inne zgodne częstotliwości.

składnia formuł Patsy

Tekstowa specyfikacja modelu

Język formuł używany przez Patsy do opisywania zmiennych wejściowych i wyjściowych modeli statystycznych, często modeli liniowych. Formuła taka jak y ~ x0 + x1 opisuje składniki używane do tworzenia macierzy projektu, a nie zwykłe dodawanie arytmetyczne. Patsy może kodować zmienne kategorialne i stosować przekształcenia, zachowując nazwy cech.

FAQ

O czym jest Python w analizie danych?

  • Nacisk na przetwarzanie danych: Książka skupia się na przekształcaniu, przetwarzaniu, czyszczeniu i analizowaniu danych w Pythonie. Stanowi wszechstronny przewodnik po języku Python i jego ekosystemie bibliotek przeznaczonych do pracy z danymi.
  • Narzędzia i biblioteki: Omawia przede wszystkim podstawowe biblioteki, takie jak pandas, NumPy i Jupyter, niezbędne w zadaniach związanych z analizą danych. To podstawowe narzędzia dla każdego, kto chce skutecznie pracować jako analityk danych.
  • Praktyczne podejście: Książka ma praktyczny charakter — zawiera ćwiczenia i fragmenty kodu, które czytelnicy mogą bezpośrednio wykorzystać we własnych projektach analitycznych.

Dlaczego warto przeczytać Python w analizie danych?

  • Wszechstronne źródło wiedzy: Książka jest ważną pozycją dla studentów i specjalistów, omawiającą niezbędne narzędzia i techniki analizy danych w Pythonie.
  • Autorytatywne źródło: Jej autorem jest Wes McKinney, twórca pandas, dzięki czemu zawiera wskazówki pochodzące bezpośrednio od eksperta i stanowi wartościowe źródło wiedzy.
  • Zaktualizowana treść: Trzecie wydanie uwzględnia aktualne wersje Pythona, NumPy i pandas, dzięki czemu czytelnicy poznają najistotniejsze praktyki.

Jakie są najważniejsze wnioski z Python w analizie danych?

  • Umiejętności porządkowania danych: Czytelnicy nauczą się skutecznie przekształcać i czyścić dane za pomocą pandas, zwłaszcza zmieniać ich układ, łączyć je i agregować.
  • Zrozumienie NumPy: Książka zapewnia solidne podstawy obsługi NumPy, niezbędnej biblioteki do obliczeń numerycznych w Pythonie, co zwiększa możliwości analizy danych.
  • Techniki wizualizacji: Omawia podstawy wizualizacji danych za pomocą matplotlib, pozwalając czytelnikom skutecznie prezentować wyniki analiz.

Jakie są najlepsze cytaty z Python w analizie danych i co oznaczają?

  • „Python stał się popularnym i powszechnie używanym językiem do analizy danych.”: Podkreśla rosnące znaczenie Pythona w nauce o danych i wskazuje na jego wartość w kontekście przyszłych możliwości zawodowych.
  • „Warto zapoznać się z dokumentacją różnych bibliotek statystycznych lub środowisk uczenia maszynowego.”: Zwraca uwagę na znaczenie śledzenia najnowszych narzędzi i bibliotek w dynamicznie rozwijającej się dziedzinie nauki o danych.
  • „Umiejętności programistyczne zdobyte tutaj pozostaną przydatne jeszcze przez długi czas.”: Zapewnia czytelników, że nabyte umiejętności długo będą miały zastosowanie, dzięki czemu nauka ta jest warta wysiłku.

Jak Python w analizie danych podchodzi do porządkowania danych?

  • Instrukcje krok po kroku: Książka przedstawia uporządkowany sposób pracy z danymi, zaczynając od ich wczytywania i czyszczenia, dzięki czemu łatwo za nią podążać.
  • Wykorzystanie rzeczywistych zbiorów danych: Praca z rzeczywistymi zbiorami pozwala czytelnikom ćwiczyć techniki porządkowania danych w realistycznym kontekście i utrwalać omawiane pojęcia.
  • Skupienie na pandas: Książka szczegółowo omawia funkcje pandas służące do przetwarzania danych, niezbędne do skutecznego porządkowania ich w Pythonie.

Jakie podstawowe biblioteki Pythona omówiono w Python w analizie danych?

  • NumPy: Podstawa obliczeń numerycznych; zapewnia obsługę wielowymiarowych tablic i funkcji matematycznych, niezbędnych do wydajnego przetwarzania danych.
  • pandas: Biblioteka omawiana pod kątem przetwarzania i analizy danych, zwłaszcza danych strukturalnych; wprowadza kluczowe struktury danych, takie jak obiekt Series i obiekt DataFrame.
  • matplotlib: Służy do tworzenia wizualizacji; książka wyjaśnia, jak skutecznie wizualizować za jej pomocą dane.

Jak Python w analizie danych pomaga w czyszczeniu danych?

  • Techniki przygotowania danych: Omawia czyszczenie i przygotowywanie danych, w tym obsługę brakujących wartości, filtrowanie i przekształcanie danych.
  • Wykorzystanie pandas do czyszczenia: Zawiera praktyczne przykłady czyszczenia danych za pomocą pandas, takie jak usuwanie duplikatów i uzupełnianie brakujących wartości.
  • Przykłady z rzeczywistego świata: Uwzględnia rzeczywiste zbiory danych i scenariusze, dzięki czemu czytelnicy mogą zobaczyć, jak w praktyce przebiega czyszczenie danych.

Jakie znaczenie ma obiekt DataFrame w Python w analizie danych?

  • Struktura danych tabelarycznych: Obiekt DataFrame to dwuwymiarowa, modyfikowalna pod względem rozmiaru i potencjalnie heterogeniczna struktura danych tabelarycznych z etykietami na osiach.
  • Przetwarzanie danych: Ułatwia ich przetwarzanie, w tym filtrowanie, grupowanie i agregowanie; książka zawiera wiele przykładów.
  • Integracja z innymi bibliotekami: Dobrze współpracuje z bibliotekami takimi jak NumPy i matplotlib, ułatwiając złożone zadania analizy danych.

Jak Python w analizie danych omawia brakujące dane?

  • Wykrywanie brakujących wartości: Omawia metody wykrywania i obsługi brakujących danych, podkreślając, jak ważne jest ich rozpoznawanie.
  • Uzupełnianie i usuwanie: Przedstawia techniki uzupełniania brakujących wartości oraz usuwania wierszy lub kolumn, w których występują braki, co pozwala dopasować podejście do konkretnego zbioru danych.
  • Wykorzystanie funkcji pandas: Pokazuje, jak skutecznie zarządzać brakującymi danymi za pomocą funkcji pandas, takich jak isna() i fillna().

Czym jest metoda groupby w pandas, opisana w Python w analizie danych?

  • Agregowanie danych: Metoda groupby służy do dzielenia danych na grupy według określonych kryteriów, co umożliwia ich agregowanie i przekształcanie.
  • Elastyczne grupowanie: Umożliwia grupowanie według jednej lub większej liczby kolumn z wykorzystaniem różnych funkcji agregujących, takich jak średnia, suma i liczność.
  • Przykład użycia: Na przykład df.groupby("key").mean() oblicza średnią dla każdej grupy wyznaczonej przez unikatowe wartości w kolumnie „key”.

Jak utworzyć tabelę przestawną w pandas, zgodnie z opisem w Python w analizie danych?

  • Użycie pivot_table: Pozwala podsumowywać dane według jednego lub większej liczby kluczy, układając je w formie prostokątnej tabeli.
  • Funkcje agregujące: Można wskazać funkcje agregujące, takie jak średnia, suma lub liczność, aby obliczyć statystyki dla tabeli przestawnej.
  • Przykład: df.pivot_table(index="day", columns="smoker", values="tip_pct", aggfunc="mean") tworzy tabelę przestawną pokazującą średni procent napiwku według dnia i statusu palenia.

Jak wizualizować dane za pomocą pandas, zgodnie z Python w analizie danych?

  • Wbudowane wykresy: pandas oferuje wbudowane funkcje tworzenia wykresów za pośrednictwem atrybutu plot, ułatwiając wizualizację bezpośrednio z obiektów DataFrame i Series.
  • Integracja z Matplotlib: Biblioteka dobrze współpracuje z matplotlib, umożliwiając dostosowywanie wykresów za pomocą rozbudowanych funkcji tej biblioteki.
  • Przykład: df.plot(kind="bar") tworzy wykres słupkowy obiektu DataFrame, pokazując, jak łatwo wizualizować dane za pomocą pandas.

O autorze

Wes McKinney jest znaczącą postacią w społeczności Pythona zajmującej się data science, znaną przede wszystkim jako twórca biblioteki pandas. Jego wiedza z zakresu analizy i przetwarzania danych znajduje odzwierciedlenie w pisarstwie, które łączy teorię z praktycznymi wskazówkami. Doświadczenie McKinney’a jako programisty i specjalisty ds. danych kształtuje jego podejście do nauczania analizy danych w Pythonie. Jego książka jest ceniona za jasne objaśnienia i wszechstronne omówienie funkcjonalności pandas. Praca McKinney’a znacząco przyczyniła się do rozwoju ekosystemu Pythona służącego analizie danych, ułatwiając programistom i analitykom wykonywanie złożonych zadań związanych z ich przetwarzaniem.

Pobierz PDF

Aby zachować streszczenie „Python w analizie danych” na później, pobierz bezpłatny plik PDF. Możesz je wydrukować lub przeczytać offline w dogodnym dla siebie momencie.
Download PDF

Pobierz EPUB

Aby przeczytać streszczenie „Python w analizie danych” na czytniku lub w aplikacji, pobierz bezpłatny plik EPUB. Cyfrowy format książki .epub idealnie nadaje się do czytania e-booków na telefonach, tabletach i czytnikach.
Download EPUB
Chcesz przeczytać całą książkę?
Obserwuj
Słuchaj
Główna
Swipe
Biblioteka
Aplikacja
Wypróbuj pełny dostęp przez 3 dni
Słuchaj, dodawaj zakładki i więcej
Porównaj funkcje Darmowy Pro
📖 Czytaj streszczenia
Czytaj nieograniczoną liczbę streszczeń. Darmowi użytkownicy otrzymują 3 miesięcznie
🎧 Słuchaj streszczeń
Słuchaj nieograniczonej liczby streszczeń w 40 językach
—
❤️ Nieograniczone zakładki
Darmowi użytkownicy mają limit 4
—
📜 Nieograniczona historia
Darmowi użytkownicy mają limit 4
—
📥 Nieograniczone pobieranie
Darmowi użytkownicy mają limit 1
—
Harmonogram bez ryzyka
Dziś: Uzyskaj natychmiastowy dostęp
Słuchaj pełnych streszczeń ponad 26 000 książek. To ponad 12 000 godzin audio!
Dzień 2: Przypomnienie o okresie próbnym
Wyślemy Ci powiadomienie, że okres próbny wkrótce się kończy.
Dzień 3: Rozpoczęcie subskrypcji
Opłata zostanie pobrana 24 lis,
anuluj w dowolnym momencie wcześniej.
Consume 2.8× More Books
2.8× więcej książek Słuchanie Czytanie
Nasi użytkownicy nas kochają
600,000+ czytelników
Trustpilot Rating
TrustPilot
4.6 Doskonały
Ta strona to prawdziwa rewolucja. Czytam streszczenia książek szybciej niż kiedykolwiek. Bardzo, bardzo polecam.
— Dave G
Warte mojego czasu i pieniędzy, naprawdę dobrze zrobione. Nigdy nie widziałem tak dobrych streszczeń na innych stronach. Bardzo pomocne!
— Em
Gorąco polecam!! Fantastyczna usługa. Idealna dla tych, którzy chcą czegoś więcej niż zajawka, ale nie potrzebują wszystkich szczegółów pełnego audiobooka.
— Greg M
Oszczędź 62%
Roczny
$119.88 $44.99/rok/rok
$3.75/mies.
Miesięczny
$9.99/mies.
Rozpocznij 3-dniowy darmowy okres próbny
3 dni za darmo, potem $44.99/rok. Anuluj w dowolnym momencie.
Unlock a world of fiction & nonfiction books
Ponad 26 000 książek w cenie 2 książek
Przeczytaj dowolną książkę w 10 minut
Odkrywaj nowe książki jak na Tinderze
Zamów dowolną książkę, jeśli nie ma jeszcze streszczenia
Czytaj więcej książek niż ktokolwiek, kogo znasz
Aplikacja nr 1 dla miłośników książek
Lifelike & immersive summaries
30-dniowa gwarancja zwrotu pieniędzy
Pobieraj streszczenia w formatach EPUB i PDF
Anuluj w każdej chwili kilkoma kliknięciami

Dlaczego tylko jedno streszczenie?

Skaner
Znajdź kod kreskowy do zeskanowania

⭐
⭐
⭐
Mamy dla Ciebie specjalny prezent
Otwórz
Rabat 38%
RABAT DLA CIEBIE
⭐
⭐
⭐
$79.99
$49.99/rok
Tylko $4.16 miesięcznie
Kontynuuj
Wystarczą 2 kliknięcia, by zacząć. Rezygnacja jest bardzo prosta
Ustawienia
Ogólne
Widget
Ładowanie...