Python
Ekstrakcja danych z językiem Python. Pozyskiwanie danych z internetu. Wydanie II
- Szczegóły
- Kategoria: Python
Ekstrakcję danych (ang. web scraping), zwaną też wydobywaniem danych z zasobów internetu, wiele osób postrzega jako wyższy stopień wtajemniczenia: przy niewielkim wysiłku można uzyskać imponujące wyniki i wykorzystać je w różnoraki sposób. Nie dziwi więc, że wokół tej dziedziny narosło mnóstwo mitów. Wątpliwości jest wiele, począwszy od legalności tego rodzaju praktyk, skończywszy na właściwościach różnych narzędzi.
W praktyce na ekstrakcję danych składa się cały szereg zróżnicowanych technik i technologii, takich jak analiza danych, analiza składniowa języka naturalnego, a także zabezpieczenie informacji. Aby w pełni wykorzystać ich zalety, konieczne jest zrozumienie sposobu, w jaki funkcjonują.
Ta książka jest znakomitym przewodnikiem po technikach pozyskiwania danych z internetu. Przedstawiono tu również zasady gromadzenia, przekształcania i wykorzystywania danych z różnych zasobów. W kontekście ekstrakcji danych omówiono zagadnienia związane z bazami danych, serwerami sieciowymi, protokołem HTTP, językiem HTML, bezpieczeństwem sieciowym, przetwarzaniem obrazów, analizą danych i wieloma innymi kwestiami. Zaprezentowane tu rozwiązania programistyczne zostały napisane w Pythonie. Nie zabrakło też omówienia bibliotek przydatnych w pracy osób tworzących roboty indeksujące. Dzięki tej książce szybko zaczniesz pozyskiwać i w dowolny sposób wykorzystywać posiadane dane. Już dziś te rozwiązania są stosowane w prognozowaniu rynkowym, tłumaczeniu maszynowym, a nawet w diagnostyce medycznej!
Najważniejsze zagadnienia:
- korzystanie z platformy Scrapy do tworzenia robotów,
- metody odczytu, wydobywania i przechowywania pozyskiwanych danych,
- oczyszczanie i normalizacja danych,
- interfejsy API,
- przetwarzanie obrazów na tekst,
- testowanie witryn za pomocą robotów.
Wyszukuj dane, gromadź je i korzystaj z nich do woli!
Ryan Mitchell - jest starszą inżynier oprogramowania w firmie HedgeServ (Boston), gdzie zajmuje się tworzeniem interfejsu API przedsiębiorstwa i narzędzi do analizy danych. Ukończyła uczelnię Olin College of Engineering, a także Harvard University Extension School z tytułem magistra inżynierii oprogramowania oraz certyfikat studiów podyplomowych na kierunku analiza danych. Przed dołączeniem do firmy HedgeServ zajmowała się pisaniem robotów indeksujących i narzędzi automatyzacji w przedsiębiorstwie Abine. Zajmuje się również doradztwem na temat ekstrakcji danych w branży detalicznej, finansowej i farmaceutycznej, ponadto była konsultantką ds. programu nauczania i wykładowczynią kontraktową na Uniwersytecie Północnozachodnim i uczelni Olin College of Engineering.
- Data science i Python. Stawianie czoła najtrudniejszym wyzwaniom biznesowym - [25 czerwiec 2024]
- Praktyczna algebra liniowa dla analityków danych. Od podstawowych koncepcji do użytecznych aplikacji w Pythonie - [13 grudzień 2023]
- Python Data Science. Niezbędne narzędzia do pracy z danymi. Wydanie II - [06 grudzień 2023]
- Python. Instrukcje dla programisty. Wydanie III - [02 grudzień 2023]
- Programowanie funkcyjne w Pythonie. Jak pisać zwięzły, wydajny i ekspresywny kod. Wydanie III - [25 październik 2023]