Semalt: Jak używać Pythona do zdrapywania strony internetowej?

Dane odgrywają kluczową rolę w dochodzeniach, prawda? Może prowadzić do nowego sposobu patrzenia na rzeczy i rozwijania innych spostrzeżeń. Najbardziej niefortunne jest to, że dane, których szukasz, nie są zazwyczaj łatwo dostępne. Możesz go znaleźć w Internecie, ale może nie mieć formatu, który można pobrać. W takim przypadku możesz użyć techniki skrobania stron internetowych, aby zaprogramować i zebrać potrzebne dane.

Istnieje kilka podejść do skrobania i języków programowania, które mogą pomóc w tym procesie. W tym artykule dowiesz się, jak używać języka Python do usuwania witryny. Zdobędziesz wiele informacji na temat działania stron internetowych. Dowiesz się również, w jaki sposób programiści organizują dane w dowolnej witrynie.

Najlepszym punktem wyjścia jest pobranie i zainstalowanie Anaconda Python Distribution na komputerze. Możesz także skorzystać z samouczków na temat podstaw tego języka programowania. Najlepszym miejscem na rozpoczęcie może być Codecademy, zwłaszcza jeśli nie masz pojęcia w tej dziedzinie.

W tym przewodniku zostanie wykorzystana aktualna strona zawierająca informacje o więźniach z kraju Polk. Poprowadzimy Cię, jak użyć skryptu Python, aby wyodrębnić listę więźniów i uzyskać dane, takie jak miasto zamieszkania i wyścig dla każdego osadzonego. Cały skrypt, przez który będziemy Cię przeprowadzać, jest przechowywany i otwarty w GitHub. Jest to jedna z popularnych platform internetowych, które umożliwiają udostępnianie kodów komputerowych. Kody mają długą listę komentarzy, które mogą ci bardzo pomóc.

Podczas skrobania dowolnej witryny pierwszym narzędziem do wyszukiwania jest przeglądarka internetowa. Większość przeglądarek udostępnia użytkownikom narzędzia do inspekcji HTML, które pomagają w podnoszeniu klapy silnika i poznawaniu struktury strony. Sposób dostępu do każdego narzędzia różni się w zależności od przeglądarki. Podstawą jest jednak „źródło strony przeglądania”, które można uzyskać, klikając stronę prawym przyciskiem myszy.

Podczas przeglądania źródła HTML strony wskazane jest dokładne wyszczególnienie szczegółów linków do więźnia w wierszach tabeli. Następnym krokiem jest napisanie skryptu, którego użyjemy do wyodrębnienia tych informacji. Dwa pakiety Pythona, których będziemy używać w procesie podnoszenia ciężarów, to Piękna Zupa i Żądania. Upewnij się, że je zainstalujesz, zanim zaczniesz uruchamiać kod.

Skrypt skrobania stron internetowych wykona trzy czynności. Obejmują one ładowanie stron z listami i wyodrębnianie linków do stron ze szczegółami, ładowanie każdej strony ze szczegółami i wyodrębnianie danych oraz drukowanie wyodrębnionych danych w zależności od tego, jak są filtrowane, jak miasto zamieszkania i rasy. Gdy to zrozumiesz, następnym krokiem jest rozpoczęcie procesu kodowania przy użyciu Pięknej Zupy i Zamówień.

Po pierwsze, logicznie załaduj stronę z listą więźniów, używając adresu URL requests.get, a następnie użyj pięknej zupy, aby ją zamknąć. Następnie wyodrębniamy link do stron ze szczegółami, przechodząc przez każdy wiersz. Po przeanalizowaniu szczegółów dotyczących więźnia, następnym krokiem jest wyodrębnienie płci, wieku, rasy, czasu rezerwacji i wartości imiennych do słownika. Każdy więzień otrzyma swój słownik, a wszystkie słowniki zostaną dołączone do listy więźnia. Na koniec obejrzyj wartości rasy i miasta, zanim wreszcie wydrukujesz listę.