Phenquestions
Nyligen plockade jag upp verktyget och jag var imponerad av hur mycket grejer Octoparse tillåter användarna. I den här artikeln ser du vad Octoparse handlar om, en introduktion till den inbyggda skrapan och hur du kan bygga din egen skrapa från grunden.
Octoparse är ett verktyg som används för att skrapa data från webbplatser. Det är ett enkelt att använda webb-sökrobot för att hämta data utan att behöva skriva någon ytterligare kodrad.
Octoparse är inte komplicerat att använda, och i bara tre steg kan du göra fantastiska saker med detta kraftfulla webbgenomsökningsverktyg. Allt du behöver är webbadressen du behöver för att extrahera data från och ett par klick.
Det har ingen begränsning för vilken typ av webbplats den kan skrapa data från. Exportera data underlättas också i form av en CSV-fil eller ett API.
Du kan dra nytta av Octoparse-funktioner. Några av dem är:
- Det låter dig bygga webbsökare snabbt utan att skriva en kodrad
- Det tillhandahåller en molntjänst för schemalagd datautvinning och IP-rotation
- Det erbjuder obegränsat lagringsutrymme
- Det låter dig anställa professionella dataskrapningsexperter från Octoparse för att göra jobbet åt dig
Med detta har du ett gediget koncept för vad Octoparse är, dess syfte och hur du kommer igång med det.
Komma igång med Octoparse
Innan vi bygger vår första webbsökare, låt oss ställa in vår miljö för utveckling. Vi börjar med att ladda ner Octoparse från deras officiella webbplats. Jag rekommenderar att du laddar ner Octoparse 7.1 version.
Varför Octoparse 7.1?
Octoparse 7.1 kommer med funktioner som du inte hittar i äldre versioner av verktyget:
- Uppgiftsmallar som hjälper till med fördefinierade mallar vid skrapning av data från webbplatser som Amazon eller eBay.
- Instrumentpanelen har ett strukturerat nytt utseende som ger mer information till användaren.
- Möjlighet att skrapa data från flera webbadresser genom att importera dem från ett Excel-ark, CSV eller textfil.
- En anti-blockeringsfunktion för att kringgå skydd som hindrar användare från att skrapa data från en webbplats.
Du kan ladda ner Octoparse version 7.1 körbar. Det fungerar bara på Windows-operativsystem, så du behöver VirtualBox för att kunna köras på din Linux-maskin. Octoparse ger en guide om hur du använder verktyget för användare av Linux-maskiner.
Introduktion till uppgiftsmall
Uppgiftsmall är en funktion som introducerades i den senaste versionen av Octoparse, utformad för att underlätta webbskrapning för alla oavsett teknisk kunskap.
Hur man använder uppgiftsmall
För att spara tid, finns det egentligen ingen lång process för att använda uppgiftsmallar. Vissa data krävs dock, som inkluderar mål-URL, nyckelord att söka efter och många fler parametrar du behöver för att extrahera de önskade uppgifterna du väljer från webbplatsen.
Octoparse har redan några inbyggda mallar när du behöver skrapa data från dem, varav de flesta inkluderar bland annat Google, Amazon, eBay och Walmart. Låt oss försöka använda en av de inbyggda mallarna.
Du börjar med att välja en mall som du väljer, i det här fallet, låt oss använda eBay-uppgiftsmallen. När du har valt mallen uppmanas du att mata in dina parametrar baserat på nödvändig data. Dessa parametrar är mål-URL eller ett nyckelord att söka efter.
Ange “Nike-skor i vår parameterruta” som nyckelord. Med detta gör Octoparse resten av uppgiften genom att hämta all data baserat på dina parametrar, i det här fallet, alla Nike-skor. Dessa data är redo att användas för alla syften du tänker på.
För ytterligare analys av dina skrapade data, navigera till datafältfliken i din uppgiftsmall för att se extra information om allt innehåll på webbsidan, som inkluderar Nike-skobilder, säljarens namn, pris och antal lager.
Du kan också navigera till provutgångsfliken för att se information om data som produktnamn, produkt-URL och många fler data som är praktiskt taget relaterade till alla Nike-skor på eBay.
Du har sett hur enkelt det är att skrapa data med uppgiftsmallen. Lek med uppgiftsmallen och skrapa data från eBay. Testa andra inbyggda uppgiftsmallar som Walmart eller Google med Octoparse.
Bygga en webbcrawler med bläckfisk
Du har kommit så långt för att bygga en webbsökare med Octoparse. Du har en grundläggande kunskap och allt du behöver veta om att skrapa data från en webbplats med hjälp av en uppgiftsmall. Du kan dock själv bygga en webbsökare.
När man bygger en webb-sökrobot med Octoparse finns det två tillvägagångssätt. Dom är:
- Wizard Mode
- Avancerat läge
Bygga en webbcrawler med Octoparse Wizard Mode
Wizard Mode-metoden är faktiskt ett enklare och snabbare sätt att skrapa data från en webbplats. Med ett smidigt steg för steg-gränssnitt kan du få din webbrobot igång på nolltid. Du rekommenderas dock att använda avancerat läge för mer komplex dataskrapning.
Med guidarläget kan du skrapa data från tabeller, länkar eller objekt på sidor. Begränsat till omfattningen av denna handledning lär du dig att bygga en webbsökare för en enda webbsida.
Till att börja med startar du din Octoparse-applikation och skapar en ny uppgift från Wizard Mode och anger den URL du vill skrapa data från. Du kan byta namn på gruppinmatningsfältet till allt som verkar coolt för dig och klicka på nästa knapp.
Du navigeras till en ny sida för att välja extraktionstyp, och eftersom du arbetar med att skrapa data från en enda webbsida blir du den enda sidan. Med din extraktionsdatatyp mycket definierad kan du nu definiera våra fält.
För att definiera dina fält väljer du måldata från en enda webbsida och när du gör det fyller den automatiskt in data i fälten, nu kan du redigera fältegenskapen till vad du vill och du kan lägga till mer data genom att klicka knappen Lägg till fler fält.
Genom att följa dessa steg kommer du att kunna extrahera data från en enda webbsida på mindre än fem minuter.
Bygga en webbcrawler med Octoparse Advanced Mode
Guidarläget kan användas för att skrapa enkla webbplatser med enkel struktur, men webbplatser utformade med mer komplexa strukturer kommer att bli en hårdare uppgift. Det avancerade läget är det verktyg du använder för att skrapa sådana webbplatser.
Fortsätt och starta din Octoparse-applikation, under avancerat läge, skapa en ny uppgift och ange webbadressen du vill skrapa data från och tryck på spara-knappen. Detta navigerar dig till arbetsflödet för uppgiftskonfiguration.
Arbetsflödesgränssnittet för uppgiftskonfiguration ger dig mer flexibilitet för hur du vill extrahera data. Den fördefinierade arbetsflödesfunktionen är avstängd som standard, så slå på den för att komma igång med den.
I Avancerat läge, när du väljer data på webbsidan, får du handlingsråd att utföra för vald data.
Från webbsidan du vill genomsöka data från, när du klickar på ett objekt, ser du åtgärderstipsen längst ned till höger på sidan. Åtgärdstipsen låter dig välja vad du vill göra, till exempel extrahera data.
Med Avancerat läge kan du tillbringa större delen av din tid med att skapa ditt arbetsflöde för hur du extraherar data och när du har passerat detta steg kommer ditt arbetsflöde att vara klart för användning. Klicka bara på startuttagsknappen för att Octoparse ska fungera enligt ditt arbetsflöde.
Att arbeta med avancerat läge kan tyckas lite svårt att förstå för första gången, men du blir mer bekväm med det över tiden.
Slutsats
Du kan skrapa webbplatser genom att skriva kod för webbskrapor, men det kan vara tidskrävande. Octoparse ger dig fantastiska resultat utan att du skriver kod eller spenderar tid på att skrapa logiken.
I den här artikeln har du sett vad Octoparse handlar om, hur det sparar tid och ansträngning. Du har också sett hur du kan använda de inbyggda uppgiftsmallarna för att skrapa data från vissa webbplatser och också bygga dina egna kraftfulla webbskrapor.
Octoparse är för närvarande endast tillgängligt som en Windows-körbar, så du behöver VirtualBox för att använda den på din Linux-maskin.
Du kan besöka Octoparse officiella webbplats för att lära dig mer om Advanced Mode och Wizard Mode så att du kan skrapa många webbplatser.
