Web::Scraper unter anderem (Fragen zu Perl-Modulen)

[thread]21201[/thread]

Web::Scraper unter anderem

Leser: 8

Articles: hide open all | hide show old branches

+9 replies
chmod777

2021-06-03 16:14
User since
2009-09-14
82 Artikel
BenutzerIn
Hallo!

Ich schicke voraus - ich bin mit den Perl-Modulen im allgemeinen noch nicht so vertraut.
Jetzt möchte ich für meinen eigenen Bedarf eine WebSite abscannen und die Links und Daten verarbeiten.

Dazu verwende ich Web::Scraper

Meine ersten Versuche scheinen schon recht erfolgsversprechend, aber ich benötige doch die mir noch nicht
geläufigen Informationen:

Ich scrape eine url und bekomme mit print Dumper $res (Data::Dumper) folgendes Ergebnis:
Code (perl): (dl )

1 2 3 4 5 6 7 8

$VAR1 = { 'urls' => [ bless( do{\(my $o = 'https://www.finanzen.net/aktien/3m-aktie')}, 'URI::https' ), bless( do{\(my $o = 'https://www.finanzen.net/aktien/american_express-aktie')}, 'URI::https' ), bless( do{\(my $o = 'https://www.finanzen.net/aktien/walmart-aktie')}, 'URI::https' ), bless( do{\(my $o = 'https://www.finanzen.net/aktien/disney-aktie')}, 'URI::https' ) ] };
Wie kann man die einzelnen urls mit "do while" oder "for" in einer variablen weiterverarbeiten?
Last edited: 2021-06-03 16:29:31 +0200 (CEST)
- +8 replies
- styx-cc
  
  2021-06-03 16:29
  User since
  2006-05-20
  533 Artikel
  BenutzerIn
  Hi!
  Sei so nett und poste noch den von Dir verwendeten Code dazu, viele Leute sind nämlich faul :-) und man müsste mitunter raten wo dein Problem liegt.
  
  Evt. bekommst du den Link als Text, indem du die einzelnen Elemente des Arrays (Objekte) mit $url->as_string; aufrufst, zumindest verstehe ich die Doku von URI so.
  
  Edit sowas wie:
  
  Code (perl): (dl )
  
  1 2 3
  
  for my $url (@$urls) { say $url->as_string(); }
  
  Last edited: 2021-06-03 16:32:15 +0200 (CEST)
  Pörl.
  - +7 replies
  - chmod777
    
    2021-06-04 06:48
    User since
    2009-09-14
    82 Artikel
    BenutzerIn
    
    Mein Code ist noch im Anfangs-Stadium - ich lerne noch...:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10
    
    # website to scrape my $urlToScrape = "https://www.finanzen.net/index/dow_jones/werte"; # prepare data my $names = scraper { # we will save the urls process ".table.table-small.table-hover > tr > td > a", 'urls[]' => '@href'; }; # scrape the data my $res = $names->scrape(URI->new($urlToScrape)); print Dumper $res;
    - +6 replies
    - styx-cc
      
      2021-06-04 07:27
      
      User since
      2006-05-20
      533 Artikel
      BenutzerIn
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
      
      use v5.12; use warnings; use Data::Dumper; use Web::Scraper; use URI; # website to scrape my $urlToScrape = "https://www.finanzen.net/index/dow_jones/werte"; # prepare data my $names = scraper { # we will save the urls process ".table.table-small.table-hover > tr > td > a", 'urls[]' => '@href'; }; # scrape the data my $res = $names->scrape(URI->new($urlToScrape)); #print Dumper $res; my @urls; for my $cur_uri (@{ $res->{urls} }) { my $url = $cur_uri->as_string(); say "Add $url to array."; push @urls, $url; }
      
      Schönes Wochenende!
      
      Edit: use v5.12 statt 5.10 und use warnings hinzugefügt.
      Last edited: 2021-06-04 17:06:35 +0200 (CEST)
      Pörl.
      - chmod777
        
        2021-06-04 09:08
        
        User since
        2009-09-14
        82 Artikel
        BenutzerIn
        
        spitze! danke
      - +4 replies
      - bianca
        
        2021-06-05 07:14
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2021-06-04T05:27:13 styx-cc
        use v5.12 statt 5.10
        
        Aus welchem Grund 5.12?
        Wo kann man eigentlich sehen welche Features man mit welcher Version freischaltet?
        10 print "Hallo"
        20 goto 10
        
        +3 replies
        
        styx-cc
        
        2021-06-05 12:01
        
        User since
        2006-05-20
        533 Artikel
        BenutzerIn
        
        Weil es im Gegensatz zu 5.10 "use strict" impliziert.
        
        https://perldoc.perl.org/feature#FEATURE-BUNDLES
        Pörl.
        
        bianca
        
        2021-06-06 09:54
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Danke ✔
        10 print "Hallo"
        20 goto 10
        
        Crian
        
        2021-06-06 13:28
        
        User since
        2003-08-04
        5873 Artikel
        ModeratorIn
        
        Ah das erklärt, warum kein use strict; dastand!
        s--Pevna-;s.([a-z]).chr((ord($1)-84)%26+97).gee; s^([A-Z])^chr((ord($1)-52)%26+65)^gee;print;
        
        use strict; use warnings; Link zu meiner Perlseite

View all threads created 2021-06-03 16:14.