out of memory bei großen dateien (Allgemeines zu Perl)

[thread]13533[/thread]

out of memory bei großen dateien

Leser: 27

Articles: hide open all | hide show old branches

+9 replies
jan999

2009-05-18 12:14

User since
2009-04-02
109 Artikel
BenutzerIn

Moin !

ich habe ein tool für openstreetmap erstellt das bei der bearbeitung kleinerer dateien funktioniert und bei mega-dateien mit out of memory gegen die wand läuft.

das tool findet sich unter huenengrab

funktionieren tut das tool mit der entpackten version von bremen - 2.2 mb

scheitert aber bei der deutschland - 458 mb datei.

kann mir einer von euch sagen wie man auch derartige dateien verarbeitet bekommt?

gruß Jan :-)
- +8 replies
- Gast wer
  
  2009-05-18 12:22
  
  entweder du benennst die Datei auf dem server in "huenengrab_20090518.pl.txt" um, oder du packst sie wo anders hin, wo sie nicht ausgeführt wird.
  
  Vorher klann ich nicht helfen.
  - +7 replies
  - jan999
    
    2009-05-18 13:11
    
    User since
    2009-04-02
    109 Artikel
    BenutzerIn
    
    hi !
    
    die datei ist jetzt zu finden unter
    
    pl in txt umbenannt
    
    gruß Jan .-)
    - +6 replies
    - Linuxer
      
      2009-05-18 13:14
      
      User since
      2006-01-27
      3890 Artikel
      HausmeisterIn
      
      Nö, ist nicht.
      
      Folgt man dem Link, wird ein Status 300 geliefert (multiple choices).
      Folgt man dem dortigen Link zur TXT-Datei, kommt ein Status 404 (file not found).
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
      - +5 replies
      - anti
        
        2009-05-18 13:44
        
        User since
        2003-11-29
        155 Artikel
        BenutzerIn
        
        Vermutlich meinte der OP den folgenden Link:
        
        http://www.tappenbeck.net//forum/perl/huenengrab_20090518.txt
        
        greetz,
        anti
        
        +4 replies
        
        jan999
        
        2009-05-18 14:16
        
        User since
        2009-04-02
        109 Artikel
        BenutzerIn
        
        danke für die ergänzung !
        
        könnte es irgendetwas mit %g_AllNodes zu tun haben ? in diese richtung gehen die gedanke ?!
        
        gruß Jan :-)
        
        +2 replies
        
        GwenDragon
        
        2009-05-18 14:49
        
        User since
        2005-01-17
        14745 Artikel
        Admin1
        
        Kann sein.
        
        Vielleicht ist es sinnvoller einen tied hash zu nehmen, der landet dann auf Festplatte.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        GwenDragon
        
        2009-05-18 15:06
        
        User since
        2005-01-17
        14745 Artikel
        Admin1
        
        Im Speicher kann sowas dann schwer gehalten werden, je nach System und Swap-Möglichkeit, deswegen würde ich die Hashes als tied hashes ausführen.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        jan999
        
        2009-05-18 15:00
        
        User since
        2009-04-02
        109 Artikel
        BenutzerIn
        
        Hi !
        
        habe nochmal nachgedacht und wenn es an %g_AllNodes liegt, dann hängt es damit zusammen, dass hier einige Mio. Elemente zusammenkommen können.
        
        Dann wird das vermutlich irgendwann zwangsläuft gegen die Wand fahren !
        
        Gruß Jan :-)

View all threads created 2009-05-18 12:14.