Speicherverbrauch für 2-dim. Array verringern (Allgemeines zu Perl)

[thread]18085[/thread]

Speicherverbrauch für 2-dim. Array verringern

Tags: perl5 Ähnliche Threads

Leser: 23

Articles: hide open all | hide show old branches

+5 replies
ingobulla

2013-01-26 19:04
User since
2008-08-08
20 Artikel
BenutzerIn
Hallo,

ich habe in meinem Programm mehrere größere 2-dim. Arrays. Das sieht dann so aus:
Code (perl): (dl )

1 2 3 4 5 6

@{$self->{'values'}} = map { [("") x $num_cols] } (1..$num_rows); @{$self->{'bold'}} = map { [(0) x $num_cols] } (1..$num_rows); @{$self->{'color'}} = map { [("") x $num_cols] } (1..$num_rows); @{$self->{'bg_color'}} = map { [("") x $num_cols] } (1..$num_rows); @{$self->{'bottom'}} = map { [("") x $num_cols] } (1..$num_rows); @{$self->{'left'}} = map { [("") x $num_cols] } (1..$num_rows);
Das Problem ist nun, dass $num_cols ungefähr 100 ist und $num_rows ungefähr 60000, was zu einem immensen Speicherverbrauch führt.

Meine Frage wäre nun, ob es eine universelle Technik in Perl gibt, um den Speicherverbrauch zu verringern.

Soll heissen: Da Devel::Size zeigt, dass pro Integer ca. 33 Byte und pro leeren String ca. 57 Byte verbraucht werden, war meine Hoffnung, dass man hier nicht problemspezifisch überlegen muss, wie man mit weniger Speicher auskommt, sondern Perl irgendetwas allgemeines bietet.
- pq
  
  2013-01-26 19:16
  
  User since
  2003-08-04
  12209 Artikel
  Admin1
  
  wie sehen denn die werte aus? im beispiel hast du ja nur leere strings.
  je nachdem, was man für werte hat, kann man auch statt eines mehrdimensionalen arrays strings speichern. z.b. wenn die werte eine festgelegte länge haben. dann kannst du mit substr() oder vec() darauf zugreifen.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- bianca
  
  2013-01-26 19:17
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Hast du die Nutzung von Hashes in Erwägung gezogen? Vorteil ist, dass man bei Hashes eine ähnliche Syntax verwendet aber Perl nur die wirklich verwendeten Keys reserviert.
  10 print "Hallo"
  20 goto 10
- clms
  
  2013-01-27 17:29
  
  User since
  2010-08-29
  373 Artikel
  BenutzerIn
  
  Du initialisierst das ganze Array mit 0 bzw. "". Das kannst du Dir auch sparen und die Werte einfach undefinert lassen. Dann musst Du Deinen Code zwar etwas umschreiben um Warnungen zu vermeiden, sparst Dir aber den Speicherplatz für die 0 bzw. den Leerstring.
  
  Ansonsten kann ich mich nur den Tipps von bianca und pq anschließen.
  Wenn Du spärlich besetzte Arrays hast, in denen nur wenige Einträge von
  0 bzw. "" abweichen, sind wahrscheinlich Hashes speichereffizienter.
  
  Ansonsten kann man schauen, ob man die Daten besser "packen" kann.
  Neben den von pq erwähnten Strings können da u.U. auch einzelne Bits und Bytes in Intergern für in Frage kommen, besonders wenn Deine Daten boolean sind oder auf kleine Integer oder Enums beschränkt sind.
- Dubu
  
  2013-01-29 18:15
  
  User since
  2003-08-04
  2145 Artikel
  ModeratorIn + EditorIn
  
  Ich weiß ja nicht, wofür du so große Felder brauchst und was du mit den Daten machst, aber vielleicht wäre PDL etwas für dich?
  
  PS: Vielleicht wäre es auch handlicher, direkt auf den Daten in einer Datenbank zu arbeiten?
  Last edited: 2013-01-29 18:18:00 +0100 (CET)

View all threads created 2013-01-26 19:04.