perl -e '$such="--TEST--"; for(0..(200*1024*1024)){ print chr(33+rand(90)); print "\n" if(rand(40)<2); print $such if(rand(1000)<5)}' > test.random.txt

#!/usr/bin/perl

use strict;
use warnings;

my $file='test.random.txt';

# regexp vorkompilieren
my $regexp=qr/--TEST--/o;

# vernünftige Fehlermeldung
open(TRACEFILE, '<',  $file ) or die "cannot open $file $!\n";

# vor der Schleife definieren
# das redefine in der Schleife bremst aus
my $found=0;
my $in_line;

while ($in_line = <TRACEFILE>)
{
  $found++ while($in_line =~ m/$regexp/gc);
  #$found++ if($in_line =~ m/$regexp/);
}
print "Anzahl Treffer: $found\n";

#!/usr/bin/perl
use strict;
use warnings;

my $shared=100; # 100 Zeichen Überschneidung
my $chuncksize=10*1024*1024;

my $file='test.random.txt';
my $regexp=qr/--TEST--/o;

open(TRACEFILE, '<',  $file ) or die "cannot open $file $!\n";

my $found=0;
my $chunk;
my $old="";

while (read(TRACEFILE, $chunk, $chuncksize))
{
  $chunk=$old.$chunk;
  $found++ while($chunk =~ m/$regexp/gsc);
  $old = substr($chunk,-$shared,$shared);
  $old =~ s/$regexp//gs;
}

print "anzahl treffer: $found\n";

  *-core
       description: Motherboard
       product: MS-6570
       vendor: MICRO-STAR INTERNATIONAL CO., LTD
       physical id: 0
       slot: External Cache
     *-cpu
          description: CPU
          product: AMD Athlon(tm) XP 2700+
          vendor: Advanced Micro Devices [AMD]
          physical id: 4
          bus info: cpu@0
          version: 6.10.0
          slot: Socket A
          size: 2GHz
          capacity: 2200MHz
          width: 32 bits
          clock: 166MHz
     *-memory
          description: System Memory
          physical id: 1b
          slot: System board or motherboard
          size: 1GiB
          capacity: 1536MiB

#!/usr/bin/perl

use forks;
# oder "use threads",
# forks bringen hier die bessere Multiprozessorunterstützung denke ich.

use strict;
use warnings;

my $shared=100; # 100 Zeichen Überschneidung
my $chuncksize=10*1024*1024; # 10 MB

my $file='/home/topeg/test.random.txt';
my $regexp=qr/--TEST--/o;

# maximal 4 Prozesse das macht bei 10 MB pro Prozess 40 MB...
my $threads=4;

open(TRACEFILE, '<',  $file ) or die "cannot open $file $!\n";

my $found=0;
my $chunk;
my $old="";

my @running;
my $pos=0;
while (read(TRACEFILE, $chunk, $chuncksize))
{
  $chunk=$old.$chunk;

  # erstmal alle Prozesse erzeugen
  if(@running < $threads)
  { push(@running,get_thread($chunk)); }
  else
  {
    #auf einen Prozess warten ...
    $found+=$running[$pos]->join();
    #neuen erzeugen ...
    $running[$pos]=get_thread($chunk);
    # einen weiter
    $pos++;
    # Liste wieder von vorne beginnen
    $pos=0 if($pos >= $threads);
  }
  $old = substr($chunk,-$shared,$shared);
  $old =~ s/$regexp//gs;
}

# auf die restlichen warten....
$pos=0;
while($pos<$threads)
{
  $found+=$running[$pos]->join();
  $pos++;
}

print "anzahl treffer: $found\n";

exit(0);
###############################################
# thread/prozess erzeugen
sub get_thread
{
  my $thread=threads->create(\&parse, shift);
  die "error create thread" unless(defined($thread));
  return $thread;
}

#  die Arbeit erledigen
sub parse
{
  my $found=0;
  my $chunk=shift;
  $found++ while($chunk =~ m/$regexp/gsc);
  $chunk="";
  return $found;
}