CGI vs. normales Skript (Perl/CGI)

[thread]17821[/thread]

CGI vs. normales Skript

Tags: perl5 CGI Ähnliche Threads

Leser: 27

Articles: hide open all | hide show old branches

+10 replies

kimmy

2012-10-09 11:56

User since
2010-09-10
87 Artikel
BenutzerIn
[default_avatar]

Hallo Zusammen,

OS : Win XP
ActivePerl 5. 14
XAMPP : 1. 7. 3
Firefox 15.0.1

ich habe ein relativ einfaches Skript(crawler) geschrieben mit LWP::Simple. Und ich habe das Skript in CGI-Version umgeschrieben. Der einzige Unterschied ist statt Filehandle 'Inputtag'

Code: (dl )

<input name=datei type="file" ....>

Wenn ich das Skript in Shell aufrufe, dauert es ca. 5Min, aber wenn ich es im Web-Browser aufrufe, dauert es viel länger, ca 20 Min.
Woran liegt eigentlich der Unterschied?
Wie kann man XAMPP oder Apache besser einstellen?

+2 replies

Muffi

2012-10-09 13:06

User since
2012-07-18
1465 Artikel
BenutzerIn
[default_avatar]

Unterschiede sind z.B. dass HTTP und TCP/IP als Overhead dazukommen.
Und wenn mich nicht alles täuscht legt Apache die Datei erst auf Platte, bevor sie in deinem CGI ankommt und erneut eingelesen wird.

Ist der Apache auf der gleichen Maschine? Kommen sich hochladen und auf dem Server wieder auf Platte schreiben Festplattentechnisch evtl. in die Quere?
Last edited: 2012-10-09 13:07:42 +0200 (CEST)

1 + 1 = 10

kimmy

2012-10-09 14:25

User since
2010-09-10
87 Artikel
BenutzerIn
[default_avatar]

Hiermit poste ich meine Skripte.

Code (perl): (dl )

#!/usr/bin/perl

use strict;
use warnings;
use LWP::Simple;
use utf8;
use Spreadsheet::WriteExcel;
use Spreadsheet::ParseExcel;
binmode(STDOUT, ":utf8");

print "Geben Sie die Inputdatei ein : ";
my $input = <STDIN>;
chomp $input;

my $parser   = Spreadsheet::ParseExcel->new();
my $book = $parser->parse($input);

my %tt;
if ( !defined $book ) {
    die $parser->error(), ".\n";
}

# Extraktion von Titelzeile
for my $sheet ( $book->worksheets() ) {
    my ( $row_min, $row_max ) = $sheet->row_range();
    my ( $col_min, $col_max ) = $sheet->col_range();
        my $i = 0;
        for my $col ( $col_min .. $col_max ) {
                my $title = $sheet -> get_cell(0, $col);
                $tt{$title->value()} = $i;
                print "" ,$title->value(), ", ";
                $i++;
        }
}
print "\n";
print "Wählen Sie einen Spalte aus : ";
my $feld = <STDIN>;
chomp $feld;
my @query;
# Extraktion der Inhalte
for my $sheet ( $book->worksheets() ) {
    my ( $row_min, $row_max ) = $sheet->row_range();    
    for my $row ( $row_min .. $row_max ) {
                my $cell = $sheet->get_cell( $row, $tt{$feld} );
                next unless $cell;
                print "", $cell->value(),"\n";
                push @query, $cell->value();
    }
}

# Definition : Output-Datei (*.xls Format) & Titel Zeile
my $workbook = Spreadsheet::WriteExcel -> new('e_components.xls');
my $worksheet = $workbook -> add_worksheet();
$worksheet -> write(0,0,'Component');
$worksheet -> write(0,1,'Arroweurop');
...
...

our $row = 1;
shift @query;
foreach(@query){
        chomp;
        $worksheet -> write($row,0,$_);
        my $min = 10000;

        # Arroweurop
        my $lief = 'Arroweurop';
        my $url = 'http://components.arrow.com/part/search/'.$_.'?region=arrowce';
        my $html = get($url);
        ...
        ...

CGI

Code (perl): (dl )

#!/usr/bin/perl

use strict;
use warnings;
use LWP::Simple;
use CGI qw(:standard :html4);
use CGI::Carp qw(carpout fatalsToBrowser);
use Spreadsheet::ParseExcel;
use Spreadsheet::WriteExcel;
use utf8;

my $query = new CGI;

sub Show_HTML {
        my $html = <<EOT;
        <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
               "http://www.w3.org/TR/html4/strict.dtd">
        <html>
        <HEAD>
                <title>Crawler</title>
                <meta http-equiv="Content-Type" content="text/html;  encoding=UTF-8 charset=UTF-8">
        </HEAD>
        <BODY onload="document.customForm.input.focus()">
                <table border="0" cellpadding="0" cellspacing="0" height="2" width="890">
                        <tr>
                                <td width="300" height="5" align="right" valign="right" bgcolor=""></td>
                                <td width="50" height="5" align="right" valign="right" bgcolor="#ff6600"><font size="6" color="FFFFFF" face="Arial,Times New Roman">e_Components Crawler</font></td>
                                <td width="15" height="5" align="right" valign="right" bgcolor="#ff6600"></td>
                        </tr>
                        <tr>
                                <td width="300" height="2" align="right" valign="right" bgcolor="#ff6600"></td>
                                <td width="50" height="2" align="right" valign="right" bgcolor="#ff6600"></td>
                                <td width="15" height="2" align="right" valign="right" bgcolor="#ff6600"></td>
                        </tr>
                </table>

        <form method="post" enctype="multipart/form-data">
          <p>W&auml;hlen Sie eine Exceldatei (*.xls) von Ihrem Rechner aus:<br>
            <input name="Datei" type="file" size="50" maxlength="100000" accept="text/*"><br>
          <p>Geben Sie eine Spalte von der Exceldatei ein:<br>
                <input name="query" type="text" size="50" accept="text/*">
                <td><input type='submit' value='Senden'>
          </p>
        </form>

        </body>
        </html>
EOT
return "$html";
}

my $filename = $query->param("Datei");
my $upload_filehandle = $query->upload($filename);
my $parser   = Spreadsheet::ParseExcel->new();
my $book = $parser->parse($filename);

my %tt;
if ( !defined $book ) {
    die $parser->error(), ".\n";
}

# Extraktion von Titelzeile
for my $sheet ( $book->worksheets() ) {
        my ( $row_min, $row_max ) = $sheet->row_range();
        my ( $col_min, $col_max ) = $sheet->col_range();
        my $i = 0;
        for my $col ( $col_min .. $col_max ) {
                my $title = $sheet -> get_cell(0, $col);
                $tt{$title->value()} = $i;
                #print "" ,$title->value(), ", ";
                $i++;
        }
}

my $feld = $query->param("query");
my @query;
# Extraktion der Inhalte
for my $sheet ( $book->worksheets() ) {
        my ( $row_min, $row_max ) = $sheet->row_range();        
        for my $row ( $row_min .. $row_max ) {
                my $cell = $sheet->get_cell( $row, $tt{$feld} );
                next unless $cell;
                #print "", $cell->value(),"\n";
                push @query, $cell->value();
        }
}

my $workbook = Spreadsheet::WriteExcel -> new('e_components.xls');
my $worksheet = $workbook -> add_worksheet();
$worksheet -> write(0,0,'Component');
$worksheet -> write(0,1,'Arroweurop');
...
...

our $row = 1;
shift @query;
foreach(@query){
        chomp;
        $worksheet -> write($row,0,$_);
        my $min = 10000;

        # Arroweurop
        my $lief = 'Arroweurop';
        my $url = 'http://components.arrow.com/part/search/'.$_.'?region=arrowce';
        my $html = get($url);
        ...
        ...

Last edited: 2012-10-09 14:26:19 +0200 (CEST)

gelöscht 2012-10-09 13:44
+5 replies
GwenDragon

2012-10-09 13:47
User since
2005-01-17
14748 Artikel
Admin1
Hast du einen Virenscanner/Websicherheitssoftware auf deinem System?
Sowas bremst erheblich, sowohl Traffic als auch Dateizugriffe und Interpreterstart. Konnte ich leider auf Testsystemen XP/7 feststellen.
2012-10-09T09:56:54 kimmy
ich habe ein relativ einfaches Skript(crawler) geschrieben mit LWP::Simple. Und ich habe das Skript in CGI-Version umgeschrieben. Der einzige Unterschied ist statt Filehandle 'Inputtag'

Code: (dl )

<input name=datei type="file" ....>
Habe FileHandle durch HTML ersetzt kann ja wohl nicht so sein. Da muss sich mehr unterscheiden ;)
Kannst du den unterschiedelichen Code mal als diff posten?
Was zeigt denn dein Apachelog?
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +4 replies
- kimmy
  
  2012-10-09 14:32
  
  User since
  2010-09-10
  87 Artikel
  BenutzerIn
  
  Ja, ich habe Antivirusprogramm.
  - +2 replies
  - GwenDragon
    
    2012-10-09 14:52
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Dann solltest du erst dem mal verbieten in Apaches, im Upload- und im TEMP-Verzeichnis zu scannen.
    
    Hast du mal gestestet wie lange nur der Upload dauert? Vielleicht ist das der Flaschenhals vbei dir?
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - kimmy
      
      2012-10-09 15:51
      
      User since
      2010-09-10
      87 Artikel
      BenutzerIn
      
      Ok, dank. Ich werde ja versuchen, was du gesagt hast.
      
      Vielen Dank für die Antwort.
  - GwenDragon
    
    2012-10-09 14:55
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Steht was im Apache-Error-Log wenns es so lang dauert ?
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
Gast egal

2012-10-12 00:06

2012-10-09T09:56:54 kimmy
Wenn ich das Skript in Shell aufrufe, dauert es ca. 5Min, aber wenn ich es im Web-Browser aufrufe, dauert es viel länger, ca 20 Min.
Woran liegt eigentlich der Unterschied?
Es gibt im Prinzip keinen.

Das Skript über CGI wird halt vom Server gestartet. Wenn das Skript länger dauert, liegt der Fehler woanders. Ich sehe z.b. in deinem Skript keinen HTTP Header den du ausgibst, liegt es vielleicht daran?
Last edited: 2012-10-12 03:53:49 +0200 (CEST)

View all threads created 2012-10-09 11:56.