Ich würde das mit $line =~ tr/a-zA-ZÄÖÜäöüß0-9.,//cd; machen.
Das 'c' invertiert die Suchliste, d.h. alle Zeichen, die nicht bei tr angegeben wurden, werden entfernt.

BTW: Wenn der Input eine ASCII-Datei ist, wieso musst Du dann Umlaute berücksichtigen?