source: nawszelkiwypadek/tools/gue_dic/rmDup.pl @ 8338227

#!/usr/bin/perl

# Usuwa zbêdne powtórzenia scie¿ek

use locale;

#if (@ARGV < 1) {
#    print "USAGE: remDup.pl num\n\tGdzie \"num\" jest ilo¶ci± powtórzeñ, które zostawiamy\n";
#    exit(0);
#}



#ilo¶æ powtórzeñ, które zostawiamy
$max = 10;

# przyjmujemy, ze na wej¶ciu znajduje siê plik posortowany,
# po koñcówkach oraz po prawdopodobieñstwie

$line = <>;

while (($line !~ m/^$/) || ($line =~ m/^\n$/)) {

    $count = 0;

    while ($line =~ m/^\n$/) {
        $line = <>;
    }

    $line =~ /^([^~]+)~.*/;
    $theEnd = $1;
    $end = $1;

    while (($end =~ m/$theEnd/) && ($count++ < $max)) {
        print $line;
        $line = <>;
        $line =~ /^([^~]+)~.*/;
        $end = $1;
    }

    # tutaj mamy dwie mo¿liwo¶ci:
    # 1. wypisali¶my ju¿ max lini - musimy wywaliæ kolejne linie, które
    # zawieraj± koñcówkê theEnd,
    # 2. pasuj±cych lini by³o mniej ni¿ max, wtedy nic nie musimy robiæ
    # - w zmiennej line znajduje siê kolejna linia...

    if ($count == $max + 1) {
        while ($oldEnd =~ m/$theEnd/) {
            $line = <>;
            $line =~ /^([^~]+)~.*/;
            $oldEnd = $1;
        }
    }

}