source: app/src/dgp/dgc @ 3748bd1

help
Last change on this file since 3748bd1 was 3748bd1, checked in by obrebski <obrebski@…>, 16 years ago

1) dgp nie wysypuje sie na nieznanych kategoriach
2) dodane i uzupelnione konfigi

git-svn-id: svn://atos.wmid.amu.edu.pl/utt@49 e293616e-ec6a-49c2-aa92-f4a8b91c5d16

  • Property mode set to 100755
File size: 5.6 KB
RevLine 
[0214596]1#!/usr/bin/perl
2
3#package:       UAM Text Tools
4#component:     dgc (dg compiler)
5#version:       1.0
6#author:        Tomasz Obrebski
7
[19dfa5c]8# wymaga niejawnie programu canonize!!!!
[6b3be72]9use lib "/usr/local/lib/utt";
[adb4c8d]10use lib "$ENV{'HOME'}/.local/lib/utt";
[19dfa5c]11
12use strict;
[0214596]13use Getopt::Long;
14use Data::Dumper;
15use attr;
[19dfa5c]16use File::HomeDir;
17
18my $systemconfigfile='/usr/local/etc/utt/dgc.conf';
19my $userconfigfile=home()."/.utt/dgc.conf";
20
21Getopt::Long::Configure('no_ignore_case_always');
[0214596]22
23my $help=0;
24my $catfile=0;
25my $dicfile=0;
26my $gramfile=0;
[19dfa5c]27my $outputfile=0;
[0214596]28
[19dfa5c]29#read configuration files###########################
30my $file;
31foreach $file ($systemconfigfile, $userconfigfile){
32  if(open(CONFIG, $file)){
33        while (<CONFIG>) {
34                chomp;
35                s/#.*//;
36                s/^\s+//;
37                s/\s+$//;
38                next unless length;
39                my ($name, $value) = split(/\s*=\s*/, $_, 2);
[3748bd1]40                if(($name eq "categories")or($name eq "c")){
[19dfa5c]41                        $catfile=$value;
42                }
[3748bd1]43                elsif(($name eq "dictionary")or($name eq "d")){
[19dfa5c]44                        $dicfile=$value;
45                }
[3748bd1]46                elsif(($name eq "grammar")or($name eq "g")){
[19dfa5c]47                        $gramfile=$value;
48                }
49                elsif(($name eq "outputfile")or($name eq "o")){
50                        $outputfile=$value;
51                }
52                elsif(($name eq "help")or($name eq "h")){
53                        $help=1;
54                }
55
56        }
57        close CONFIG;
58  }
59}
60#########################################################
[0214596]61
62GetOptions("help|h" => \$help,
[3748bd1]63           "categories|c=s" => \$catfile,
64           "dictionary|d=s" => \$dicfile,
65           "grammar|g=s" => \$gramfile,
[19dfa5c]66           "outputfile|o=s" => \$outputfile);
[0214596]67
[3748bd1]68my $homedir = $ENV{'HOME'};
69$catfile =~ s/~/$homedir/;
70$dicfile =~ s/~/$homedir/;
71$gramfile =~ s/~/$homedir/;
72$outputfile =~ s/~/$homedir/;
73
74
[0214596]75if($help)
76{
77    print <<'END'
[19dfa5c]78Usage: dgc [OPTIONS]
[0214596]79
80Options:
[3748bd1]81   --categories -c filename     List of syntactic categories.
82   --dictionary -d filename     Dictionary.
83   --grammar -g filename        List of grammar rules.
84   --outputfile -o filename     Output file name.
[0214596]85   --help -h                    Help.
86END
87;
88    exit 0;
89}
90
91die("At least one of --cats and --dic must be given.\n") if !$catfile && !$dicfile;
92
[19dfa5c]93my $ncat=0;
94my $nrole=0;
95my $nsgl=0;
96my $nleft=0;
97my $nright=0;
98my $nreq=0;
99my $nlink=0;
100
[0214596]101my %cats;
102my %roles;
103my %agr;
104my %gov;
105
[19dfa5c]106if(!$outputfile) {
107        *OUTPUT = *STDOUT;
108}
109elsif($outputfile eq "-") {
110    *OUTPUT = *STDOUT;
111}
112else {
113        open(OUTPUT, ">$outputfile") or die("Can't open output file: $outputfile!");
114}
115
116
117
[0214596]118loadcats($catfile) if $catfile;
119extractcats($dicfile) if $dicfile;
120
121
[19dfa5c]122my $cats_re = qr/(?:$attr::cat_re\s*(?:,\s*$attr::cat_re)*)/;
[0214596]123
124# class parse_class:
125# /$attr::cat_re/g;
126
[19dfa5c]127
128if(!$gramfile) { 
129        *INPUT = *STDIN;
130}
131elsif($gramfile eq "-"){
132    *INPUT = *STDIN;
133}
134else {
135        open(INPUT, $gramfile) or die("Unable to open: $gramfile!");
136}
137
138while(<INPUT>)
[0214596]139{
[12d8443]140    s/#.*//;
141    s/^\s+//;
142    s/\s+$//;
143    if(/^AGR\s+(\S+)\s+(\S+)$/)
[0214596]144    {
145        push @{$agr{$1}}, $2;
146    }
[12d8443]147    elsif(/^GOV\s+(\S+)\s+(\S+)$/)
[0214596]148    {
149        push @{$gov{$1}}, attr::parse($2);
150    }
[12d8443]151    elsif(/^ROLE\s+\S+$/)
[0214596]152    {
153        $roles{$_}=1;
[12d8443]154        print OUTPUT "$_\n";
[0214596]155    }
[12d8443]156    elsif(/^SGL\s+\S+$/)
[0214596]157    {
158        ++$nsgl;
[12d8443]159        print OUTPUT "$_\n";
[0214596]160    }
[12d8443]161    elsif(/^REQ\s+(\S+)\s+(\S+)$/)
[0214596]162    {
[12d8443]163        print OUTPUT "#$_\n";
[0214596]164        my $cat = attr::parse $1;
165        for my $atomcat (keys %cats)
166        {
167            if(attr::match @$cat, @{$cats{$atomcat}})
168            {
[19dfa5c]169                print OUTPUT "REQ ".$atomcat." $2\n";
[0214596]170                ++$nreq;
171            }
172        }
173    }
[12d8443]174    elsif(/^LEFT\s+\S+$/)
[0214596]175    {
176        ++$nleft;
[12d8443]177        print OUTPUT "$_\n";
[0214596]178    }
[12d8443]179    elsif(/^RIGHT\s+\S+$/)
[0214596]180    {
181        ++$nright;
[12d8443]182        print OUTPUT "$_\n";
[0214596]183    }
[12d8443]184    elsif(my ($hs,$ds,$r) = /^LINK\s+($cats_re)\s+($cats_re)\s+(\S+)$/)
[0214596]185    {
[12d8443]186        print OUTPUT "#$_\n";
[19dfa5c]187        for my $h ($hs =~ /$attr::cat_re/g)
[0214596]188        {
[19dfa5c]189            for my $d ($ds =~ /$attr::cat_re/g)
[0214596]190            {
191                addlinks($h,$d,$r);
192            }
193        }
194    }
[12d8443]195    elsif(/^$/) {
196        # pomijamy puste linie oraz komentarze
197        }
198        else
[0214596]199    {
[12d8443]200        print STDERR "Illegal format: $_\n";
[0214596]201    }
202}
203
204
205sub addlinks
206{
[19dfa5c]207    my ($h,$d,$r) = @_;
[0214596]208
[19dfa5c]209    for my $a (@{$agr{$r}}) { print OUTPUT "#AGR $r $a\n"; }
210    for my $c (@{$gov{$r}}) { print OUTPUT "#GOV $r ".attr::unparse(@$c)."\n"; }
[0214596]211    my $head = attr::parse $h;
212    my $dep = attr::parse $d;
213   
214    for my $atomhead (keys %cats)
215    {
216        if(attr::match @$head, @{$cats{$atomhead}})
217        {
218          DEP:
219            for my $atomdep (keys %cats)
220            {
221                next DEP if ! attr::match @$dep, @{$cats{$atomdep}};
222               
223                for my $a (@{$agr{$r}})
224                {
225                    next DEP if ! attr::agree(@{$cats{$atomhead}},@{$cats{$atomdep}},$a);
226                }
227               
228                for my $c (@{$gov{$r}})
229                {
230                    next DEP if ! attr::match(@$c,@{$cats{$atomdep}});
231                }
232               
[19dfa5c]233                print OUTPUT "LINK ";
234                print OUTPUT $atomhead." ";
235                print OUTPUT $atomdep." $r\n";
[0214596]236                ++$nlink;
237               
238            }
239        }
240    }
241}
242
243
244printf STDERR "%6d CAT   statements\n", 0+keys(%cats);
245printf STDERR "%6d ROLE  statements\n", 0+keys(%roles);
246printf STDERR "%6d SGL   statements\n", $nsgl;
247printf STDERR "%6d REQ   statements\n", $nreq;
248printf STDERR "%6d LEFT  statements\n", $nleft;
249printf STDERR "%6d RIGHT statements\n", $nright;
250printf STDERR "%6d LINK  statements\n", $nlink;
251
252
253sub extractcats
254{
255    my $file = shift;
256    open DICFILE, "canonize $file |";
257    while(<DICFILE>)
258    {
259        while(/,([^[:space:];]+)/g)
260        {
[19dfa5c]261            my $cat=$1;
[0214596]262            next if !$cat || exists $cats{$cat};
263            $ncat++;
[19dfa5c]264            print OUTPUT "CAT $1\n";
[0214596]265            $cats{$cat}=attr::parse($cat);
266        }
267    }
268    close DICFILE;
269}
270
271
272sub loadcats
273{
274    my $file = shift;
275    open CATFILE, "canonize $file |";
276    while(<CATFILE>)
277    {
278        tr/ \t\n//d;
279        next if !$_ || exists $cats{$_};
[19dfa5c]280        print OUTPUT "CAT $_\n";
[0214596]281        ++$ncat;
282        $cats{$_}=attr::parse($_);
283    }
284    close CATFILE;
285}
[19dfa5c]286
Note: See TracBrowser for help on using the repository browser.