wiki:UTT by example

Context Navigation

Version 15 (modified by s316637, 13 years ago) (diff)
--

UTT Based on Examples

Author: Mateusz Boryga

tok

tok.1.

Description:

Change raw text into list of tokens.

Command:

echo 'W moim domu jest zawsze głośno. Stoi przy ruchliwej ulicy.' | tok

Output:

0000 01 W W
0001 01 S _
0002 04 W moim
0006 01 S _
0007 04 W domu
0011 01 S _
0012 04 W jest
0016 01 S _
0017 06 W zawsze
0023 01 S _
0024 06 W głośno
0030 01 P .
0031 01 S _
0032 04 W Stoi
0036 01 S _
0037 04 W przy
0041 01 S _
0042 09 W ruchliwej
0051 01 S _
0052 05 W ulicy
0057 01 P .
0058 01 S \n

lem

lem.1.

Description:

Perform morphological analysis.

Command:

echo 'Ulicą jedzie szybki i zielony samochód.' | tok | lem

Output:

0000 05 W Ulicą lem:ulica,N/CiGfNs
0005 01 S _
0006 06 W jedzie lem:jechać,V/AiMdNsP3R-TfrVp
0012 01 S _
0013 06 W szybki lem:szybki,ADJ/CaDpGiNs
0013 06 W szybki lem:szybki,ADJ/CnvDpGaipNs
0013 06 W szybki lem:szybka,N/CaGfNp
0013 06 W szybki lem:szybka,N/CgGfNs
0013 06 W szybki lem:szybka,N/CnGfNp
0013 06 W szybki lem:szybka,N/CvGfNp
0019 01 S _
0020 01 W i lem:i,CONJ
0020 01 W i lem:i,EXCL
0021 01 S _
0022 07 W zielony lem:zielony,ADJ/CaDpGiNs
0022 07 W zielony lem:zielony,ADJ/CnvDpGaipNs
0029 01 S _
0030 08 W samochód lem:samochód,N/CaGiNs
0030 08 W samochód lem:samochód,N/CnGiNs
0038 01 P .
0039 01 S \n

lem.2.

Description:

Perform morphological analysis. Print ambiguous annotation in one output line by generating multiple annotation fields.

Command:

echo 'Ulicą jedzie szybki i zielony samochód.' | tok | lem --one-line

Output:

0000 05 W Ulicą lem:ulica,N/CiGfNs
0005 01 S _
0006 06 W jedzie lem:jechać,V/AiMdNsP3R-TfrVp
0012 01 S _
0013 06 W szybki lem:szybki,ADJ/CaDpGiNs lem:szybki,ADJ/CnvDpGaipNs lem:szybka,N/CaGfNp lem:szybka,N/CgGfNs lem:szybka,N/CnGfNp lem:szybka,N/CvGfNp
0019 01 S _
0020 01 W i lem:i,CONJ lem:i,EXCL
0021 01 S _
0022 07 W zielony lem:zielony,ADJ/CaDpGiNs lem:zielony,ADJ/CnvDpGaipNs
0029 01 S _
0030 08 W samochód lem:samochód,N/CaGiNs lem:samochód,N/CnGiNs
0038 01 P .
0039 01 S \n

lem.3.

Description:

Perform morphological analysis. Print ambiguous annotation in one annotation field.

Command:

echo 'Ulicą jedzie szybki i zielony samochód.' | tok | lem -1

Output:

0000 05 W Ulicą lem:ulica,N/CiGfNs
0005 01 S _
0006 06 W jedzie lem:jechać,V/AiMdNsP3R-TfrVp
0012 01 S _
0013 06 W szybki lem:szybki,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs;szybka,N/CaGfNp,N/CgGfNs,N/CnGfNp,N/CvGfNp
0019 01 S _
0020 01 W i lem:i,CONJ,EXCL
0021 01 S _
0022 07 W zielony lem:zielony,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0029 01 S _
0030 08 W samochód lem:samochód,N/CaGiNs,N/CnGiNs
0038 01 P .
0039 01 S \n

gue

gue.1.

Description:

Guess morphological descriptions.

Command:

echo 'smerfny' | tok | gue

Output:

0000 07 W smerfny gue:smerfny,ADJ/CaDpGiNs
0000 07 W smerfny gue:smerfny,ADJ/CnvDpGaipNs
0007 01 S \n

gue.2.

Description:

Guess morphological descriptions. Print ambiguous annotation in one output line by generating multiple annotation fields.

Command:

echo 'smerfny' | tok | gue --one-line

Output:

0000 07 W smerfny gue:smerfny,ADJ/CaDpGiNs gue:smerfny,ADJ/CnvDpGaipNs
0007 01 S \n

gue.3.

Description:

Guess morphological descriptions. Print ambiguous annotation in one annotation field.

Command:

echo 'smerfny' | tok | gue -1

Output:

0000 07 W smerfny gue:smerfny,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0007 01 S \n

cor

cor.1.

Description:

Correct spelling.

Command:

echo 'kresło' | tok | cor

Output:

0000 06 W kresło cor:kresko
0000 06 W kresło cor:kreso
0000 06 W kresło cor:krzesło
0006 01 S \n

cor.2.

Description:

Correct spelling. Print ambiguous annotation in one output line by generating multiple annotation fields.

Command:

echo 'kresło' | tok | cor --one-line

Output:

0000 06 W kresło cor:kresko cor:kreso cor:krzesło
0006 01 S \n

cor.3.

Description:

Correct spelling. Print ambiguous annotation in one annotation field.

Command:

echo 'kresło' | tok | cor -1

Output:

0000 06 W kresło cor:kresko;kreso;krzesło
0006 01 S \n

cor.4.

Description:

Correct spelling. Change maximum edit distance into 2.

Command:

echo 'kzzeslo' | tok | cor -n 2

Output:

0000 07 W kzzeslo cor:krzesko
0000 07 W kzzeslo cor:krzesło
0007 01 S \n

kor

kor.1.

Description:

Correct spelling.

Command:

echo 'kresło' | tok | kor

Output:

0000 06 W kresło kor:krzesło
0000 06 W kresło kor:kreso
0000 06 W kresło kor:kresko
0006 01 S \n

kor.2.

Description:

Correct spelling. Print ambiguous annotation in one output line by generating multiple annotation fields.

Command:

echo 'kresło' | tok | kor --one-line

Output:

0000 06 W kresło kor:krzesło kor:kreso kor:kresko
0006 01 S \n

kor.3.

Description:

Correct spelling. Print ambiguous annotation in one annotation field.

Command:

echo 'kresło' | tok | kor -1

Output:

0000 06 W kresło kor:krzesło;kreso;kresko
0006 01 S \n

kor.4.

Description:

Correct spelling. Change maximum edit distance into 3.

Command:

echo 'pisemy' | tok | kor -n 3

Output:

0000 06 W pisemy kor:piszmy
0000 06 W pisemy kor:piszemy
0000 06 W pisemy kor:pisemny
0006 01 S \n

kor.5.

Description:

Correct spelling. Add operations' weights file.

Command:

echo 'grzegrzułka' | tok | kor -w w.kor

File w.kor:

%stdcor 1
%xchg   1
ż rz 0.3
u ó  0.3

Output:

0000 11 W grzegrzułka kor:gżegżółka
0011 01 S \n

sen

sen.1.

Description:

Detect sentence boundaries. Mark beginning (BOS) and end (EOS) of each sentence.

Command:

echo 'Ala? Ala ma kota. Kot ma Alę.' | tok | sen

Output:

0000 00 BOS *
0000 03 W Ala
0003 01 P ?
0004 00 EOS *
0004 00 BOS *
0004 01 S _
0005 03 W Ala
0008 01 S _
0009 02 W ma
0011 01 S _
0012 04 W kota
0016 01 P .
0017 00 EOS *
0017 00 BOS *
0017 01 S _
0018 03 W Kot
0021 01 S _
0022 02 W ma
0024 01 S _
0025 03 W Alę
0028 01 P .
0029 01 S \n
0030 00 EOS *

ser

ser.1.

Description:

Find pattern 'word(dom)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'O Białym Domu mówi się, że to duży funkcjonalny dom.' | tok | lem -1 | ser -e 'word(dom)'

Output:

0000 01 W O lem:o,EXCL,P/Cal
0001 01 S _
0002 06 W Białym lem:biały,ADJ/CdDpNp,ADJ/CilDpGainpNs
0008 01 S _
0009 04 W Domu lem:dom,N/CgGiNs,N/ClGiNs,N/CvGiNs
0013 01 S _
0014 04 W mówi lem:mówić,V/AiMdNsP3R-TfrVp
0018 01 S _
0019 03 W się lem:się,NPRO/CaZx,NPRO/CgZx
0022 01 P ,
0023 01 S _
0024 02 W że lem:że,CONJ,PART
0026 01 S _
0027 02 W to lem:to,CONJ,NPRO/CaGnNsZd,NPRO/CnGnNsZd,PART;ten,ADJPRO/CanvGnNsZd
0029 01 S _
0030 04 W duży lem:duży,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0034 01 S _
0035 12 W funkcjonalny lem:funkcjonalny,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0047 01 S _
0048 00 BOM * ser:1
0048 03 W dom lem:dom,N/CaGiNs,N/CnGiNs
0051 00 EOM * ser:1
0051 01 P .
0052 01 S \n

ser.2.

Description:

Find pattern 'word(dom)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'O Białym Domu mówi się, że to duży funkcjonalny dom.' | tok | lem -1 | ser -m -e 'word(dom)'

Output:

0048 00 BOM * ser:1
0048 03 W dom lem:dom,N/CaGiNs,N/CnGiNs
0051 00 EOM * ser:1

ser.3.

Description:

Find pattern 'lexeme(dom)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'O Białym Domu mówi się, że to duży funkcjonalny dom.' | tok | lem -1 | ser -e 'lexeme(dom)'

Output:

0000 01 W O lem:o,EXCL,P/Cal
0001 01 S _
0002 06 W Białym lem:biały,ADJ/CdDpNp,ADJ/CilDpGainpNs
0008 01 S _
0009 00 BOM * ser:1
0009 04 W Domu lem:dom,N/CgGiNs,N/ClGiNs,N/CvGiNs
0013 00 EOM * ser:1
0013 01 S _
0014 04 W mówi lem:mówić,V/AiMdNsP3R-TfrVp
0018 01 S _
0019 03 W się lem:się,NPRO/CaZx,NPRO/CgZx
0022 01 P ,
0023 01 S _
0024 02 W że lem:że,CONJ,PART
0026 01 S _
0027 02 W to lem:to,CONJ,NPRO/CaGnNsZd,NPRO/CnGnNsZd,PART;ten,ADJPRO/CanvGnNsZd
0029 01 S _
0030 04 W duży lem:duży,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0034 01 S _
0035 12 W funkcjonalny lem:funkcjonalny,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0047 01 S _
0048 00 BOM * ser:2
0048 03 W dom lem:dom,N/CaGiNs,N/CnGiNs
0051 00 EOM * ser:2
0051 01 P .
0052 01 S \n

ser.4.

Description:

Find pattern 'lexeme(dom)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'O Białym Domu mówi się, że to duży funkcjonalny dom.' | tok | lem -1 | ser -m -e 'lexeme(dom)'

Output:

0009 00 BOM * ser:1
0009 04 W Domu lem:dom,N/CgGiNs,N/ClGiNs,N/CvGiNs
0013 00 EOM * ser:1
0048 00 BOM * ser:2
0048 03 W dom lem:dom,N/CaGiNs,N/CnGiNs
0051 00 EOM * ser:2

ser.5.

Description:

Find pattern 'cat(<ADJ>) space lexeme(dom)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'O Białym Domu mówi się, że to duży funkcjonalny dom.' | tok | lem -1 | ser -e 'cat(<ADJ>) space lexeme(dom)'

Output:

0000 01 W O lem:o,EXCL,P/Cal
0001 01 S _
0002 00 BOM * ser:1
0002 06 W Białym lem:biały,ADJ/CdDpNp,ADJ/CilDpGainpNs
0008 01 S _
0009 04 W Domu lem:dom,N/CgGiNs,N/ClGiNs,N/CvGiNs
0013 00 EOM * ser:1
0013 01 S _
0014 04 W mówi lem:mówić,V/AiMdNsP3R-TfrVp
0018 01 S _
0019 03 W się lem:się,NPRO/CaZx,NPRO/CgZx
0022 01 P ,
0023 01 S _
0024 02 W że lem:żeTfrVp,CONJ;że,PART
0026 01 S _
0027 02 W to lem:toTfrVp,CONJ;to,NPRO/CaGnNsZd,NPRO/CnGnNsZd,PART;ten,ADJPRO/CanvGnNsZd
0029 01 S _
0030 04 W duży lem:duży,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0034 01 S _
0035 00 BOM * ser:2
0035 12 W funkcjonalny lem:funkcjonalny,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0047 01 S _
0048 03 W dom lem:dom,N/CaGiNs,N/CnGiNs
0051 00 EOM * ser:2
0051 01 P .
0052 01 S \n

ser.6.

Description:

Find pattern 'cat(<ADJ>) space lexeme(dom)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'O Białym Domu mówi się, że to duży funkcjonalny dom.' | tok | lem -1 | ser -m -e 'cat(<ADJ>) space lexeme(dom)'

Output:

0002 00 BOM * ser:1
0002 06 W Białym lem:biały,ADJ/CdDpNp,ADJ/CilDpGainpNs
0008 01 S _
0009 04 W Domu lem:dom,N/CgGiNs,N/ClGiNs,N/CvGiNs
0013 00 EOM * ser:1
0035 00 BOM * ser:2
0035 12 W funkcjonalny lem:funkcjonalny,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0047 01 S _
0048 03 W dom lem:dom,N/CaGiNs,N/CnGiNs
0051 00 EOM * ser:2

ser.7.

Description:

Find pattern '(cat(<ADJ>) space)+ lexeme(dom)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'O Białym Domu mówi się, że to duży funkcjonalny dom.' | tok | lem -1 | ser -e '(cat(<ADJ>) space)+ lexeme(dom)'

Output:

0000 01 W O lem:o,EXCL,P/Cal
0001 01 S _
0002 00 BOM * ser:1
0002 06 W Białym lem:biały,ADJ/CdDpNp,ADJ/CilDpGainpNs
0008 01 S _
0009 04 W Domu lem:dom,N/CgGiNs,N/ClGiNs,N/CvGiNs
0013 00 EOM * ser:1
0013 01 S _
0014 04 W mówi lem:mówić,V/AiMdNsP3R-TfrVp
0018 01 S _
0019 03 W się lem:się,NPRO/CaZx,NPRO/CgZx
0022 01 P ,
0023 01 S _
0024 02 W że lem:że,CONJ,PART
0026 01 S _
0027 02 W to lem:to,CONJ,NPRO/CaGnNsZd,NPRO/CnGnNsZd,PART;ten,ADJPRO/CanvGnNsZd
0029 01 S _
0030 00 BOM * ser:2
0030 04 W duży lem:duży,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0034 01 S _
0035 12 W funkcjonalny lem:funkcjonalny,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0047 01 S _
0048 03 W dom lem:dom,N/CaGiNs,N/CnGiNs
0051 00 EOM * ser:2
0051 01 P .
0052 01 S \n

ser.8.

Description:

Find pattern '(cat(<ADJ>) space)+ lexeme(dom)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'O Białym Domu mówi się, że to duży funkcjonalny dom.' | tok | lem -1 | ser -m -e '(cat(<ADJ>) space)+ lexeme(dom)'

Output:

0002 00 BOM * ser:1
0002 06 W Białym lem:biały,ADJ/CdDpNp,ADJ/CilDpGainpNs
0008 01 S _
0009 04 W Domu lem:dom,N/CgGiNs,N/ClGiNs,N/CvGiNs
0013 00 EOM * ser:1
0030 00 BOM * ser:2
0030 04 W duży lem:duży,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0034 01 S _
0035 12 W funkcjonalny lem:funkcjonalny,ADJ/CaDpGiNs,ADJ/CnvDpGaipNs
0047 01 S _
0048 03 W dom lem:dom,N/CaGiNs,N/CnGiNs
0051 00 EOM * ser:2

ser.9.

Description:

Find pattern 'cat(<ADJ>) space lexeme(dom)'. Mark beginning (BOM) and end (EOM) of each matching. Print the generated flex source code.

Command:

echo 'O Białym Domu mówi się, że to duży funkcjonalny dom.' | tok | lem -1 | ser -e 'cat(<ADJ>) space lexeme(dom)' --flex

Output:

%{
	#include<string.h>
	int n=0;
%}

%%

([ \t]*(([0-9]+[ \t]+)([0-9]+[ \t]+)?)?([^ \t\n\r\f]+)[ \t]+([^ \t\n\r\f]+)([ \t]+(([^ \t\n\r\f]+[ \t]+)*(lem:[^ \t\n\r\f]+,ADJ(\/([[:upper:]]+([[:lower:][:digit:]+?!*-]|<[^>\n[:cntrl:]]+>)+)*)?([,;][^ \t\n\r\f]+)?)([ \t]+[^ \t\n\r\f]+)*))[ \t]*\n)([ \t]*(([0-9]+[ \t]+)([0-9]+[ \t]+)?)?(S)[ \t]+([^ \t\n\r\f]+)(([ \t]+[^ \t\n\r\f]+)*)[ \t]*\n)([ \t]*(([0-9]+[ \t]+)([0-9]+[ \t]+)?)?([^ \t\n\r\f]+)[ \t]+([^ \t\n\r\f]+)([ \t]+(([^ \t\n\r\f]+[ \t]+)*(lem:([^ \t\n\r\f]+;)?dom,[^ \t\n\r\f]+)([ \t]+[^ \t\n\r\f]+)*))[ \t]*\n)			{
			  int start, end, len;
			  char *lastseg, *tmp;
			  if(yytext[yyleng-1]!='\n')
			    {fprintf(stderr,"ser: pattern matches incomplete line\n"); exit(1);}
			  n++;
			  sscanf(yytext,"%d %d",&start,&len);
			  yytext[yyleng-1]='\0';
			  if(tmp=strrchr(yytext,'\n'))
			  {
			    lastseg=tmp+1;
			    sscanf(lastseg,"%d %d", &end, &len);
			  }
			  else
			    end=start;
			  yytext[yyleng-1]='\n';
			  printf("%04d 00 BOM * ser:%s%d\n",start,"",n);
			  ECHO;
			  printf("%04d 00 EOM * ser:%s%d\n",end+len,"",n);
			}


.*\n			ECHO;

ser.10.

Description:

Find pattern '(cat(<N>) space cat(<ADJ>)) | (cat(<ADJ>) space cat(<N>))'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'Panna młoda dostała sztuczne kwiaty i wieczne pióro. Rozpakowała wszystko na klatce schodowej.' | tok | lem -1 | ser -e '(cat(<N>) space cat(<ADJ>)) | (cat(<ADJ>) space cat(<N>))'

Output:

0000 00 BOM * ser:1
0000 05 W Panna lem:panna,N/CnGfNs
0005 01 S _
0006 05 W młoda lem:młoda,N/CnGfNs,N/CvGfNs;młody,ADJ/CanvDpGfNs
0011 00 EOM * ser:1
0011 01 S _
0012 07 W dostała lem:dostać,V/ApGfMdNsP3R?TaVp
0019 01 S _
0020 00 BOM * ser:2
0020 08 W sztuczne lem:sztuczny,ADJ/CanvDpGafinNp,ADJ/CanvDpGnNs
0028 01 S _
0029 06 W kwiaty lem:kwiat,N/CaGiNp,N/CnGiNp,N/CvGiNp
0035 00 EOM * ser:2
0035 01 S _
0036 01 W i lem:i,CONJ,EXCL
0037 01 S _
0038 00 BOM * ser:3
0038 07 W wieczne lem:wieczny,ADJ/CanvDpGafinNp,ADJ/CanvDpGnNs
0045 01 S _
0046 05 W pióro lem:pióro,N/CaGnNs,N/CnGnNs,N/CvGnNs
0051 00 EOM * ser:3
0051 01 P .
0052 01 S _
0053 11 W Rozpakowała lem:rozpakować,V/ApGfMdNsP3R-TaVp
0064 01 S _
0065 08 W wszystko lem:wszystko,NPRO/CaGnNsZg,NPRO/CnGnNsZg;wszystek,ADJPRO/CanvGnNsZg
0073 01 S _
0074 02 W na lem:na,P/Cal
0076 01 S _
0077 00 BOM * ser:4
0077 06 W klatce lem:klatka,N/CdGfNs,N/ClGfNs
0083 01 S _
0084 09 W schodowej lem:schodowy,ADJ/CdglDpGfNs
0093 00 EOM * ser:4
0093 01 P .
0094 01 S \n

ser.11.

Description:

Find pattern '(cat(<N>) space cat(<ADJ>)) | (cat(<ADJ>) space cat(<N>))'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'Panna młoda dostała sztuczne kwiaty i wieczne pióro. Rozpakowała wszystko na klatce schodowej.' | tok | lem -1 | ser -m -e '(cat(<N>) space cat(<ADJ>)) | (cat(<ADJ>) space cat(<N>))'

Output:

0000 00 BOM * ser:1
0000 05 W Panna lem:panna,N/CnGfNs
0005 01 S _
0006 05 W młoda lem:młoda,N/CnGfNs,N/CvGfNs;młody,ADJ/CanvDpGfNs
0011 00 EOM * ser:1
0020 00 BOM * ser:2
0020 08 W sztuczne lem:sztuczny,ADJ/CanvDpGafinNp,ADJ/CanvDpGnNs
0028 01 S _
0029 06 W kwiaty lem:kwiat,N/CaGiNp,N/CnGiNp,N/CvGiNp
0035 00 EOM * ser:2
0038 00 BOM * ser:3
0038 07 W wieczne lem:wieczny,ADJ/CanvDpGafinNp,ADJ/CanvDpGnNs
0045 01 S _
0046 05 W pióro lem:pióro,N/CaGnNs,N/CnGnNs,N/CvGnNs
0051 00 EOM * ser:3
0077 00 BOM * ser:4
0077 06 W klatce lem:klatka,N/CdGfNs,N/ClGfNs
0083 01 S _
0084 09 W schodowej lem:schodowy,ADJ/CdglDpGfNs
0093 00 EOM * ser:4

ser.12.

Description:

Find pattern 'cat(<N>)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'Kot, kota, kotu, kocie, kotem' | tok | lem -1 | ser -m -e 'cat(<N>)'

Output:

0000 00 BOM * ser:1
0000 03 W Kot lem:kota,N/CgGfNp;kot,N/CnGaNs
0003 00 EOM * ser:1
0005 00 BOM * ser:2
0005 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0009 00 EOM * ser:2
0011 00 BOM * ser:3
0011 04 W kotu lem:kot,N/CdGaNs
0015 00 EOM * ser:3
0017 00 BOM * ser:4
0017 05 W kocie lem:kota,N/CdGfNs,N/ClGfNs;kot,N/ClGaNs,N/CvGaNs
0022 00 EOM * ser:4
0024 00 BOM * ser:5
0024 05 W kotem lem:kot,N/CiGaNs
0029 00 EOM * ser:5

ser.13.

Description:

Find pattern 'cat(<N/Ci>)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'Kot, kota, kotu, kocie, kotem' | tok | lem -1 | ser -m -e 'cat(<N/Ci>)'

Output:

0024 00 BOM * ser:1
0024 05 W kotem lem:kot,N/CiGaNs
0029 00 EOM * ser:1

ser.14.

Description:

Find pattern 'form(była)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'Ala była tu, teraz jest tam.' | tok | lem -1 | ser -m -e 'form(była)'

Output:

0004 00 BOM * ser:1
0004 04 W była lem:były,ADJ/CanvDpGfNs;być,BYC/GfMdNsP3TaVp
0008 00 EOM * ser:1

ser.15.

Description:

Find pattern 'seg{3} word(teraz) seg{4}'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'Ala była tu, teraz jest tam.' | tok | lem -1 | ser -m -e 'seg{3} word(teraz) seg{4}'

Output:

0009 00 BOM * ser:1
0009 02 W tu lem:tu,ADVPRO/Zd,PART
0011 01 P ,
0012 01 S _
0013 05 W teraz lem:teraz,ADV/Dp
0018 01 S _
0019 04 W jest lem:być,BYC/MdNsP3TfrVp
0023 01 S _
0024 03 W tam lem:tama,N/CgGfNp;tam,ADVPRO/Zd,ONO
0027 00 EOM * ser:1

ser.16.

Description:

Find pattern 'word space number punct number'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'Czy 2+2 to cztery?' | tok | lem -1 | ser -m -e 'word space number punct number'

Output:

0000 00 BOM * ser:1
0000 03 W Czy lem:czy,CONJ,PART
0003 01 S _
0004 01 N 2
0005 01 P +
0006 01 N 2
0007 00 EOM * ser:1

grp

grp.1.

Description:

Select sentences containing an expression matching a pattern 'lexeme(kot)'.

Command:

echo 'Ala ma kota.' | tok | lem -1 | grp -e 'lexeme(kot)'

Output:

0000 03 W Ala
0003 01 S _
0004 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0006 01 S _
0007 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0011 01 P .
0012 01 S \n

grp.2.

Description:

Select sentences containing an expression matching a pattern 'lexeme(kot)'.

Command:

echo 'Ala ma psa.' | tok | lem -1 | grp -e 'lexeme(kot)'

Output:

mar

mar.1.

Description:

Match pattern 'lexeme(kot)'. Mark beginning (BOM) and end (EOM) of each matching.

Command:

echo 'Ala ma kota. Ola ma kota. Bartosz ma psa.' | tok | lem -1 | mar -e 'lexeme(kot)'

Output:

0000 03 W Ala
0003 01 S _
0004 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0006 01 S _
0007 00 BOM *
0007 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0011 00 EOM *
0011 01 P .
0012 01 S _
0013 03 W Ola
0016 01 S _
0017 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0019 01 S _
0020 00 BOM *
0020 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0024 00 EOM *
0024 01 P .
0025 01 S _
0026 07 W Bartosz lem:Bartosz,N/CnGpNs
0033 01 S _
0034 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0036 01 S _
0037 03 W psa lem:pies,N/CaGaNs,N/CgGaNs
0040 01 P .
0041 01 S \n

mar.2.

Description:

Match pattern 'lexeme(kot)'. Mark matching parts with MATCH tags (before and after any form of lexeme 'kot').

Command:

echo 'Ala ma kota. Ola ma kota. Bartosz ma psa.' | tok | lem -1 | mar -e '@MATCH lexeme(kot) @MATCH'

Output:

0000 03 W Ala
0003 01 S _
0004 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0006 01 S _
0007 00 MATCH *
0007 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0011 00 MATCH *
0011 01 P .
0012 01 S _
0013 03 W Ola
0016 01 S _
0017 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0019 01 S _
0020 00 MATCH *
0020 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0024 00 MATCH *
0024 01 P .
0025 01 S _
0026 07 W Bartosz lem:Bartosz,N/CnGpNs
0033 01 S _
0034 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0036 01 S _
0037 03 W psa lem:pies,N/CaGaNs,N/CgGaNs
0040 01 P .
0041 01 S \n

mar.3.

Description:

Match pattern 'lexeme(kot)'. Mark matching parts with BEGINMATCH tags (only before any form of lexeme 'kot').

Command:

echo 'Ala ma kota. Ola ma kota.' | tok | lem -1 | mar -e '@BEGINMATCH lexeme(kot)'

Output:

0000 03 W Ala
0003 01 S _
0004 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0006 01 S _
0007 00 BEGINMATCH *
0007 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0011 01 P .
0012 01 S _
0013 03 W Ola
0016 01 S _
0017 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0019 01 S _
0020 00 BEGINMATCH *
0020 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0024 01 P .
0025 01 S \n

mar.4.

Description:

Match pattern 'lexeme(kot)'. Mark matching parts with ENDMATCH tags (only after any form of lexeme 'kot').

Command:

echo 'Ala ma kota. Ola ma kota.' | tok | lem -1 | mar -e 'lexeme(kot) @ENDMATCH'

Output:

0000 03 W Ala
0003 01 S _
0004 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0006 01 S _
0007 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0011 00 ENDMATCH *
0011 01 P .
0012 01 S _
0013 03 W Ola
0016 01 S _
0017 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0019 01 S _
0020 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0024 00 ENDMATCH *
0024 01 P .
0025 01 S \n

mar.5.

Description:

Match pattern 'word(ma) space lexeme(kot)'. Mark matching parts with MA (before and after each word 'ma') and KOT (before and after any form of lexeme 'kot') tags.

Command:

echo 'Ala ma kota. Ola ma kota.' | tok | lem -1 | mar -e '@MA word(ma) @MA space @KOT lexeme(kot) @KOT'

Output:

0000 03 W Ala
0003 01 S _
0004 00 MA *
0004 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0006 00 MA *
0006 01 S _
0007 00 KOT *
0007 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0011 00 KOT *
0011 01 P .
0012 01 S _
0013 03 W Ola
0016 01 S _
0017 00 MA *
0017 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0019 00 MA *
0019 01 S _
0020 00 KOT *
0020 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0024 00 KOT *
0024 01 P .
0025 01 S \n

mar.6.

Description:

Match pattern 'word(ma) space lexeme(kot)'. Mark matching parts with MA (before and after each word 'ma'), KOT (before and after any form of lexeme 'kot'), BEGINMATCH, ENDMATCH (before and after each matching) tags.

Command:

echo 'Ala ma kota. Ola ma kota.' | tok | lem -1 | mar -e '@BEGINMATCH @MA word(ma) @MA space @KOT lexeme(kot) @KOT @ENDMATCH'

Output:

0000 03 W Ala
0003 01 S _
0004 0004 00 BEGINMATCH *
0004 00 MA *
0004 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0006 00 MA *
0006 01 S _
0007 00 KOT *
0007 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0011 00 KOT *
0011 00 ENDMATCH *
0011 01 P .
0012 01 S _
0013 03 W Ola
0016 01 S _
0017 0017 00 BEGINMATCH *
0017 00 MA *
0017 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0019 00 MA *
0019 01 S _
0020 00 KOT *
0020 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0024 00 KOT *
0024 00 ENDMATCH *
0024 01 P .
0025 01 S \n

kot

kot.1.

Description:

Change raw text into list of tokens.

Command:

echo 'Ala ma kota.' | tok

Output:

0000 03 W Ala
0003 01 S _
0004 02 W ma
0006 01 S _
0007 04 W kota
0011 01 P .
0012 01 S \n

kot.2.

Description:

Change list of tokens into raw text.

Command:

echo 'Ala ma kota.' | tok | kot

Output:

Ala ma kota.

kot.3.

Description:

Change list of tokens into raw text. Retain the special characters.

Command:

echo 'Ala ma kota.' | tok | kot -r

Output:

Ala_ma_kota.\n

kot.4.

Description:

Change list of tokens into raw text.

Command:

echo 'Panna młoda dostała sztuczne kwiaty i wieczne pióro. Rozpakowała wszystko na klatce schodowej.' | tok | lem -1 | ser -m -e '(cat(<N>) space cat(<ADJ>)) | (cat(<ADJ>) space cat(<N>))' | kot

Output:

Panna młoda
-----
sztuczne kwiaty
-----
wieczne pióro
-----
klatce schodowej

fla

fla.1.

Description:

'Flatten' a utt file by merging segments belonging to one sentence in one line.

Command:

echo 'Ala ma kota. Ola ma kota. Paweł też ma.' | tok | sen | lem -1 | grp -e 'lexeme(kot)' | fla

Output:

0000 00 BOS *
             0000 03 W Ala
                          0003 01 S _
                                     0004 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
                 0006 01 S _
                            0007 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
  0011 01 P .
             0012 00 EOS *
0012 00 BOS *
             0012 01 S _
                        0013 03 W Ola
                                     0016 01 S _
                                                0017 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
                            0019 01 S _
                                       0020 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
             0024 01 P .
                        0025 00 EOS *

unfla

unfla.1.

Description:

Transform a flattened UTT file into the regular format by restoring end-of-line characters.

Command:

echo 'Ala ma kota. Ola ma kota. Paweł też ma.' | tok | sen | lem -1 | fla | unfla

Output:

0000 00 BOS *
0000 03 W Ala
0003 01 S _
0004 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0006 01 S _
0007 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0011 01 P .
0012 00 EOS *
0012 00 BOS *
0012 01 S _
0013 03 W Ola
0016 01 S _
0017 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0019 01 S _
0020 04 W kota lem:kota,N/CnGfNs;kot,N/CaGaNs,N/CgGaNs
0024 01 P .
0025 00 EOS *
0025 00 BOS *
0025 01 S _
0026 05 W Paweł
0031 01 S _
0032 03 W też lem:też,CONJ,PART
0035 01 S _
0036 02 W ma lem:mieć,V/AiMdNsP3R?TfrVp;mój,ADJPRO/CnvGfNsZs
0038 01 P .
0039 01 S \n
0040 00 EOS *

help

help.1.

Description:

Print tok help.

Command:

tok -h

Output:

tok 0.1

Usage: tok [OPTIONS]...

  -h, --help         Print help and exit
  -V, --version      Print version and exit
  -i, --interactive  Interactive mode.  (default=off)

help.2.

Description:

Print lem help.

Command:

lem -h

Output:

lem 0.1

Usage: lem [OPTIONS]...

  -h, --help                    Print help and exit
      --full-help               Print help, including hidden options, and exit
  -V, --version                 Print version and exit
	...

help.3.

Description:

Print gue help.

Command:

gue -h

Output:

guess 0.1

Usage: guess [OPTIONS]...

  -h, --help                    Print help and exit
      --full-help               Print help, including hidden options, and exit
  -V, --version                 Print version and exit
...

version

version.1.

Description:

Print tok version information.

Command:

tok -V

Output:

tok 0.1

version.2.

Description:

Print lem version information.

Command:

lem -V

Output:

lem 0.1

version.3.

Description:

Print gue version information.

Command:

gue -V

Output:

guess 0.1

Download in other formats:

Plain Text

UAM Text Tools

Context Navigation

UTT Based on Examples

Author: Mateusz Boryga

tok

tok.1.

lem

lem.1.

lem.2.

lem.3.

gue

gue.1.

gue.2.

gue.3.

cor

cor.1.

cor.2.

cor.3.

cor.4.

kor

kor.1.

kor.2.

kor.3.

kor.4.

kor.5.

sen

sen.1.

ser

ser.1.

ser.2.

ser.3.

ser.4.

ser.5.

ser.6.

ser.7.

ser.8.

ser.9.

ser.10.

ser.11.

ser.12.

ser.13.

ser.14.

ser.15.

ser.16.

grp

grp.1.

grp.2.

mar

mar.1.

mar.2.

mar.3.

mar.4.

mar.5.

mar.6.

kot

kot.1.

kot.2.

kot.3.

kot.4.

fla

fla.1.

unfla

unfla.1.

help

help.1.

help.2.

help.3.

version

version.1.

version.2.

version.3.

Download in other formats: