The availability of partially overlapping parallel corpora for a language pair opens up opportuni... more The availability of partially overlapping parallel corpora for a language pair opens up opportunities for automatically comparing, evaluating and improving them. We compare and evaluate the alignment quality of two English-Estonian parallel corpora that have been created independently, but contain overlapping texts. We describe how to determine the overlapping parts and find their alignment similarities that allow us to economize on manual evaluation effort. We also suggest a feature that could be used instead of comparing and manual checking to predict the alignment correctness.
Digitalisation of cultural heritage in Estonia has been in progress during recent years, and we w... more Digitalisation of cultural heritage in Estonia has been in progress during recent years, and we will see expansive mass digitalisation of printed books and handwritten documents in the very near future. This situation and potential actualises questions of the usage of the literary heritage. In our paper, we consider benefits for digital literary research that arise from representing a literary text collection as an annotated language resource. We discuss the pilot project of creating a text corpus based on private letters between two Estonian avantgarde writers in the beginning of the 20th century. The advantages and possibilities of corpus query system KORP that we have chosen for representing and searching literary heritage DH corpora as a language resource are described. Challenges that the application of Natural Language Processing and Text and Data Mining imposes on the preparation and representation of texts are discussed along with benefits for the research.
Taust ja eesmargid. Elektrooniline haiguslugu nouab selle taitjatelt voimalikult uhetaolist keele... more Taust ja eesmargid. Elektrooniline haiguslugu nouab selle taitjatelt voimalikult uhetaolist keelekasutust. Samas erineb Eesti meditsiini akadeemiliste ja igapaevatoo tekstide kirjakeel margatavalt. Haigusloo vabateksti sonavara (sh terminikasutuse) uhtlustamiseks ja/voi standardimiseks on seetottu oluline uurida igapaevatoos kasutatavat keelt. Uuringu eesmark on rakendada korpuslingvistilist analuusi, et uurida radioloogiauuringute vastustes kasutatud luhendamisstrateegiaid ja hinnata luhendite variatiivsust. Metoodika. Radioloogiauuringute vastuste luhendite uurimiseks kasutati korpuslingvistilist analuusi. Analuusiks koostati radioloogiauuringute isikustamata vastustest keelekorpus, mis holmas 207 534 vastust ning sisaldas ule 11,8 miljoni sone. Luhendite tuvastamiseks korpusest rakendati selleks koostatud erireegleid, mis arvestasid luhendamise, vastuste ja eesti meditsiinikeele eripara. Uuringuvastuste luhendite sagedust ja tahendust analuusisid eraldi kaks arsti. Tulemused ja j...
A previous version of the disambiguator has been trained on a part (130 000 words) of the corpus.... more A previous version of the disambiguator has been trained on a part (130 000 words) of the corpus. The newer version that is applied in our experiments is based similarly to the earlier versions on the Hidden Markov Model (HMM), but in contrast to the earlier versions the current version uses trigrams instead of bigrams. There are also some minor differences involving tagsets between earlier and the current version of the disambiguator.
A knowledge-lite approach to word alignment. -Parallel Text Processing: Alignment and Use of Para... more A knowledge-lite approach to word alignment. -Parallel Text Processing: Alignment and Use of Parallel Corpora. Véronis, J. (ed.).
The availability of partially overlapping parallel corpora for a language pair opens up opportuni... more The availability of partially overlapping parallel corpora for a language pair opens up opportunities for automatically comparing, evaluating and improving them. We compare and evaluate the alignment quality of two English-Estonian parallel corpora that have been created independently, but contain overlapping texts. We describe how to determine the overlapping parts and find their alignment similarities that allow us to economize
... References [1] Heiki-Jaan Kaalep, Tarmo Vaino. 2001 Complete Morphological Analysis in the Li... more ... References [1] Heiki-Jaan Kaalep, Tarmo Vaino. 2001 Complete Morphological Analysis in the Linguist's Toolbox. Congressus Nonus Internationalis Fenno-Ugristarum Pars V, pp. 9-16, Tartu. [2] Viks, Ü. 1992. Väike vormisõnastik. ETA EKI, Tallinn
Eesti ja soome-ugri keeleteaduse ajakiri. Journal of Estonian and Finno-Ugric Linguistics
Kirjandusteadlaste ja arvutilingvistide koostöös katseprojektina valminud Johannes Semperi ja Joh... more Kirjandusteadlaste ja arvutilingvistide koostöös katseprojektina valminud Johannes Semperi ja Johannes Barbaruse kirjavahetuse korpus on nii kirjanduslooliselt kui tekstilingvistiliselt huvipakkuv digitaalandmestik. Kirjandusteadlastele avab kaasaegsete digitaalsete meetodite kasutuselevõtt huvitavaid uurimisperspektiive ja vanade uurimistulemuste ülekontrollimise võimalusi arvutuslike meetoditega. Korpuslingvistidele on aga väljakutseks ajaloolise ja isikupärase keelekasutusega, erinevatest keeltest kubiseva ja rohkete koha-, aja- ja isikuviidetega tekstimaterjali ettevalmistamine rikkalikult märgendatud korpuseks. Artikkel peatub üksikasjalikumalt nii käsikirjalise materjali digitaalseks tekstiandmestikuks ettevalmistamise kui ka analüüsi- ja märgendamisprotsessi probleemidel ja nende võimalikel lahendustel. Kasutajatele tutvustatakse ka korpuste päringusüsteemi KORP võimalusi sarnaste tekstide uurimiseks. . Marin Laak, Kaarel Veskis, Kadri Vider, Neeme Kahusk, and Olga Gerassimen...
Eesti Rakenduslingvistika Ühingu aastaraamat Estonian Papers in Applied Linguistics, 2007
Paralleelkorpustel ja võrreldavatel korpustel on lisaks erinevate keelte või keelevariantide kont... more Paralleelkorpustel ja võrreldavatel korpustel on lisaks erinevate keelte või keelevariantide kontrastiivuuringutele ka mitmeid teisi kasutusvõimalusi nii teoorias kui praktikas, mitmeid neist võimalustest ollakse alles avastamas. Üks huvitavamaid suundi on sõnastike koostamine või täiendamine tõlkevastete ekstraheerimise läbi. Püüan järgnevalt anda ülevaate senisest tööst selles valdkonnas, pidades silmas eesti keelt puudutavate praktiliste rakenduste väljatöötamise võimalust tulevikus. Samuti kirjeldan katseid esialgse lahendusena kasutada inglise-eesti ja eesti-inglise erialasõnastiku lähtematerjali genereerimiseks väheseid keeleressursse (lisaks paralleelkorpusele) vajavat vabavarana saadaval olevat tarkvara.
The availability of partially overlapping parallel corpora for a language pair opens up opportuni... more The availability of partially overlapping parallel corpora for a language pair opens up opportunities for automatically comparing, evaluating and improving them. We compare and evaluate the alignment quality of two English-Estonian parallel corpora that have been created independently, but contain overlapping texts. We describe how to determine the overlapping parts and find their alignment similarities that allow us to economize on manual evaluation effort. We also suggest a feature that could be used instead of comparing and manual checking to predict the alignment correctness.
The availability of partially overlapping parallel corpora for a language pair opens up opportuni... more The availability of partially overlapping parallel corpora for a language pair opens up opportunities for automatically comparing, evaluating and improving them. We compare and evaluate the alignment quality of two English-Estonian parallel corpora that have been created independently, but contain overlapping texts. We describe how to determine the overlapping parts and find their alignment similarities that allow us to economize on manual evaluation effort. We also suggest a feature that could be used instead of comparing and manual checking to predict the alignment correctness.
Digitalisation of cultural heritage in Estonia has been in progress during recent years, and we w... more Digitalisation of cultural heritage in Estonia has been in progress during recent years, and we will see expansive mass digitalisation of printed books and handwritten documents in the very near future. This situation and potential actualises questions of the usage of the literary heritage. In our paper, we consider benefits for digital literary research that arise from representing a literary text collection as an annotated language resource. We discuss the pilot project of creating a text corpus based on private letters between two Estonian avantgarde writers in the beginning of the 20th century. The advantages and possibilities of corpus query system KORP that we have chosen for representing and searching literary heritage DH corpora as a language resource are described. Challenges that the application of Natural Language Processing and Text and Data Mining imposes on the preparation and representation of texts are discussed along with benefits for the research.
Taust ja eesmargid. Elektrooniline haiguslugu nouab selle taitjatelt voimalikult uhetaolist keele... more Taust ja eesmargid. Elektrooniline haiguslugu nouab selle taitjatelt voimalikult uhetaolist keelekasutust. Samas erineb Eesti meditsiini akadeemiliste ja igapaevatoo tekstide kirjakeel margatavalt. Haigusloo vabateksti sonavara (sh terminikasutuse) uhtlustamiseks ja/voi standardimiseks on seetottu oluline uurida igapaevatoos kasutatavat keelt. Uuringu eesmark on rakendada korpuslingvistilist analuusi, et uurida radioloogiauuringute vastustes kasutatud luhendamisstrateegiaid ja hinnata luhendite variatiivsust. Metoodika. Radioloogiauuringute vastuste luhendite uurimiseks kasutati korpuslingvistilist analuusi. Analuusiks koostati radioloogiauuringute isikustamata vastustest keelekorpus, mis holmas 207 534 vastust ning sisaldas ule 11,8 miljoni sone. Luhendite tuvastamiseks korpusest rakendati selleks koostatud erireegleid, mis arvestasid luhendamise, vastuste ja eesti meditsiinikeele eripara. Uuringuvastuste luhendite sagedust ja tahendust analuusisid eraldi kaks arsti. Tulemused ja j...
A previous version of the disambiguator has been trained on a part (130 000 words) of the corpus.... more A previous version of the disambiguator has been trained on a part (130 000 words) of the corpus. The newer version that is applied in our experiments is based similarly to the earlier versions on the Hidden Markov Model (HMM), but in contrast to the earlier versions the current version uses trigrams instead of bigrams. There are also some minor differences involving tagsets between earlier and the current version of the disambiguator.
A knowledge-lite approach to word alignment. -Parallel Text Processing: Alignment and Use of Para... more A knowledge-lite approach to word alignment. -Parallel Text Processing: Alignment and Use of Parallel Corpora. Véronis, J. (ed.).
The availability of partially overlapping parallel corpora for a language pair opens up opportuni... more The availability of partially overlapping parallel corpora for a language pair opens up opportunities for automatically comparing, evaluating and improving them. We compare and evaluate the alignment quality of two English-Estonian parallel corpora that have been created independently, but contain overlapping texts. We describe how to determine the overlapping parts and find their alignment similarities that allow us to economize
... References [1] Heiki-Jaan Kaalep, Tarmo Vaino. 2001 Complete Morphological Analysis in the Li... more ... References [1] Heiki-Jaan Kaalep, Tarmo Vaino. 2001 Complete Morphological Analysis in the Linguist's Toolbox. Congressus Nonus Internationalis Fenno-Ugristarum Pars V, pp. 9-16, Tartu. [2] Viks, Ü. 1992. Väike vormisõnastik. ETA EKI, Tallinn
Eesti ja soome-ugri keeleteaduse ajakiri. Journal of Estonian and Finno-Ugric Linguistics
Kirjandusteadlaste ja arvutilingvistide koostöös katseprojektina valminud Johannes Semperi ja Joh... more Kirjandusteadlaste ja arvutilingvistide koostöös katseprojektina valminud Johannes Semperi ja Johannes Barbaruse kirjavahetuse korpus on nii kirjanduslooliselt kui tekstilingvistiliselt huvipakkuv digitaalandmestik. Kirjandusteadlastele avab kaasaegsete digitaalsete meetodite kasutuselevõtt huvitavaid uurimisperspektiive ja vanade uurimistulemuste ülekontrollimise võimalusi arvutuslike meetoditega. Korpuslingvistidele on aga väljakutseks ajaloolise ja isikupärase keelekasutusega, erinevatest keeltest kubiseva ja rohkete koha-, aja- ja isikuviidetega tekstimaterjali ettevalmistamine rikkalikult märgendatud korpuseks. Artikkel peatub üksikasjalikumalt nii käsikirjalise materjali digitaalseks tekstiandmestikuks ettevalmistamise kui ka analüüsi- ja märgendamisprotsessi probleemidel ja nende võimalikel lahendustel. Kasutajatele tutvustatakse ka korpuste päringusüsteemi KORP võimalusi sarnaste tekstide uurimiseks. . Marin Laak, Kaarel Veskis, Kadri Vider, Neeme Kahusk, and Olga Gerassimen...
Eesti Rakenduslingvistika Ühingu aastaraamat Estonian Papers in Applied Linguistics, 2007
Paralleelkorpustel ja võrreldavatel korpustel on lisaks erinevate keelte või keelevariantide kont... more Paralleelkorpustel ja võrreldavatel korpustel on lisaks erinevate keelte või keelevariantide kontrastiivuuringutele ka mitmeid teisi kasutusvõimalusi nii teoorias kui praktikas, mitmeid neist võimalustest ollakse alles avastamas. Üks huvitavamaid suundi on sõnastike koostamine või täiendamine tõlkevastete ekstraheerimise läbi. Püüan järgnevalt anda ülevaate senisest tööst selles valdkonnas, pidades silmas eesti keelt puudutavate praktiliste rakenduste väljatöötamise võimalust tulevikus. Samuti kirjeldan katseid esialgse lahendusena kasutada inglise-eesti ja eesti-inglise erialasõnastiku lähtematerjali genereerimiseks väheseid keeleressursse (lisaks paralleelkorpusele) vajavat vabavarana saadaval olevat tarkvara.
The availability of partially overlapping parallel corpora for a language pair opens up opportuni... more The availability of partially overlapping parallel corpora for a language pair opens up opportunities for automatically comparing, evaluating and improving them. We compare and evaluate the alignment quality of two English-Estonian parallel corpora that have been created independently, but contain overlapping texts. We describe how to determine the overlapping parts and find their alignment similarities that allow us to economize on manual evaluation effort. We also suggest a feature that could be used instead of comparing and manual checking to predict the alignment correctness.
Uploads
Papers by Kaarel Veskis