LVMED: Dataset of Latvian text normalisation samples for the medical domain

CLARIN Centre of Latvian language resources and tools

Autori: Lasmanis, Viesturs Jūlijs and Grūzītis, Normunds

Vienuma identifikators: http://hdl.handle.net/20.500.12574/85

Projekta URL: https://gitlab.com/ailab/lvmed

Demonstrācijas URL: https://huggingface.co/AiLab-IMCS-UL/lvmed

Izdošanas datums: 2023-05

Tips: corpus, text

Lielums: 79834 sentences

Valoda(-s): Latvian

Apraksts: The CSV dataset contains sentence pairs for a text-to-text transformation task: given a sentence that contains 0..n abbreviations, rewrite (normalize) the sentence in full words (word forms). Training dataset: 64,665 sentence pairs Validation dataset: 7,185 sentence pairs. Testing dataset: 7,984 sentence pairs. All sentences are extracted from a public web corpus (https://korpuss.lv/id/Tīmeklis2020) and contain at least one medical term.

Izdevējs: AiLab IMCS UL

Tēma(-s): medical domain text normalization

Kolekcija (s): Language resources and tools of AiLab IMCS UL

Rādīt pilnu ierakstu

Faili šajā vienumā

Šis vienums ir

Publicly Available

un ir licencēts saskaņā ar:
Creative Commons - Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)

Vārds: dataset.zip
Lielums: 6.73 MB
Formāts: application/zip
Apraksts: Sentence pairs provided in a two-column CSV format.
MD5: 4f02442c2684d7a64cea9bdc8ddcde3b

Lejupielādēt failu Priekšskatījums

Faila priekšskatījums

dataset
- train.csv23 MB
- test.csv2 MB
- statistics
  - term_counter.csv8 kB
  - abbrev_counter.csv6 kB
  - pair_counter.csv14 kB
- valid.csv2 MB

Partneri, koordinācija, finansējums

Repozitorijs

Papildus

CLARIN Latvija nacionālā mezglu punkta izveidi atbalsta Eiropas Reģionās attīstības fonda projekts “Latvijas Universitāte un institūti Eiropas pētniecības telpā - ekselence, aktivitāte, mobilitāte, kapacitāte” (Nr. 1.1.1.5/18/I/016).

Šī vietne izmanto programmatūru, kas izstrādāta LINDAT/CLARIN repositorija vajadzībām un ir pieejama GitHub