Generování stylizovaného lidského jazyka v dialogových systémech

Tato práce se zabývá přístupy generování přirozeného jazyka v různých stylech. Kromě toho také zkoumá schopnost modelů řídit sílu projevu stylu v generované sekvenci. Model pro generování přirozeného jazyka byl implementován s několika aspekty projevů stylu, konkrétně poezie, humor, sentiment a specifičnost. Jako strategie dekódování jazykových modelů byly použity Beam search a Nucleus sampling. Navrhované experimenty jsou založeny na váženém dekódování. Zejména pravděpodobnostní funkce vypočítaná pomocí jazykového modelu, který generuje odpověď, je modifikována dvěma přístupy. První přístup používá ručně vytvořené příznaky, například NIDF. Druhý používá neurální pravděpodobnostní jazykové modely natrénované na stylistických datových sadách. Architektura modelu je prezentována ve dvou verzích. První variantou je model založený na LSTM a druhá varianta využívá nejmodernější předpřipravené modely BART a GPT-2 pro generování textu. Experimenty odhalily problém, že i současné nejmodernější modely trpí špatným odhadem kompromisu mezi stylem a kontextem. Jinými slovy, čím více se styl projeví v generované sekvenci, tím méně se vztahuje k tématu diskutovanému v dialogu.

Grantor dc:publisher

Vysoké učení technické v Brně. Fakulta informačních technologií

Author dc:creator

• Bolshakova, Ksenia

Advisor dc:contributor.advisor

• Fajčík, Martin

• Umělá neuronová síť
• Generování přirozeného jazyka
• Dialogové systémy
• seq2seq
• BART
• GPT-2
• LSTM
• Artificial neural network
• Natural language generation
• Dialogue systems

Statement dc:rights

• Standardní licenční smlouva - přístup k plnému textu bez omezení

Language dc:language.iso

en

Dc Identifier Other

129137

OAI identifier oai:identifier

oai:dspace.vut.cz:11012/191497