Papers by Katrin Dennerlein
We present first results of the project 'Emotions in Drama' in which we explore the annot... more We present first results of the project 'Emotions in Drama' in which we explore the annotation of emotions and the application of computational emotion analysis, predominantly deep learning-based methods, in the context of historical German plays of the time around 1800. We performed a pilot annotation study with five plays generating over 6,500 annotations for up to 13 sub-emotions structured in a hierarchical scheme. This emotion scheme includes common types like joy, anger or hate but also concepts that are specifically important for German literary criticism of this period like friendship, compassion or Schadenfreude. We evaluate the performance of various methods of emotion-based text sequence classification including lexicon-based methods, traditional machine learning, fastText as static word embedding, various transformer models based on BERT- or ELECTRA-architectures and pretrained with contemporary language, transformer-based methods pretrained or finetuned for hist...
Die Räume der Literatur, 2013
Das Abstract ist Teil der vDHd Konferenz 2021 "Experimente", einer durch die Community ... more Das Abstract ist Teil der vDHd Konferenz 2021 "Experimente", einer durch die Community des Verbandes "Digital Humanities im deutschsprachigen Raum" e.V. organisierten, virtuellen Konferenz. Die Abstracts haben kein Peer-Review-Verfahren durchlaufen.
Proceedings of the 5th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature, 2021
We present results of a project on emotion classification on historical German plays of Enlighten... more We present results of a project on emotion classification on historical German plays of Enlightenment, Storm and Stress, and German Classicism. We have developed a hierarchical annotation scheme consisting of 13 subemotions like suffering, love and joy that sum up to 6 main and 2 polarity classes (positive/negative). We have conducted textual annotations on 11 German plays and have acquired over 13,000 emotion annotations by two annotators per play. We have evaluated multiple traditional machine learning approaches as well as transformer-based models pretrained on historical and contemporary language for a single-label text sequence emotion classification for the different emotion categories. The evaluation is carried out on three different instances of the corpus: (1) taking all annotations, (2) filtering overlapping annotations by annotators, (3) applying a heuristic for speech-based analysis. Best results are achieved on the filtered corpus with the best models being large transformer-based models pretrained on contemporary German language. For the polarity classification accuracies of up to 90% are achieved. The accuracies become lower for settings with a higher number of classes, achieving 66% for 13 sub-emotions. Further pretraining of a historical model with a corpus of dramatic texts led to no improvements.
In this paper, we present first work-in-progress annotation results of a project investigating co... more In this paper, we present first work-in-progress annotation results of a project investigating computational methods of emotion analysis for historical German plays around 1800. We report on the development of an annotation scheme focussing on the annotation of emotions that are important from a literary studies perspective for this time span as well as on the annotation process we have developed. We annotate emotions expressed or attributed by characters of the plays in the written texts. The scheme consists of 13 hierarchically structured emotion concepts as well as the source (who experiences or attributes the emotion) and target (who or what is the emotion directed towards). We have conducted the annotation of five example plays of our corpus with two annotators per play and report on annotation distributions and agreement statistics. We were able to collect over 6,500 emotion annotations and identified a fair agreement for most concepts around a κ-value of 0.4. We discuss how w...
Der Beitrag beschaftigt sich mit dem Einsatz von Sentiment Analysis im Bereich der Dramenanalyse.... more Der Beitrag beschaftigt sich mit dem Einsatz von Sentiment Analysis im Bereich der Dramenanalyse. Es werden erstmals systematisch verschiedene Methoden der Sentiment Analysis fur Dramen getestet und evaluiert. Zudem wird exploriert, inwiefern bisher in der Literaturwissenschaft erforschte Aspekte von Dramen mithilfe der Sentiment Analysis erfasst werden und inwiefern die Sentiment Analysis auch fur die Gewinnung neuer literaturwissenschaftlicher Erkenntnisse eingesetzt werden kann. Das im Rahmen dieser Studie verwendete Lessing-Korpus umfasst ein mit Strukturinformationen annotiertes Dramenkorpus mit 11 Dramen, bestehend aus insgesamt 8224 Einzelrepliken. Samtliche Dramen wurden uber die Plattform TextGrid bezogen, so dass alle im Rahmen dieses Beitrags entwickelten Tools auch auf andere TextGrid-Dramen anwendbar sind. Mit dem am besten evaluierten Sentiment Analysis-Verfahren wurde eine webbasierte Anwendung zur Analyse und Visualisierung von Sentiment-Verteilungen und -Verlaufen i...
Mit dem Begriff des „Distant Reading“ führt Moretti (2000) einen zentralen Begriff in den Digital... more Mit dem Begriff des „Distant Reading“ führt Moretti (2000) einen zentralen Begriff in den Digital Humanities ein, der zu einer anhaltenden Diskussion um quantitative Methoden in der Literaturund Kulturwissenschaft führte. Vor diesem Hintergrund sind Dramen eine besonders interessante literarische Gattung, da sie neben dem eigentlichen Text weitere gut quantifizierbare Elemente, wie etwa ein abgeschlossenes Figureninventar sowie eine Akt-/Szenenstruktur, beinhalten. Dementsprechend finden sich frühe Belege für eine „mathematische Poetik“ (Marcus, 1970), welche interessante Ansätze für die quantitative Dramenanalyse beinhaltet. Ein zentraler Begriff ist hier die „Konfiguration“, welche im Wesentlichen die Menge aller Figurenkonstellationen innerhalb eines Stücks beschreibt. Eine typische Form der Visualisierung dafür ist die sogenannte Konfigurationsmatrix, welche das Auftreten aller Figuren in allen Szenen zusammenfassend darstellt und darüber hinaus die Berechnung einer Konfiguratio...
We present results of a sentiment annotation study in the context of historical German plays. Our... more We present results of a sentiment annotation study in the context of historical German plays. Our annotation corpus consists of 200 representative speeches from the German playwright Gotthold Ephraim Lessing. Six annotators, five non-experts and one expert in the domain, annotated the speeches according to different sentiment annotation schemes. They had to annotate the differentiated polarity (very negative, negative, neutral, mixed, positive, very positive), the binary polarity (positive/negative) and the occurrence of eight basic emotions. After the annotation, the participants completed a questionnaire about their experience of the annotation process; additional feedback was gathered in a closing interview. Analysis of the annotations shows that the agreement among annotators ranges from low to mediocre. The non-expert annotators perceive the task as very challenging and report different problems in understanding the language and the context. Although fewer problems occur for th...
Literarische Räume der Herkunft, 2016
Ob in homerischen Epen, antiken Romanen, Epen und höfischen Romanen des Mittelalters, frühneuzeit... more Ob in homerischen Epen, antiken Romanen, Epen und höfischen Romanen des Mittelalters, frühneuzeitlichen Prosaromanen, Bildungsromanen, historischen Romanen, Autobiographien, multimodalen oder postkolonialen Romanender Raum, aus dem die Hauptfigur stammt, spielt innerhalb der erzählten Welt häufig eine entscheidende Rolle. Im Herkunftsraum werden oftmals nicht nur der Ausgangs-, sondern auch der Endpunkt der histoire lokalisiert (so im Fall der Odyssee). Die dementsprechende Struktur von ‚Auszug und Rückkehr' prägt unterschiedliche Erzählschemata, etwa das ‚Heliodor'sche Schema', das auf den antiken Roman zurückgeht, oder das in der mittelhochdeutschen Epik wichtige Brautwerbungsschema. Noch im postkolonialen Erzählen von Remigration erfährt diese Struktur eine spezifische Aufladung. Die Produktivität dieser räumlichen Konfiguration zeigt sich dabei gerade auch dort, wo das Schema von ‚Auszug und Rückkehr' nicht vollständig umgesetzt oder variiert wird: Wenn der Herkunftsraum als defizient wahrgenommen und verlassen wird (wie im Bildungsroman), kann eine Rückkehr ausgeschlossen sein. Wo Herkunft nicht eindeutig verortet werden kann, werden Herkunftsräume vervielfacht (wie im Fall von Gottfrieds von Straßburg Tristan). So wichtig Räume der Herkunft sind, so vielfältig sind die Möglichkeiten ihrer Konzeptualisierungen, ihrer Darstellungsweisen, ihrer Bedeutungen und ihrer Funktionen für die Erzählung vor allem der Geschichte der Hauptfigur. Je nach Welt-und Menschenbild1 und abhängig von literarischen, insbesondere generischen Konventionen2 wird sowohl in dia-wie in synchroner Hinsicht auf vielfältige Weisen von Räumen der Herkunft erzählt. Höhere Komplexität erfahren Konzeption, Darstellung und Bedeutung des Herkunftsraums, wenn die Herkunft der Hauptfigur mit weiteren Herkunftsräumen des Erzählers, des Autors, des Stoffs usw. verbunden wird. 1 Vgl. für das Mittelalter in phänomenologischer Perspektive Kelly 2009. 2 Mit Gattungen beschäftigen sich vor allem die Beiträge von Felix Mundt (antiker Roman), Markus Stock (mhd. Roman), Fabian Lampart (historischer Roman) und Wolfgang Hallet (multimodaler Roman).
We present first results of an ongoing research project on sentiment annotation of historical pla... more We present first results of an ongoing research project on sentiment annotation of historical plays by German playwright G. E. Lessing (1729-1781). For a subset of speeches from six of his most famous plays, we gathered sentiment annotations by two independent annotators for each play. The annotators were nine students from a Master’s program of German Literature. Overall, we gathered annotations for 1,183 speeches. We report sentiment distributions and agreement metrics and put the results in the context of current research. A preliminary version of the annotated corpus of speeches is publicly available online and can be used for further investigations, evaluations and computational sentiment analysis approaches. 2012 ACM Subject Classification Document preparation → Annoation; Retrieval tasks and goals → Sentiment analysis
Using Deep Learning for Emotion Analysis of 18th and 19th Century German Plays, 2021
We present first results of the project “Emotions in Drama” in which we explore the annotation of... more We present first results of the project “Emotions in Drama” in which we explore the annotation of emotions and the application of computational emotion analysis, predominantly deep learning-based methods, in the context of historical German plays of the time around 1800. We performed a pilot annotation study with five plays generating over 6,500 annotations for up to 13 sub-emotions structured in a hierarchical scheme. This emotion scheme includes common types like joy, anger or hate but also concepts that are specifically important for German literary criticism of this period like friendship, compassion or Schadenfreude. We evaluate the performance of various methods of emotion-based text sequence classification including lexicon-based methods, traditional machine learning, fastText as static word embedding, various transformer models based on BERT- or ELECTRA-architectures and pretrained with contemporary language, transformer-based methods pretrained or finetuned for historical and/or poetic language as well as the finetuning of BERT models via our own corpora and plays. We do achieve state-of-the-art results with hierarchical levels with two or three classes, i. e. the classification of valence (positive/negative). The best models are the transformer-based models gbert-large and gelectra-large by deepset pretrained on large corpora of contemporary German, which achieve accuracy values of up to 83%. Lexicon-based methods, traditional machine learning as well as static word embeddings are consistently outperformed by transformer-based models. Models trained on historical texts show small and inconsistent improvements. The performance becomes significantly smaller for settings with multiple sub-emotions like 6 or 13 due to the general challenge and class imbalances in which the models achieve 57% and 47% respectively. We discuss how we intend to continue our annotations and how to improve the prediction results via various optimization techniques in future work.
Der Bildungsroman im literarischen Feld, 2016
Jltonline Conference Proceedings, Jul 22, 2013
Fallstudien zu einer historischen Narratologie, 2000
Uploads
Papers by Katrin Dennerlein