Verschlagwortung mit Aleph Alpha Luminous mit Experimentberichtauszug

Im Neuro-Linguistischen Programmieren (NLP) gibt es viele Ansätze für die Verschlagwortung. Jede Methode kann zu unterschiedlichen Ergebnissen führen. Basierend auf dem Feedback unseres Kundenprojektes mit der Utopia GmbH kombinieren wir die generierten Schlagwörter zweier Methoden: TF-IDF-Analysetechnik und Aleph-Alpha-Modell. Die verwendeten Techniken werden vorgestellt und am Ende werden die experimentellen Ergebnisse präsentiert.

Methode 1: Spacy und Scikit-learn-Bibliotheken

Der erste Ansatz besteht darin, die TF-IDF-Analysetechnik (Term Frequency - Inverse Document Frequency) zu verwenden, um die Wichtigkeit von Nominalphrasen im Eingabetext zu bewerten. Zunächst laden wir das Modell aus der Spacy-Bibliothek entsprechend der Sprache des Eingabetextes, da dieser in Deutsch oder Englisch verfasst sein kann. Dann wird aus dem Eingabetext ein neues Dokument erzeugt. Mit Hilfe der Eigenschaft „noun_chunks“ des Dokuments identifizieren wir die Nominalphrasen im Text. Diese Nominalphrasen werden in die Funktion TfidfVectorizer der Scikit-Learn-Bibliothek eingefügt, um ihre Wichtigkeit zu bewerten. Schließlich extrahieren wir die „top_n“ wichtigsten Nomen auf der Grundlage ihrer Bewertung.

	
		 @classmethod 
		    def spacy_method(lemmatized_tokens: List[str], top_n: int, language: str = 'en'):   
		        if language == 'de':
		            nlp = spacy.load("de_core_news_sm")
		        else:
		            nlp = spacy.load("en_core_web_sm")
		        text = " ".join(lemmatized_tokens)
		        doc = nlp(text)
		        # Use the noun_chunks property of the document to identify the noun phrases in the text 
		        noun_phrases = [chunk.text for chunk in doc.noun_chunks] 
		        # Use term frequency-inverse document frequency (TF-IDF) analysis to rank the noun phrases 
		        vectorizer = TfidfVectorizer() 
		        tfidf = vectorizer.fit_transform(noun_phrases) 
		        # Get the top n most important noun phrases 
		        top_phrases = sorted(vectorizer.vocabulary_, key=lambda x: tfidf[0, vectorizer.vocabulary_[x]], reverse=True)[:top_n] 
		        text_top_phrase = " ".join(top_phrases)
		        doc_top_phrase = nlp(text_top_phrase)
		        pos_tag = ['NOUN']
		        result = [token.text for token in doc_top_phrase if token.pos_ in pos_tag]  # return only Nouns
		        return result
	

TF-IDF (Term Frequency - Inverse Document Frequency) ist eine Technik, die die Wichtigkeit eines Wortes anhand seiner Häufigkeit in einem Dokument und einem Korpus bewertet. Da diese Methode nur das Vorkommen eines Wortes in einem einzelnen Dokument und im gesamten Korpus berücksichtigt, erfordert sie eine Vorverarbeitung des Eingabetextes, um irrelevante Informationen zu entfernen. Einige Vorverarbeitungsschritte sollten in Betracht gezogen werden, wie beispielsweise das Entfernen von Interpunktionszeichen, Stopwörtern oder die Anwendung von Stemming- oder Lemmatisierungstechniken. Ein Nachteil dieser Methode ist, dass sie den Kontext des Textes nicht berücksichtigt, da sie nicht in der Lage ist, relationale Beziehungen zwischen Wörtern und Sätzen zu erkennen. Daher kann es vorkommen, dass die generierten Schlagwörter im Kontext des Textes nicht sinnvoll und aussagekräftig sind. Außerdem werden durch die Stemming- und Lemmatisierungsoperationen feine Nuancen entfernt. Die folgende Tabelle zeigt ein Beispiel:

Methode 2: Verwendung von Aleph Alpha Luminous (großes Sprachmodell)

LLMs sind Modelle, die auf großen Mengen von Textdaten trainiert wurden, um menschenähnlichen Text zu verstehen und zu erzeugen. Sie werden daher für eine Vielzahl von NLP-Aufgaben verwendet - unter anderem Textzusammenfassung, Beantwortung von Fragen oder Textvervollständigung. Sie sind jedoch nicht speziell für die Aufgabe der Schlüsselwortextraktion konzipiert, bei der wichtige Wörter oder Phrasen identifiziert und extrahiert werden. Aufgrund ihrer vielseitigen Fähigkeit, menschlichen Text zu verstehen, können LLMs jedoch indirekt verwendet werden, um Schlüsselwörter aus dem Kontext des Textes abzuleiten. Dadurch kann die Ausgabe von nicht informativen oder sensiblen Schlüsselwörtern vermieden werden. Darüber hinaus können durch die Verwendung von LLMs Rechenkosten und Laufzeit reduziert werden, da der Text nicht so umfangreich aufbereitet werden muss wie bei klassischen Ansätzen, um ein optimales Ergebnis zu erzielen. Allerdings können einige Feineinstellungen für LLMs erforderlich sein, um das bestmögliche Ergebnis zu erzielen.

Wir verwenden das "luminous-extended-control"-Modell von Aleph Alpha. Um die vernünftigsten Ergebnisse zu erhalten, haben wir einige Feineinstellungen an unserem Modell vorgenommen. Wir wissen, dass mit einer kleinen Anpassung des Prompts, der in ein LLM eingefügt wird, verschiedene Ausgaben möglich sind. Daher haben wir zunächst versucht, das gewählte Modell mit verschiedenen Prompts zu testen. Einige der verwendeten Prompts neigen dazu, zwar sinnvolle, aber zu lange Schlüsselwörter zu erzeugen. Um dieses neue Problem zu lösen, das nicht durch eine Änderung der Prompts gelöst werden kann, haben wir probiert, einige Hyperparameter anzupassen. Letztendlich haben wir durch die Verwendung des geeigneten Prompts und die Anpassung der Hyperparameterwerte das am besten geeignete Modell erhalten, das in der Lage ist, sinnvolle Schlüsselwörter zu generieren, die den Anforderungen des Kunden entsprechen. Nachfolgend sind die Konfigurationen (erstes Bild) für diese Methode und der optimierte Prompt (zweites Bild) dargestellt.

	
		 @classmethod 
		    def aa_method(cls, document: str) -> List[str]:
		        with open(os.path.join("keywords.j2")) as f:
		            prompt = Template(f.read()) 
		        prompt_text = prompt.render(document=document)
		        client = Client(token=aleph_alpha_api_key)
		        request = CompletionRequest(
		            prompt=Prompt.from_text(prompt_text),
		            maximum_tokens = 25,
		            temperature = 0,
		            top_k = 0,
		            top_p = 0,
		            presence_penalty = 0,
		            frequency_penalty = 0.5,
		            repetition_penalties_include_prompt = True,
		            repetition_penalties_include_completion = True,
		        )
		        response = client.complete(request, model = "luminous-extended-control")
		        text = response.completions[0].completion
		        result = re.compile('[,|\;\t\n]').split(text)
		        return result 
	

	
		Identify matching keywords for each text. Each identified keyword should be short and meaningful. Keywords have the same language of the text. 
		###'
		Text: The "Whiskey War" is an ongoing conflict between Denmark and Canada over ownership of Hans Island. The dispute began in 1973, when Denmark and Canada reached an agreement on Greenland's borders. However, no settlement regarding Hans Island could be reached by the time the treaty was signed. Since then both countries have used peaceful means - such as planting their national flag or burying liquor - to draw attention to the disagreement.
		Keywords: Conflict, Whiskey War, Denmark, Canada, Treaty, Flag, Liquor
		###
		Text: NASA launched the Discovery program to explore the solar system. It comprises a series of expeditions that have continued from the program's launch in the 1990s to the present day. In the course of the 16 expeditions launched so far, the Moon, Mars, Mercury and Venus, among others, have been explored. Unlike other space programs, the Discovery program places particular emphasis on cost efficiency, true to the motto: "faster, better, cheaper".
		Keywords: Space program, NASA, Expedition, Cost efficiency, Moon, Mars, Mercury, Venus
		###
		Text: Weil wenn der Wind einmal untergreift, du hast keine Chance dagegen. Das geht nicht. Bei dem Sturm sowieso nicht. Wenn man dann so eine Platte trägt und nach oben reichen möchte und so eine Windhöhe kommt, dann haut es einen halt regelmäßig um. What's the plan? Ich guck erst mal, wie das passt, die ersten. Ich weiß auch nicht. Wenn das zu windig ist, dann warten wir auf besseres Wetter.
		Keywords: Wind, Chance, Sturm, Windhöhe, Plan, Wetter
		###
		Text: Der Automobilsektor ist ein Eckpfeiler der weltweiten Mobilitätssysteme und eine wichtige Säule der Weltwirtschaft. Allerdings trägt es auch maßgeblich zum Klimawandel bei.
		Allein im Jahr 2020 verursachten Pkw und Transporter 3,5 Gigatonnen CO2, fast ein Zehntel der globalen CO2-Emissionen.2, 3 Dies bezieht sich nur auf die Abgasemissionen,
		ohne zusätzliche Emissionsquellen entlang der Wertschöpfungskette wie Teile- und Fahrzeugproduktion
		Keywords: Automobilsektor, Mobilitätssysteme, Weltwirtschaft, Klimawandel, CO2-Emissionen, Emissionsquellen, Wertschöpfungskette
		###
		Text: Der Beitrag gibt auf Basis einer Auswertung des Stands der Forschung Gestaltungsempfehlungen für ein Klimalabel auf Lebensmitteln. Wir empfehlen ein verpflichtendes, staatliches, zunächst im Wesentlichen auf Durchschnittswerten basierendes, mehrstufiges und interpretatives (mit Farbcodierung und ergänzenden CO2-Äquivalenten) Klimalabel. Es sollte auf das Gewicht (CO2-e je kg) bezogen sein und für Lebensmittel und Mahlzeiten gelten. Kleinbetriebliche Segmente sollten zunächst ausgenommen werden. Deutschland könnte hier eine Pionierposition in der EU einnehmen und ein vergleichsweise effizientes Instrument der Verbraucherinformation in einem Sektor voranbringen, der ansonsten weitgehend von den Klimaschutzinstrumenten ausgenommen ist.
		Keywords: Lebensmittellabeling, Lebensmittel, CO2-Fußabdruck , Klimawandel, Klimalabel, Label, Politikempfehlung
		###
		Text: {{document}}
		Keywords:
	

Im Folgenden wird das vorangegangene Beispiel aufgegriffen und die Ergebnisse von Aleph Alpha Luminous dargestellt:

Schlüsselwörter und Kombinationen

Wie bereits erläutert, sollten unsere endgültigen Schlagwörter eine Kombination aus den Ergebnissen der beiden oben genannten Methoden sein, wobei die aus den Aleph-Alph-Modellen extrahierten Schlagwörter die höchste Priorität haben und die der anderen Methode als Ergänzung betrachtet werden.

Betrachtet man die Aufgabe der Schlagwortkombination aus einer breiteren Perspektive, so wird deutlich, dass es sich um eine Aufgabe der Textähnlichkeitsberechnung im Bereich der NLP handelt. Das Endergebnis enthält alle Schlagwörter aus Methode 2 sowie alle Schlagwörter aus Methode 1, die sich semantisch von den zuvor genannten unterscheiden. Durch die Bewertung der Ähnlichkeit zwischen den Wörtern können wir also Wörter aus Methode 1 auswählen, die sich von allen Schlüsselwörtern aus Methode 2 unterscheiden.

Textähnlichkeit ist ein Maß für die semantische Beziehung zwischen zwei Texten. Es gibt verschiedene Methoden zur Berechnung der Textähnlichkeit, wie beispielsweise die Kosinus-Ähnlichkeit, die Jaccard-Ähnlichkeit oder fortgeschrittenere Ansätze wie Wortvektoren und LLMs. Diese Methoden sind jedoch komplex, erfordern eine hohe Rechenleistung und sind normalerweise für Aufgaben geeignet, bei denen die Bestimmung der Textähnlichkeit im Vordergrund steht. Für unsere Anforderungen ist jedoch eine einfache und rechenfreundliche Methode zur sinnvollen Verknüpfung zweier unterschiedlicher Wortlisten viel besser geeignet.

Wir haben daher eine einfache Lösung entwickelt, die unseren Bedürfnissen entspricht, und möchten sie hier als Referenz vorstellen. Wie im Abschnitt „Methoden“ beschrieben, erzeugen die Methoden 1 und 2 Schlagwortlisten. Durch die Anwendung der Stemming-Technik, bei der Präfixe oder Suffixe von Wörtern entfernt werden, um ihre Grundform oder Stammform zu erhalten, erhalten wir die gestemmte Form jedes Wortes in einer Liste. Die Aufgabe besteht lediglich darin, jedes Stichwort aus Methode 1 auszuwählen, dessen gestemmte Form nicht in der Liste der gestemmten Wörter erscheint, die sich aus Methode 2 ergibt. Hier ist unsere Lösung für dieses Problem:

	
		@classmethod
		    def __stemming(cls, list_tokens: List[str], language: str = 'en'):
		        if language == 'de':
		            stemmer = SnowballStemmer("german")
		        else:
		            stemmer = SnowballStemmer("english")
		        tokens_stem = [stemmer.stem(word) for word.lower() in list_tokens]
		        return tokens_stem
	

	
		@classmethod
		    def keywords_extraction(cls, spacy_result: list[str], aa_result: list[str], language: str):
		        # concatenate spacy_keywords and aa_keywords
		        spacy_stemming = cls.__stemming(spacy_result, language)
		        aa_stemming = cls.__stemming(aa_result, language)
		        result = [word for word in aa_result if len(word) > 0]  # copy all keywords generated by aa method
		        index_list = [i for i, e in enumerate(spacy_stemming) if e not in aa_stemming]
		        for i in index_list:
		            result.append(spacy_result[i])
		        return result
	

Beschreibung der Pipeline

Die folgende Abbildung zeigt die Pipeline, die wir für die Aufgabe der Schlagwortextraktion verwendet haben. Wie vom Kunden vorgeschlagen, werden alle generierten Schlagwörter mit Hilfe des Aleph Alpha Modells ausgewählt. Darüber hinaus sollten alle Schlagwörter, die in Methode 1 extrahiert wurden, relevant sind und noch nicht in den Ergebnissen von Methode 2 auftauchen, aufgenommen werden.

Die Ergebnisse

Um unsere Lösung für die Verschlagwortung zu evaluieren, haben wir sie an 26 verschiedenen Datensätzen getestet. Fünf Beispiele sind im Folgenden aufgeführt.

Fazit

Die Verschlagwortung ist von entscheidender Bedeutung für die Identifizierung von Schlüsselwörtern und Phrasen in einem Text, die den Inhalt genau wiedergeben. Diese Schlüsselwörter spielen eine entscheidende Rolle bei der Kategorisierung, Beschreibung und Zugänglichkeit von Inhalten. Im digitalen Zeitalter gewinnt die Verschlagwortung zunehmend an Bedeutung, um große Informationsmengen effizient zu organisieren und durchsuchbar zu machen.

Für die Schlagwortextraktion gibt es eine Vielzahl von Ansätzen, wobei wir in der Regel mit verschiedenen Methoden experimentieren, um die am besten geeigneten Ergebnisse zu ermitteln, bevor wir uns für eine bestimmte Methode entscheiden. Die Kombination verschiedener Methoden für das Endergebnis ist keine völlig neue Idee, erweist sich aber in vielen Fällen als äußerst effektiv.

Um unserer Herausforderung gerecht zu werden, verwenden wir zwei verschiedene Methoden, wobei die Anwendung des Aleph-Alpha-Modells als Hauptmethode dient, während die Anwendung der TF-IDF-Analysetechnik eine unterstützende Rolle spielt. Die TF-IDF-Analysetechnik bewertet die Wichtigkeit von Wörtern ausschließlich anhand ihrer Häufigkeit in einem Dokument und einem Korpus, was dazu führen kann, dass nicht immer sinnvolle Schlüsselwörter extrahiert werden. Im Gegensatz dazu nutzen wir die vielseitigen Fähigkeiten des Aleph-Alpha-Modells, um Schlüsselwörter aus dem Kontext des Textes abzuleiten. Dies ermöglicht es, nicht informative oder sensible Schlagwörter zu vermeiden.

Darüber hinaus führt die Verwendung des Aleph-Alpha-Modells zu einer Reduzierung der Rechenkosten und der Laufzeit, da der Text nicht so umfangreich vorverarbeitet werden muss wie bei klassischen Ansätzen, um optimale Ergebnisse zu erzielen. Allerdings können einige Feineinstellungen erforderlich sein, um eine sinnvolle Ausgabe zu erzielen, wozu auch Prompt-Engineering und die Anpassung von Hyperparametern gehören können.