multilingwis

Johannes Graën
2015-11-10

Übersicht

1. Konzept
2. Demo der Anwendung
3. Datenaufbereitung
4. Datenbankvorbereitung
5. Suche
6. Ausblick

Konzept

Funktionsbeschreibung

• Suche in multiparallelem Korpus
  • nach Übersetzungen von Mehrworteinheiten (translation spotting)
  • mittels Webanwendung
    • ohne besondere Kenntnisse vorauszusetzen
  • basierend auf Inhaltswörtern
    • Funktionswörter werden bei der Suche übersprungen (proximity search)
  • mit Anzeige der Häufigkeiten der einzelnen Übersetzungskandidaten
    • und (guten) Exemplaren für jeden einzelnen

vergleichbare Anwendungen

• Online-Wörterbuch mit Beispielen
• Übersetzungssuche
• Linguistische Korpusanfrage
• allgemeine Konkordanzsuche
• Beispiele
  • Linguee
  • Tradooit
  • Glosbe
  • TAUS Data
  • Bwananet
  • bilingwis

Demo

⇒ http://pub.cl.uzh.ch/purl/multilingwis ⇐

Datenaufbereitung

1. Schritt

• Extraktion der Texte aus CoStEP
  • alle diejenigen Sprecherbeiträge, die in allen fünf Sprachen vorliegen
    • ≈ 150k Beiträge in je fünf Sprachen
    • ≈ 220m Tokens

2. Schritt

• Annotationen
  • TreeTagger für Tokenisierung, PoS-Tagging und Lemmatisierung
    • mit Anpassungen der Tokenisierungsregeln, Abkürzungslisten, Lexika, …
  • Abbildung aller Tags der fünf verschiedenen Tagsets auf universelle PoS-Tags (12 UPOS-Tags)
  • Regelbasierte Satzsegmentierung mithilfe der Wortformen und Tags

3. Schritt

• Alignierung
  • paarweise Satzalignierung mit hunalign
    • Lemmata statt Wortformen als Eingabe
  • paarweise Wortalignierung mit Giza++
    • nur Inhaltswörter als Eingabe statt ganzer Sätze
      • Inhaltswörter hier Nomen, Verben, Adjektive und Adverbien (gemäß UPOS-Tags)

Datenbankvorbereitung

Indizierung

• symmetrisierte Wortalignierung als materialisierte Sicht (420m)
  • darauf zweistufiger Index (B-Baum) über Quell- und Zieltoken (9 GB)
• Lemmata mit relevanten Fremdschlüsselwerten als materialisierte Sicht
  • Indizes auf Lemmata (5 GB) und Schlüsseln (mehrstufig, 5 GB)

Suchfunktion - Definition

• per Skript generierte Suchfunktionen in Datenbank
  • je eine pro Anzahl Suchterme (Funktion überladen)
  • erlaubt Offline-Generierung des Queryplans

Suchfunktion - Ablauf

1. auf Suchterme passende Token finden (hits)
   • 1. Kriterium: gleiches Satzsegment
   • 2. Kriterium: nachfolgendes Token je ein bis vier Positionen nach vorangehendem
   • 3. Kriterium: zwischen je zwei Token befinden sich keine weiteren mit Inhaltsworttags
2. Schnitt der Treffer mit symmetrisierten Wortalignierungen, anschließendes Ergänzen der dazugehörigen Lemmata
3. Clustern der Daten nach Lemmasequenzen der alignierten Token & Zählen der Vorkommen

Suche

Ablauf (1)

1. der Benutzer gibt im Webfrontend einen (beliebigen) Suchausdruck ein
2. die jeweiligen Suchterme werden lemmatisiert und nach Inhalts-/Funktionswort klassifiziert
3. der Datenbank-Suchfunktion wird eine Liste der identifizierten Inhaltswörter übergeben
4. pro Sprache wird eine nach Häufigkeit sortierte Liste korrespondierender Lemmasequenzen angezeigt
5. das global beste Exemplar wird eingeblendet

Ablauf (2)

Ablauf (3)

• nach erfolgter Suche kann der Benutzer
  • eine weitere Suche mit neuen Suchausdruck starten
  • die Menge der Exemplare durch Auswahl einer oder mehrerer Lemmasequenzen einschränken
  • in den Exemplaren blättern
  • nach den gelisteten Lemmasequenzen in der jeweiligen Sprache suchen

explorative Suche

Ausblick

Probleme

• teilweise schlechte Wortalignierung
• bei sehr vielen Treffern und Alignierungen keine Ergebnisse (Speicherlimit)
• Sortierheuristik bevorzugt manchmal eher fragwürdige Exemplar

Verbesserungsmöglichkeiten

• andere Alignierungsmodelle
• Herausfiltern unwahrscheinlicher Alignierungen
• Harmonisieren der geschlechtsspezifischen Lemmata im Deutschen
• Ziffern in Lemmata durch Platzhalter ersetzen
• Limitierung der Suchergebnisse durch randomisierten Index und Filtern
• alternative Lemmata desambiguieren

Erweiterungen

• Datenexport der Treffer (bzw. einer Auswahl davon)
• Suche nach Wortformen und/oder PoS-Tags
• Kontextanzeige für das jeweilige Exemplar
• Verblemmata im Deutschen um etwaige Verbpräfixe ergänzen