Suchtechnologie und Information Retrieval

von Christian Herta

Kurs zur Vorlesungen an der Beuth Hochschule Berlin.

Suchwerkzeuge spielen heutzutage die wichtigste Rolle beim Finden relevanter Information in großen Dokumentenbeständen. So ist es ohne Suchportale wie "google", "Yahoo", "MSN", "Ask" oder "weFind" unmöglich bedeutsame Internetseiten zu einem Informationsbedürfnis aus der Fülle der Internetdokumente zu erhalten. Die Grundlage für Suchtechnologien liefert die Wissenschaft Information Retrieval. Diese ist älter als das Internet, hat aber in den letzten Jahren aufgrund des Webs und des stetigen Wachstums an Informationen enorm an Dynamik und Bedeutung gewonnen.
In der Vorlesung wird die Theorie und Praxis der (Web-)Suche vermittelt. In den Übungen wird das Wissen mittels Übungsaufgaben und Programmierbeispielen vertieft. Dabei wird als Programmiersprache Java und entsprechende Open-Source Software (Lucene, Heritrix, Hadoop, UIMA, openNLP etc.) verwendet.

Inhalt der Vorlesung

1. Einfühung
   • Motivation und Übersicht
   • Begriffe und Definitionen
2. Grundlagen des Text Retrieval
   • Boolean-Retrieval, Term-Vokabular, Posting Listen,
   • Index-Konstruktion
   • Textanalyse für die Suche
   • Scoring und Relevanz-Ranking (Vector-Space Modell),
   • index compression
3. Text Retrieval mit Lucene
   • Einführung in Lucene
   • Indizierung mit Lucene: Prozess der Indizierung, Dokumente und Felder, Index-Struktur, ACID-Transaktionen
   • Suche mit Lucene: Query-Objekte, Query-Parser, feldübergreifendes Vektorspace-Modell und Ranking
   • (Text-)Analyse mit Lucene
     
   • Ausgewählte fortgeschrittene Themen
4. Web-Spidering
   • Web-Grundlagen: Adressierung, HTTP, Spam
   • Aufgaben, Anforderungen und Crawling-Strategien
   • Aufbau eines Web-Spiders
   • Opensource Webspider Heritrix
5. Vertikale Suche und Enterprise Search
   • UIMA zur Dokumentenverarbeitung und Metadatenerzeugung
   • UIMA-based Annotation Type System for a Text Mining Architecture (Folien von U. Hahn et. all.)
   • System-Architektur
   • Beispiele für vertikale Websuchen: Nachrichtensuche, Blogsuche, Arztsuche etc.
6. Verteiltes Information Retrieval
   • Hadoop und MapReduce (Gastvortrag Isabel Drost)
7. Sprachtechnologie, Computerlinguistische Grundlagen
8. Text-, Web- und Data-Mining
   • Grundlagen und Einführung in Data-Mining und Machine Learning
   • Page-Rank, HITS-Algorithmus, Nutzen der Hyperlinkstruktur zum Ranking
   • Klassifikation: Naive Bayes, Overfitting, Large Margin Classifier, Support Vector Machines, Anwendungen: Dokumentenklassifikation, Autotagging
   • Clustering, hierarchisch, Expectation Maximization
   • Graphical Models als theoretisches Framework:
     • Directed-, Undirected- und Factor-Graphs
   • Naive Bayes
   • Sequenzlernen: von Hidden Markov zu Linear Chain Conditional Random Fields; Anwendung: Named Entity Recognition
   • probabilistic Latent Semantic Indexing, Latent Dirichlet Allocation
9. Federated-, Universal- and Blended-Search
10. Nutzerführung
    • Faceted Search, Search Result Clustering, Relevance Feedback
11. Multimedia Suche
12. Evaluation und Bewertung von IR-Systemen
13. Social Retrieval: Communities und Suche
14. Empfehlungssysteme
15. Mobile Informationssysteme
16. Semantische Suche und Ontologien - Vortrag im Rahmen des Workshops Corporate Semantic Web an der FU-Berlin; März 2009
    • Description Logic als Grundlage von Ontologien
    • Datenmodelle: RDF, OWL
    • SWRL
    • Sparql
    • Reasoning
17. Trends und Zukunft der Suche
    • Personalisierung - Search 4.0
    • Web for Machines: Web of Data, Web of Services, Web of Identities
18. Softwaretechnische Aspekte, Betrieb etc.
19. Markt der Suche, Anwendungen

Literatur

Übungen

• Übung: Indexstruktur- und -aufbau; Erste Schritte mit Lucene
• Übung: Scoring mittels Vektorspace-Modell
• Übung: Ranking mittels Lucene
• Übung: Dokumenten-Analyse mit Lucene
• Übung: Indizierung von HTML Dokumenten mittels Tika - beuth-dokumente.tar.gz
• Übung: Indizierung von XML-Dokumenten