Search:
Lehrstuhl  |  Institut  |  Fakultät  |  LMU
print

Machine Learning and Data Mining in SS 2014


The lecture is given in English.


Aktuelles

  • Ab sofort ist sind die Klausurergebnisse in UniWorx einsehbar.
  • The results to the final exam are now online on UniWorx.

Topic

Machine Learning is a data-driven approach for the development of technical solutions. Initially motivated by the adaptive capabilities of biological systems, machine learning has increasing impact in many fields, such as vision, speech recognition, machine translation, and bioinformatics, and is a technological basis for the emerging field of Big Data.

Data mining is closely related to machine learning but has developed as a separate field, more directly motivated by the challenges in working with large databases and Web data.

The lecture will cover:

  • Supervised learning: the goal here is to learn functional dependencies for classification and regression. We cover linear systems, basis function approaches, kernel approaches and neural networks
  • Unsupervised Learning: the goal here is to compactly describe important structures in the data. Typical representatives are clustering and principal component analysis
  • Graphical models (Bayesian networks, Markov networks), which permit a unified description of high-dimensional probabilistic dependencies
  • Reinforcement Learning as the basis for the learning-based optimization of autonomous agents
  • Some theoretical aspects: frequentist statistics, Bayesian statistics, statistical learning theory

The technical topics will be illustrated with a number of real-world applications.


Ziel des Maschinellen Lernens ist die Entwicklung von Methoden zur Realisierung lernfähiger technischer Systeme. In der Vorlesung werden die wichtigsten Zweige des Maschinellen Lernens vorgestellt:

  • Beim überwachten Lernen werden basierend auf vorhandenen Beispieldaten Systeme zur Klassifikation und zur Modellierung funktioneller Abhängigkeiten trainiert (typische Vertreter: Neuronales Netz, Support Vector Machine).
  • Das Ziel des unüberwachten Lernens ist es, autonom relevante Strukturen in Daten zu finden (typische Vertreter: Cluster Analyse, Independent Component Analyse).
  • Kausal Probabilistische Netze (Bayesian Networks) stellen einen Rahmen zur Beschreibung und zum Erlernen von komplexen probabilistischen Abhängigkeiten dar, bis hin zur Analyse von Kausalität.
  • Reinforcement Learning ist das wichtigste Lernverfahren zur Optimierung des Verhaltens von Agenten.

Datamining bezeichnet die Analyse von Datenbanken mit Methoden des Maschinellen Lernens und motiviert Forschungsaktivitäten mit neuen Anforderungen an Skalierbarkeit und Bedienbarkeit der Lösungen. Ein typisches Ziel ist die Nutzbarmachung von Kundendaten (Customer Relationship Management). In der Vorlesung werden eine Reihe von industriellen Anwendungen des Maschinellen Lernens, mit Schwerpunkt auf Anwendungen im Data Mining, vorgestellt.


Organisation



Zeit und Ort

Veranstaltung Zeit Ort Beginn
Vorlesung Mi, 9.00 c.t. - 12.00 Uhr Raum 061 (Oettingenstr. 67) 09.04.2014
Übung
Do, 14.00 - 16.00 Uhr Raum 169 (Oettingenstr. 67)
17.04.2014

Do, 16.00 - 18.00 Uhr Raum 169 (Oettingenstr. 67)
17.04.2014

Planung

Vorlesung Übung
Datum Thema Datum Blatt
09.04.14 Introduction 10.04.14 selbstständig: R-Einführung (Sourcen)
16.04.14 Perceptron; Linear Algebra (review); Linear Regression 17.04.14 vorlesungsfrei (Gründonnerstag)
23.04.14 Basis Functions; Neural Networks 24.04.14 Blatt 1

Exercise Sheet 1 Data: numberMatrix.RTable Perceptron (R) Perceptron (Matlab)

30.04.14 Deep Learning; Kernels entfällt (Feiertag)
07.05.14 Guest Lecture on Principle Component Analysis 08.05.14 Blatt 2
Exercise Sheet 2
Lösung 1c
Lin. Reg. (R)
Lin. Reg. (Matlab)
14.05.14 Probability (review); Frequentist and Bayesian Statistics 15.05.14 Blatt 3

Exercise Sheet 3
Eigenfaces (R)

21.05.14 Linear Classifiers; Support Vector Machine 22.05.14 Blatt 4

Exercise Sheet 4
soccerBall.RTable
facesEasy.RTable
Lösung 4-4
PCA (R)
PCA (Matlab)
PCA Plots (zip)

28.05.14 Guest Lecture on Introduction in Reinforcement Learning entfällt (Feiertag)
04.06.14 Model Comparison 05.06.14 Blatt 5
11.06.14 Recurrent Neuronal Networks and Time Series (Guest Lecture) 12.06.14

Blatt 6
Exercise Sheet 6

18.06.14 Graphical Models entfällt (Feiertag)
25.06.14 Instance-based Learning 26.06.14 Blatt 7

Exercise Sheet 7 Exercise Sheet 7 Solution to ex. 1
Model Comparison (R)

02.07.14 Overview over other relevant topics: Decision Trees, Boosting Bagging, Random Forest, etc. 03.07.14

Blatt 8
Exercise Sheet 8
CF+ (R)
Doc. Distances (R)

09.07.14 Fragestande / Recap 10.07.14 (entfällt)

Übungsbetrieb

  • Ein nachvollziehbares Beispiel zum Unterschied zwischen frequentistischer und bayesianischer Statistik finden Sie hier (Nature Publishing Group). An easy example of the difference between frequentist and bayesian statistics can be found here (Nature Publishing Group).
  • Studentenlösungen (ohne Gewähr) zu Blatt 1:
    Perceptron (Octave) Input 1.3 (Octave) Input 1.4 (Octave)
  • Zur Vertiefung der Vorlesung werden 2-stündige Übungen angeboten, in denen die vorgestellten Verfahren weiter erläutert und an praktischen Beispielen veranschaulicht werden. Da es sich mitunter um Programmieraufgaben handelt, ist eine vorherige Vorbereitung des aktuellen Übungsblattes erwünscht um Fragen diesbezüglich besser beantworten zu können.

Klausur / Exam

  • Die Klausurergebnisse sind in UniWorx einsehbar.

Nützliche Links

  • Unter http://www.die-informatiker.net bieten Münchner Informatiker ein Diskussionsforum für euch. Dort können Fragen von allgemeinem Interesse gestellt werden und finden oft auch eine Antwort. Wir begrüßen diese Initiative, übernehmen aber keinerlei Verantwortung für den Inhalt.



Vorhergehende Semester

SS 15, SS 14, SS 13, SS 12, SS 11, SS 10, SS 09, SS 08, SS 07, SS 06, SS 05, SS 04

blank