Information Theory (in greek)

Semester:
6ο
Course Type:
Track Compulsory courses (EYM)
Track:
CΕT (Computer Engineering and Telecoms)
Code:
Κ35
ECTS:
6
TEACHING HOURS per week
Theory:
3
Seminar:
1
Laboratory:
-
Specializations
Foundations of Computer Science (Ε1):
-
Data and Knowledge Management (Ε2):
-
Software (Ε3):
-
Hardware and Architecture (Ε4):
-
Communications and Networking (Ε5):
-
Signal and Information Processing (Ε6):
-
Related Courses
Course Content

Μάθημα 1: C. E. Shannon: Η ζωή το έργο και η επίδραση του στις σύγχρονες επικοινωνίες
Μάθημα 2: Μέτρα πληροφορίας και βασικές ιδιότητες: εντροπία, αμοιβαία πληροφορία, απόσταση KL, κυρτότητα
Μάθημα 3: Τυπικότητα και ιδιότητα της ασυμπτωτικής ισοδιαμέρισης
Μάθημα 4: Στατικές (εργοδικές ) πηγές και ρυθμός εντροπίας
Μάθημα 5: Συμπίεση πηγής χωρίς απώλειες, κώδικες προθέματος, θεμελιώδη όρια συμπίεσης με βάση το ρυθμό εντροπίας, κώδικες Shannon, κώδικες Hufman
Μάθημα 6: Χωρητικότητα καναλιού παραδείγματα (δυαδικό συμμετρικό κανάλι, κανάλι διαγραφής) και ιδιότητες, διατύπωση και απόδειξη του θεωρήματος κωδικοποίησης καναλιού για διακριτά κανάλια χωρίς μνήμη, επιτευξιμότητα, από κοινού τυπικότητα.
Μάθημα 7: ανισότητα Fano και αντίστροφο θεώρημα, χωρητικότητα ανάδρασης
Μάθημα 8: Πηγές και κανάλια συνεχούς χρόνου, διαφορική εντροπία, αμοιβαία πληροφορία και ιδιότητες, εντροπία κανονικού τυχαίου διανύσματος

Μάθημα 9: Το αθροιστικό Γκαουσιανό κανάλι, τυπικότητα, θεώρημα κωδικοποίησης , χωρητικότητα ΑWGN καναλιού, χωρητικότητα ζωνοπερατών καναλιών
Μάθημα 10: Παράλληλα Γκαουσιανά κανάλια, κανάλι με έγχρωμο θόρυβο, κατανομή ισχύος με σκοπό τη μεγιστοποίηση του ρυθμού μετάδοσης, μέθοδος γεμίσματος νερού.
Μάθημα 11: κωδικοποίηση πηγής με κώδικες συρμού, αριθμητικοί κώδικες και κωδικοποίηση Lempel Ziv
Μάθημα 12: εισαγωγή στη θεωρία ρυθμού παραμόρφωσης κα συμπίεση με απώλειες
Μάθημα 13: Γραμμικοί κώδικες, περιγραφή και κωδικοποίηση, κώδικες Hamming
Μάθημα 14: Συγκεραστικοί κώδικες trellis αποκωδικοποίηση και αλγόριθμος Viterbi
Μάθημα 15: Κώδικες turbo, επαναληπτική αποκωδικοποίηση και αλγόριθμος BCJR
Μάθημα 16: Κώδικες LDPC γράφοι παραγόντων και Tanner αποκωδικοποίηση με τον αλγόριθμο μεταβίβασης μηνυμάτων