Θεωρία Πληροφορίας

Ενότητα 1: Η ζωή το έργο του Shannon και η επίδραση του στις σύγχρονες επικοινωνίες.
Ενότητα 2: Μέτρα πληροφορίας και βασικές ιδιότητες: εντροπία, αμοιβαία πληροφορία, απόσταση Kullback-Leibler, κυρτότητα.
Ενότητα 3: Τυπικότητα και ιδιότητα της ασυμπτωτικής ισοδιαμέρισης.
Ενότητα 4: Στατικές (εργοδικές ) πηγές και ρυθμός εντροπίας.
Ενότητα 5: Συμπίεση πηγής χωρίς απώλειες, κώδικες προθέματος, θεμελιώδη όρια συμπίεσης με βάση το ρυθμό εντροπίας, κώδικες Shannon και Huffman.
Ενότητα 6: Χωρητικότητα καναλιού, παραδείγματα (δυαδικό συμμετρικό κανάλι, κανάλι διαγραφής) και ιδιότητες, διατύπωση και απόδειξη του θεωρήματος κωδικοποίησης καναλιού για διακριτά κανάλια χωρίς μνήμη, επιτευξιμότητα, από κοινού τυπικότητα.
Ενότητα 7: Aνισότητα Fano και αντίστροφο θεώρημα, χωρητικότητα ανάδρασης.
Ενότητα 8: Πηγές και κανάλια συνεχούς χρόνου, διαφορική εντροπία, αμοιβαία πληροφορία και ιδιότητες, εντροπία κανονικού τυχαίου διανύσματος.
Ενότητα 9: Το αθροιστικό κανάλι Gauss κι η χωρητικότητά του, τυπικότητα, θεώρημα κωδικοποίησης, χωρητικότητα ζωνοπερατών καναλιών.
Ενότητα 10: Παράλληλα κανάλια Gauss, κανάλι με έγχρωμο θόρυβο, κατανομή ισχύος με σκοπό τη μεγιστοποίηση του ρυθμού μετάδοσης, μέθοδος waterfilling.
Ενότητα 11: Κωδικοποίηση πηγής με κώδικες συρμού, αριθμητικοί κώδικες και κωδικοποίηση Lempel Ziv.
Ενότητα 12: Εισαγωγή στη θεωρία ρυθμού παραμόρφωσης κα συμπίεση με απώλειες.
Ενότητα 13: Γραμμικοί κώδικες, περιγραφή και κωδικοποίηση, κώδικες Hamming
Ενότητα 14: Εισαγωγή στην στατιστική επεξεργασία σήματος και στο τεστ Wald.
Ενότητα 15: Θεμελιώδεις ανισότητες της θεωρίας πληροφορίας κι εφαρμογές τους σε δίκτυα επικοινωνίας.