Το μάθημα "Βαθιά Μάθηση" εστιάζει στις προηγμένες τεχνολογίες και αρχιτεκτονικές βαθιάς μάθησης που διαμορφώνουν το σύγχρονο τοπίο της τεχνητής νοημοσύνης. Στοχεύει στην κατανόηση θεωρητικών θεμελίων, την πρακτική υλοποίηση προηγμένων μοντέλων και την ηθική ανάπτυξη συστημάτων τεχνητής νοημοσύνης. Το περιεχόμενο του μαθήματος περιλαμβάνει θεμελιώδεις αρχές όπως γραφήματα υπολογισμού (computation graphs), συναρτήσεις ενεργοποίησης, αλγόριθμους βελτιστοποίησης και τεχνικές κανονικοποίησης (regularization). Καλύπτει κλασικές αρχιτεκτονικές βαθιών νευρωνικών δικτύων (CNNs, RNNs κτλ), αρχιτεκτονικές για δεδομένα που έχουν δομή γράφων (GNNs), καθώς και σύγχρονες αρχιτεκτονικές όπως μετασχηματιστές (Transformers), οπτικούς μετασχηματιστές (Vision Transformers) και θεμελιακά μοντέλα (Foundation models). Επιπλέον, εισάγονται τεχνικές αυτό-επιβλεπόμενης μάθησης (self-supervised learning) και αντιθετικής μάθησης (contrastive learning) για αναπαραστάσεις από μη-επισημασμένα δεδομένα καθώς και τεχνικές πολυτροπικής μάθησης (multimodal learning). Το μάθημα περιλαμβάνει επίσης παραγωγικά μοντέλα όπως αυτοκωδικοποιητές (AEs, VAEs), παραγωγικά αντιπαλικά δίκτυα (GANs) και μοντέλα διάχυσης (Diffusion models). Εξετάζονται μέθοδοι τανυστών για την ερμηνεία και βελτιστοποίηση μοντέλων. Τέλος, συζητούνται ηθικές προκλήσεις και θέματα δεοντολογίας στην ανάπτυξη συστημάτων τεχνητής νοημοσύνης.
Προτεινόμενα συγγράμματα (Εύδοξος):
- Ian Goodfellow, Yoshua Bengio, Aaron Courville "Βαθιά Μάθηση", Εκδόσεις Κλειδάριθμος ΕΠΕ, 2024 (Κωδικός Εύδοξος: 122075017)
Συναφή επιστημονικά περιοδικά και συνέδρια:
- IEEE Transactions on Pattern Analysis and Machine Intelligence
- Journal of Machine Learning Research (JMLR)
- International Conference on Machine Learning (ICML) Proceedings
- Neural Information Processing Systems (NeurIPS) Proceedings
- International Conference on Learning Representations (ICLR) Proceedings
Online Resources:
- arXiv.org (cs.LG, cs.AI categories)
- Papers With Code (https://paperswithcode.com/)