Το έργο DeepStream στοχεύει στην ανάπτυξη μιας ολοκληρωμένης και ευέλικτης πλατφόρμας αυτόματης σημασιολογικής ανάλυσης ροών βίντεο με τη χρήση μεθόδων βαθιάς μάθησης, ικανής να υποστηρίξει τη μάθηση με λίγα παραδείγματα εκπαίδευσης, αλλά και τη συνεχή διάδραση με τους χρήστες της ώστε να είναι εφικτή η εύκολη προσαρμογή της στις ανάγκες τους. Η προτεινόμενη πλατφόρμα θα αποτελέσει ένα χρήσιμο εργαλείο για την ανάλυση των ελεύθερα διαθέσιμων μέσων με ποικίλες εφαρμογές στην ανάλυση αγοράς, διαφήμιση, σχεδιασμό εκστρατειών, δημοσιογραφία. Ο χρήστης θα μπορεί να δημιουργήσει τα δικά του μοντέλα μηχανικής μάθησης απευθείας σε ένα σύστημα διαχείρισης πολυμεσικής πληροφορίας (Media Asset Management System) αξιοποιώντας τεχνικές ενεργού βαθιάς μάθησης.
Η πλατφόρμα θα επιτρέπει την εύκολη συλλογή, ανάλυση και οπτικοποίηση μεγάλων δεδομένων, αξιοποιώντας ιδιαίτερα τεχνικές οπτικής επικοινωνίας για την αποδοτική μετάδοση και κατανόησης της πληροφορίας.
Πακέτα εργασίας
Έρευνα και ανάπτυξη τεχνολογιών βαθιάς μάθησης
- Ανάπτυξη μεθόδων ελαφριάς βαθιάς μάθησης για την εξαγωγή χωροχρονικών επισημάνσεων από ροές βίντεο.
- Ανάπτυξη μεθοδολογιών εκπαίδευσης μοντέλων βαθιάς μάθησης με τη χρήση λίγων παραδειγμάτων (low-shot learning) και συνδυασμός τους με μεθοδολογίες ενεργούς μάθησης (active learning) με στόχο τη διαδραστική εκπαίδευση των μοντέλων με την παροχή όσο το δυνατόν λιγότερων επισημάνσεων από τους τελικούς χρήστες.
- Ανάπτυξη μεθοδολογιών εκπαίδευσης μοντέλων βαθιάς μάθησης που είναι σε θέση να αναγνωρίσουν δεδομένα τα οποία ανήκουν σε κλάσεις για τις οποίες δεν έχουν εκπαιδευτεί.
Ανάπτυξη πλατφόρμας σημασιολογικής ανάλυσης
- Ανάπτυξη ολοκληρωμένης πλατφόρμας σημασιολογικής ανάλυσης, επισημείωσης και εμπλουτισμού με μεταδεδομένα ροών βίντεο σε πραγματικό χρόνο με τη χρήση εξελιγμένων μεθόδων βαθιάς μάθηση. Η πλατφόρμα θα παρέχει ανταγωνιστικά προϊόντα, πλήρως προσαρμοσμένα στις ανάγκες των πελατών της, με την ανάπτυξη μιας ευρείας γκάμας προϊόντων ανάλυσης πληροφορίας και επισημείωσης δεδομένων από οπτικές ροές. Οι τύποι σημασιολογικων επισημάνσεων που θα εξεταστούν στο πλαίσιο έργου αφορούν στην αναγνώριση λογοτύπων εταιρειών, γενική ανίχνευση αντικειμένων, καθώς και αναγνώριση ταυτότητας ανθρώπων.
Καινοτομία Ερευνητικού Έργου
Το παρόν ερευνητικό έργο στοχεύει στην ανάπτυξη μοντέλων βαθιάς μάθησης για εξαγωγή χωροχρονικών επισημάνσεων από ροές βίντεο. Για τον σκοπό αυτό θα χρησιμοποιηθούν μέθοδοι παρακολούθησης αντικειμένων (tracking), αλλά και επαναταυτοποίησης αντικειμένων για τη βελτίωση της ακρίβειας αναγνώρισης. Θα αναπτυχθούν μεθοδολογίες εκπαίδευσης μοντέλων βαθιάς μάθησης με τη χρήση λίγων παραδειγμάτων (low-shot learning) και συνδυασμός τους με μεθοδολογίες ενεργούς μάθησης (active learning) με στόχο τη διαδραστική εκπαίδευση των μοντέλων με την παροχή όσο το δυνατόν λιγότερων επισημάνσεων. Επιπλέον, θα επιτρέπει και τον εμπλουτισμό των κατηγοριών για τις οποίες παράγονται μεταδεδομένα απευθείας από τους τελικούς χρήστες, χωρίς να απαιτείται η επανεκπαίδευση των μοντέλων από ειδικούς.
Φορείς Υλοποίησης
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης
Η ερευνητική ομάδα Υπολογιστικής Νοημοσύνης και Βαθιάς Μάθησης (Computational Intelligence and Deep Learning – CIDL) ανήκει στο εργαστήριο Τεχνητής Νοημοσύνης και Ανάλυσης Πληροφοριών (Artificial Intelligence and Information Analysis – AIIA) του τμήματος Πληροφορικής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης. Η ερευνητική ομάδα ηγείται από τον καθηγητή Αναστάσιο Τέφα. Τα ερευνητικά ενδιαφέροντα της ομάδας αφορούν σε ένα ευρύ φάσμα θεμάτων όπως η υπολογιστική νοημοσύνη, η βαθιά μάθηση, η αναγνώριση προτύπων, η στατιστική μηχανική μάθηση, η ανάλυση και ανάκτηση ψηφιακού σήματος και εικόνας και η υπολογιστική όραση.
DataScouting
Η DataScouting είναι εταιρεία ανάπτυξης λογισμικού και τεχνολογικών υπηρεσιών Πληροφορίας και Επικοινωνιών με εξειδίκευση στη δημιουργία καινοτόμων λύσεων για παρακολούθηση μέσων μαζικής ενημέρωσης και διαχείριση/ανάλυση πληροφορίας σε βιβλιοθήκες και αρχεία.
Νέα / Ανακοινώσεις
Kickoff meeting
Kickoff meeting μεταξύ των φορέων υλοποίησης του έργου, όπου έγινε παρουσίαση και σχετική συζήτηση για την ανάπτυξη τεχνολογιών βαθιάς μάθησης για τις ανάγκες του έργου, παρουσίαση των υποενοτήτων εργασίας για κάθε φορέα, και συζητήθηκε η μεθοδολογία με την οποία ο κάθε φορέας θα προσεγγίσει το έργο.
Ολοκλήρωση παραδοτέου Π1.1.1
Έκθεση απαιτήσεων χρηστών. H έκθεση απαιτήσεων των χρηστών περιλαμβάνει αναλυτικά και τεκμηριωμένα τις λειτουργικές και μη-λειτουργικές απαιτήσεις των χρηστών σε δυο κύκλους, πριν από την υλοποίηση της κάθε έκδοσης του συνολικού συστήματος.
Deep Video Stream Information Analysis and Retrieval: Challenges and Opportunities
Το επιστημονικό άρθρο με τίτλο “Deep Video Stream Information Analysis and Retrieval: Challenges and Opportunities”, που εκπονήθηκε στα πλαίσια του έργου DeepStream, παρουσιάστηκε στο διεθνές συνέδριο “IEEE 5th International Conference on Multimedia Information Processing and Retrieval (MIPR 2022)”.
Retrieval-based methodology for few-sample logo recognition
The scientific paper “Retrieval-based methodology for few-sample logo recognition” has been presented at the “IEEE 25th International Workshop on Multimedia Signal Processing” (#MMSP2023) in Poitier, France.
Link
IEEE 25th International Workshop on Multimedia Signal Processing
The scientific paper “Leveraging Active and Continual Learning for Improving Deep Face Recognition in-the-Wild” was presented by PhD. Candidate Pavlos Tosidis at the “IEEE 25th International Workshop on Multimedia Signal Processing” (#MMSP2023) in Poitier, France.
Link