Το έργο DeepStream στοχεύει στην ανάπτυξη μιας ολοκληρωμένης και ευέλικτης πλατφόρμας αυτόματης σημασιολογικής ανάλυσης ροών βίντεο με τη χρήση μεθόδων βαθιάς μάθησης, ικανής να υποστηρίξει τη μάθηση με λίγα παραδείγματα εκπαίδευσης, αλλά και τη συνεχή διάδραση με τους χρήστες της ώστε να είναι εφικτή η εύκολη προσαρμογή της στις ανάγκες τους. Η προτεινόμενη πλατφόρμα θα αποτελέσει ένα χρήσιμο εργαλείο για την ανάλυση των ελεύθερα διαθέσιμων μέσων με ποικίλες εφαρμογές στην ανάλυση αγοράς, διαφήμιση, σχεδιασμό εκστρατειών, δημοσιογραφία. Ο χρήστης θα μπορεί να δημιουργήσει τα δικά του μοντέλα μηχανικής μάθησης απευθείας σε ένα σύστημα διαχείρισης πολυμεσικής πληροφορίας (Media Asset Management System) αξιοποιώντας τεχνικές ενεργού βαθιάς μάθησης. Η πλατφόρμα θα επιτρέπει την εύκολη συλλογή, ανάλυση και οπτικοποίηση μεγάλων δεδομένων, αξιοποιώντας ιδιαίτερα τεχνικές οπτικής επικοινωνίας για την αποδοτική μετάδοση και κατανόησης της πληροφορίας.
Η επιχείρηση συγχρηματοδοτήθηκε από την Ευρωπαϊκή Ένωση και Εθνικούς Πόρους στο πλαίσιο της Δράσης του Προγράμματος «Κεντρική Μακεδονία» ΕΣΠΑ 2021-2027, «Επενδυτικά Σχέδια Καινοτομίας». Ο Προϋπολογισμός του έργου ανέρχεται σε 290.000,00€.
Πακέτα εργασίας
Ανάλυση Απαιτήσεων και Καθορισμός Προδιαγραφών
Σχεδίαση και Ανάπτυξη Πιλοτικής Εφαρμογής, Αξιολόγηση και Εμπορική Εκμετάλλευση
Έρευνα και ανάπτυξη τεχνολογιών βαθιάς μάθησης
- Ανάπτυξη μεθόδων ελαφριάς βαθιάς μάθησης για την εξαγωγή χωροχρονικών επισημάνσεων από ροές βίντεο.
- Ανάπτυξη μεθοδολογιών εκπαίδευσης μοντέλων βαθιάς μάθησης με τη χρήση λίγων παραδειγμάτων (low-shot learning) και συνδυασμός τους με μεθοδολογίες ενεργούς μάθησης (active learning) με στόχο τη διαδραστική εκπαίδευση των μοντέλων με την παροχή όσο το δυνατόν λιγότερων επισημάνσεων από τους τελικούς χρήστες.
- Ανάπτυξη μεθοδολογιών εκπαίδευσης μοντέλων βαθιάς μάθησης που είναι σε θέση να αναγνωρίσουν δεδομένα τα οποία ανήκουν σε κλάσεις για τις οποίες δεν έχουν εκπαιδευτεί.
Ανάπτυξη πλατφόρμας σημασιολογικής ανάλυσης
- Ανάπτυξη ολοκληρωμένης πλατφόρμας σημασιολογικής ανάλυσης, επισημείωσης και εμπλουτισμού με μεταδεδομένα ροών βίντεο σε πραγματικό χρόνο με τη χρήση εξελιγμένων μεθόδων βαθιάς μάθηση. Η πλατφόρμα θα παρέχει ανταγωνιστικά προϊόντα, πλήρως προσαρμοσμένα στις ανάγκες των πελατών της, με την ανάπτυξη μιας ευρείας γκάμας προϊόντων ανάλυσης πληροφορίας και επισημείωσης δεδομένων από οπτικές ροές. Οι τύποι σημασιολογικων επισημάνσεων που θα εξεταστούν στο πλαίσιο έργου αφορούν στην αναγνώριση λογοτύπων εταιρειών, γενική ανίχνευση αντικειμένων, καθώς και αναγνώριση ταυτότητας ανθρώπων.
Καινοτομία Ερευνητικού Έργου
Το παρόν ερευνητικό έργο στοχεύει στην ανάπτυξη μοντέλων βαθιάς μάθησης για εξαγωγή χωροχρονικών επισημάνσεων από ροές βίντεο. Για τον σκοπό αυτό θα χρησιμοποιηθούν μέθοδοι παρακολούθησης αντικειμένων (tracking), αλλά και επαναταυτοποίησης αντικειμένων για τη βελτίωση της ακρίβειας αναγνώρισης. Θα αναπτυχθούν μεθοδολογίες εκπαίδευσης μοντέλων βαθιάς μάθησης με τη χρήση λίγων παραδειγμάτων (low-shot learning) και συνδυασμός τους με μεθοδολογίες ενεργούς μάθησης (active learning) με στόχο τη διαδραστική εκπαίδευση των μοντέλων με την παροχή όσο το δυνατόν λιγότερων επισημάνσεων. Επιπλέον, θα επιτρέπει και τον εμπλουτισμό των κατηγοριών για τις οποίες παράγονται μεταδεδομένα απευθείας από τους τελικούς χρήστες, χωρίς να απαιτείται η επανεκπαίδευση των μοντέλων από ειδικούς.
Φορείς Υλοποίησης
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης
Η ερευνητική ομάδα Υπολογιστικής Νοημοσύνης και Βαθιάς Μάθησης (Computational Intelligence and Deep Learning – CIDL) ανήκει στο εργαστήριο Τεχνητής Νοημοσύνης και Ανάλυσης Πληροφοριών (Artificial Intelligence and Information Analysis – AIIA) του τμήματος Πληροφορικής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης. Η ερευνητική ομάδα ηγείται από τον καθηγητή Αναστάσιο Τέφα. Τα ερευνητικά ενδιαφέροντα της ομάδας αφορούν σε ένα ευρύ φάσμα θεμάτων όπως η υπολογιστική νοημοσύνη, η βαθιά μάθηση, η αναγνώριση προτύπων, η στατιστική μηχανική μάθηση, η ανάλυση και ανάκτηση ψηφιακού σήματος και εικόνας και η υπολογιστική όραση.
DataScouting
Η DataScouting είναι εταιρεία ανάπτυξης λογισμικού και τεχνολογικών υπηρεσιών Πληροφορίας και Επικοινωνιών με εξειδίκευση στη δημιουργία καινοτόμων λύσεων για παρακολούθηση μέσων μαζικής ενημέρωσης και διαχείριση/ανάλυση πληροφορίας σε βιβλιοθήκες και αρχεία.
Νέα / Ανακοινώσεις
Kickoff meeting
Kickoff meeting μεταξύ των φορέων υλοποίησης του έργου, όπου έγινε παρουσίαση και σχετική συζήτηση για την ανάπτυξη τεχνολογιών βαθιάς μάθησης για τις ανάγκες του έργου, παρουσίαση των υποενοτήτων εργασίας για κάθε φορέα, και συζητήθηκε η μεθοδολογία με την οποία ο κάθε φορέας θα προσεγγίσει το έργο.
Ολοκλήρωση παραδοτέου Π1.1.1
Έκθεση απαιτήσεων χρηστών (Μ2) (DS). H έκθεση απαιτήσεων των χρηστών θα περιλαμβάνει αναλυτικά και τεκμηριωμένα τις λειτουργικές και μη-λειτουργικές απαιτήσεις των χρηστών σε δυο κύκλους, πριν από την υλοποίηση της κάθε έκδοσης του συνολικού συστήματος.
Ολοκλήρωση παραδοτέου Π1.1.1
Έκθεση αρχιτεκτονικής και προδιαγραφών συστήματος (Μ4) (DS). Η έκθεση θα παρουσιάζει τη συνολική σχεδίαση του συστήματος και των υποσυστημάτων από τα οποία αποτελείται, καθώς και τις αντίστοιχες προδιαγραφές τους, σε δύο κύκλους, σύμφωνα με τις αντίστοιχες εκθέσεις απαιτήσεων χρηστών.
Deep Video Stream Information Analysis and Retrieval: Challenges and Opportunities
Το επιστημονικό άρθρο με τίτλο “Deep Video Stream Information Analysis and Retrieval: Challenges and Opportunities”, που εκπονήθηκε στα πλαίσια του έργου DeepStream, παρουσιάστηκε στο διεθνές συνέδριο “IEEE 5th International Conference on Multimedia Information Processing and Retrieval (MIPR 2022)”.
Retrieval-based methodology for few-sample logo recognition
The scientific paper “Retrieval-based methodology for few-sample logo recognition” has been presented at the “IEEE 25th International Workshop on Multimedia Signal Processing” (#MMSP2023) in Poitier, France.
IEEE 25th International Workshop on Multimedia Signal Processing
The scientific paper “Leveraging Active and Continual Learning for Improving Deep Face Recognition in-the-Wild” was presented by PhD. Candidate Pavlos Tosidis at the “IEEE 25th International Workshop on Multimedia Signal Processing” (#MMSP2023) in Poitier, France.
Symmetric Fine-Tuning for Improving Few-Shot Object Detection
The scientific paper with title Symmetric Fine-Tuning for Improving Few-Shot Object Detection. has been presented at the “IEEE Symposium Series on Computational Intelligence (SSCI) 2023”.
Domain-Specific Large Language Model Finetuning using a Model Assistant for Financial Text Summarization
The scientific paper with title Domain-Specific Large Language Model Finetuning using a Model Assistant for Financial Text Summarization was presented at the “IEEE Symposium Series on Computational Intelligence (SSCI) 2023”.
Ολοκλήρωση παραδοτέου Π2.1.1
Η έκθεση αυτή (Μ18) (ΑΠΘ) περιλαμβάνει τρία υποκεφάλαια:
- Έκθεση μεθόδων βαθιάς μάθησης για εξαγωγή χωροχρονικών επισημάνσεων από ροές βίντεο. H έκθεση θα περιλαμβάνει τα αποτελέσματα έρευνας και ανάπτυξης μεθόδων ελαφριάς βαθιάς μάθησης για εξαγωγή χωροχρονικών επισημάνσεων από ροές βίντεο.
- Έκθεση μεθόδων εκπαίδευσης μοντέλων με λίγα παραδείγματα εκπαίδευσης. Θα περιλαμβάνει τα αποτελέσματα έρευνας και ανάπτυξης μεθόδων βαθιάς μάθησης για εκπαίδευση μοντέλων με λίγα παραδείγματα εκπαίδευσης και επιλογής των παραδειγμάτων με το μεγαλύτερο πληροφοριακό περιεχόμενο για επισημείωση από τους τελικούς χρήστες (active learning).
- Έκθεση μεθόδων βαθιάς μάθησης με δυνατότητα ανίχνευσης δεδομένων που δεν ανήκουν στην κατανομή εκπαίδευσης. Θα περιλαμβάνει τα αποτελέσματα της έρευνας και ανάπτυξης αλγορίθμων για εκπαίδευση μοντέλων βαθιάς μάθησης που είναι σε θέση να αναγνωρίσουν δεδομένα τα οποία ανήκουν σε κλάσεις για τις οποίες δεν έχουν εκπαιδευτεί (αναγνώριση δεδομένων που δεν ανήκουν στην κατανομή εκπαίδευσης).
Ολοκλήρωση παραδοτέου Π3.1.1
Πλατφόρμα σημασιολογικής επισημείωσης και εμπλουτισμού ροών βίντεο (Μ18) (DS). Τελική έκδοση της πλατφόρμας σημασιολογικής επισημείωσης και εμπλουτισμού ροών βίντεο. Θα ενσωματωθούν και οι αλγόριθμοι που παρέχουν τη δυνατότητα ανίχνευσης δεδομένων που δεν ανήκουν στην κατανομή εκπαίδευσης.
Ολοκλήρωση παραδοτέου Π3.2.1
Εργαλείο εκπαίδευσης μοντέλων με λίγα παραδείγματα εκπαίδευσης από ροές βίντεο (Μ18) (DS). Τελική έκδοση του εργαλείου εκπαίδευσης μοντέλων με λίγα παραδείγματα εκπαίδευσης από ροές βίντεο, καθώς και της επιλογής των παραδειγμάτων με το μεγαλύτερο πληροφοριακό περιεχόμενο για επισημείωση από τους τελικούς χρήστες.
Ολοκλήρωση παραδοτέου Π3.3.1
Έκθεση ολοκλήρωσης του συστήματος (Μ18) (DS). Έκθεση ολοκλήρωσης του συστήματος, όπου θα ενσωματωθεί η πλατφόρμα σημασιολογικής επισημείωσης και εμπλουτισμού ροών βίντεο με το εργαλείο εκπαίδευσης μοντέλων με λίγα παραδείγματα εκπαίδευσης, καθώς και με υπάρχοντα εργαλεία παρουσίασης των αποτελεσμάτων με οπτικό τρόπο από τη DS (κυρίως με τη χρήση τεχνικών οπτικής επικοινωνίας για τη βελτίωση της μετάδοσης και κατανόησης της πληροφορίας).
Ολοκλήρωση παραδοτέου Π4.1.1
Έκθεση σχεδίασης πιλοτικών δοκιμών και συλλογής δεδομένων (Μ15) (DS). Η έκθεση θα περιλαμβάνει τις δοκιμές που θα εκτελεστούν για να διασφαλιστεί η ορθή λειτουργία όλων των υποσυστημάτων, καθώς και των σεναρίων χρήσης που θα χρησιμοποιηθούν κατά τη διενέργεια των πιλοτικών δοκιμών.
Ολοκλήρωση παραδοτέου Π4.2.1
Έκθεση εκτέλεσης πιλοτικών δοκιμών (M18) (DS). Η έκθεση εκτέλεσης πιλοτικών δοκιμών θα περιλαμβάνει τα αναλυτικά αποτελέσματα των δοκιμών που εκτελέστηκαν, σύμφωνα με την έκθεση σχεδίασης (Π.4.1.1).
Ολοκλήρωση παραδοτέου Π4.3.1
Έκθεση σχεδίου εμπορικής εκμετάλλευσης (M18) (DS). Αναλυτική περιγραφή και λεπτομερές χρονοδιάγραμμα ως προς τις δράσεις που θα αναπτυχθούν προκειμένου να επιτευχθεί η μέγιστη δυνατή αξιοποίηση των δυνατοτήτων του έργου από την επιχείρηση (DS). Μελέτη εφαρμογής της πλατφόρμας σε υπάρχοντα έργα και προϊόντα της επιχείρησης.