ΛογότυποSCORobot

Η πλατφόρμα «SCORobot» ονομάστηκε έτσι από τα αρχικά Serial Control ROBOT και ενσωματώνει λειτουργίες αναγνώρισης φωνής. Αναπτύχθηκε στη γλώσσα προγραμματισμού C# μέσω του περιβάλλοντος Visual Studio 2019 της Microsoft, με εξελίξεις που επεκτάθηκαν έως και το 2022, χρησιμοποιώντας το Microsoft Speech SDK API 5.1. Αρχικά, για την υλοποίηση της διεπαφής χρήστη χρησιμοποιήθηκε το Windows Forms (WF), το οποίο στην πορεία αντικαταστάθηκε από το Windows Presentation Foundation (WPF), βασισμένο στο .NET Framework 4. Η επιλογή αυτής της έκδοσης αρχικά έγινε ώστε η εφαρμογή να παραμένει συμβατή με λειτουργικά συστήματα όπως Windows XP, 7, 8, 8.1 και 10, όμως εξελίχθηκε σε .NET Framework 6. Η πλατφόρμα έχει δοκιμαστεί επιτυχώς και σε περιβάλλοντα εικονικής προσομοίωσης (virtual matchine). Η εφαρμογή SCORobot έχει σχεδιαστεί με τέτοιο τρόπο ώστε να είναι παραμετροποιήσιμη και να μπορεί να προσαρμοστεί για χρήση με διαφορετικούς τύπους ρομπότ. Μέσω της πλατφόρμας αυτής, δίνονται φωνητικές εντολές από τον χρήστη μέσω μικροφώνου. Οι εντολές αυτές αναγνωρίζονται με τη βοήθεια του συστήματος Watson, μετατρέπονται σε κείμενο (Speech-to-Text, STT) και συγκρίνονται με αποθηκευμένες εντολές που βρίσκονται σε προκαθορισμένο αρχείο. Για το ρομποτικό βραχίονα SCORBOT-ER VPlus, έχουν προστεθεί συγκεκριμένες εντολές τύπου ACL. Η μετάδοση των φωνητικών εντολών γίνεται μέσω ενός server, ο οποίος λαμβάνει την εντολή του χρήστη, πραγματοποιεί τη μετατροπή φωνής σε κείμενο και επιστρέφει την αντίστοιχη εντολή, έτοιμη για αποστολή. Μετά την επιτυχή αντιστοίχιση και εφόσον απαιτείται, το λογισμικό αποστέλλει τις εντολές μέσω της σειριακής θύρας επικοινωνίας σε εξωτερικές συσκευές, όπως σε ένα μικροελεγκτή Arduino UNO, ένα ρομποτικό βραχίονα ή άλλο ρομπότ, ώστε να εκτελεστούν οι αντίστοιχες κινήσεις. Η εφαρμογή λειτουργεί σε πραγματικό χρόνο (real-time). Ένα κρίσιμο σημείο αφορά τη μέθοδο σύνδεσης που χρησιμοποιείται για την επικοινωνία με το εκάστοτε ρομπότ. Στην παρούσα υλοποίηση, η εφαρμογή ελέγχει έναν Arduino Uno, στον οποίο είναι συνδεδεμένη μια LCD οθόνη, όπου εμφανίζονται τα μηνύματα ή τα αποτελέσματα των εντολών. Για λόγους απλοποίησης της καλωδίωσης, χρησιμοποιήθηκε αντάπτορας I2C LCD 1602, ο οποίος προσαρμόζεται απευθείας στην οθόνη. Thenia Getiki.

Πληροφορίες Εφαρμογής & Απαιτήσεις Συστήματος

Η παρούσα εφαρμογή έχει σχεδιαστεί για λειτουργία σε περιβάλλον Windows XP ή νεότερο και δεν είναι συμβατή με άλλα λειτουργικά συστήματα, όπως το Linux ή το macOS.

Χρησιμοποιεί το .NET Framework 4.7.2+ και το Windows Presentation Foundation (WPF) για το γραφικό περιβάλλον χρήστη (GUI).

🌐 Δικτυακές απαιτήσεις

  • Απαιτείται ενεργή σύνδεση στο διαδίκτυο για επικοινωνία με τον εξυπηρετητή.
  • Η επικοινωνία γίνεται μέσω RESTful API πάνω από το HTTP (port 8089).
  • Η πόρτα 8089 πρέπει να είναι ανοιχτή στο τείχος προστασίας (Firewall) για εισερχόμενες και εξερχόμενες συνδέσεις.
  • Ο εξυπηρετητής δεν υποστηρίζει παλαιότερα λειτουργικά όπως Windows XP.

🔌 Σειριακή Επικοινωνία

Η εφαρμογή υποστηρίζει σύνδεση με εξωτερικές συσκευές όπως:

  • Arduino UNO
  • Ρομποτικός βραχίονας SCORBOT ER-Vplus

Η σύνδεση γίνεται μέσω σειριακής θύρας τύπου RS-232 (COM port), φυσικής ή εικονικής (USB-to-Serial).

Απαιτείται:

  • Τουλάχιστον μία διαθέσιμη σειριακή θύρα στον υπολογιστή ή κατάλληλος προσαρμογέας
  • Ρυθμίσεις σύνδεσης: 9600 baud, 8 data bits, no parity, 1 stop bit

🎙️ Οδηγίες για φωνητική αναγνώριση

Για καλύτερη απόδοση στην αναγνώριση φωνής:

  • Ο χρήστης πρέπει να εκφωνεί αργά και καθαρά
  • Η σωστή προφορά των λέξεων βελτιώνει σημαντικά την ακρίβεια

Αρχιτεκτονική εφαρμογής SCORobot

Αυτό το διάγραμμα περιγράφει τη δομή και ροή φωνητικών εντολών για έλεγχο συσκευών μέσω C# εφαρμογής WPF. Ο χρήστης δίνει φωνητικές εντολές, οι οποίες μέσω GUI καταγράφονται και αναλύονται. Η εφαρμογή στέλνει τα δεδομένα στον Watson API για αναγνώριση ομιλίας ή τα προωθεί μέσω σειριακής επικοινωνίας στο SOROBOT-ER Vplus και στο Arduino για αντίστοιχη ενέργεια.

My app

Πώς λειτουργεί?

  • Ο χρήστης δίνει μια φωνητική εντολή μέσω μικροφώνου.
  • Η εφαρμογή σε C# αναγνωρίζει την εντολή με χρήση του Microsoft Speech SDK.
  • Η εντολή αποστέλλεται μέσω σειριακής επικοινωνίας στο Arduino.
  • Το Arduino εκτελεί την εντολή και εμφανίζει το αποτέλεσμα στην LCD οθόνη ή αντίστοιχα το επιλεγμένο robot.

    • Χρήσιμες Πληροφορίες

    Απαραίτητοι σύνδεσμοι

    • Τα Windows XP δεν έχουν αναγνώριση ομιλίας των Windows. Εάν δεν έχει την έχετε εγκαταστήσει, μπορείτε να κάνετε κλίκ εδώ.
    • Το .Net Framework απαιτείται για την εκτέλεσηπολλών εφαρμογών στα Windows. Μπορείτε να κάνετε κλίκ εδώ. to install it.

    Εγκατάσταση

    Για την εγκατάσταση του SCORobot, οι προτεινόμενες απαιτήσεις είναι:

    1. Εγκατάση Windows Speech Recognition
    2. .Net Framework (εάν το σύστημα είναι Windows XP)
    3. Εγκατάσταση μικροφώνου

    Επικοινωνήστε μαζί μας!

    Γράψτε τα στοιχεία σας σε κάθε πλαίσιο και στείλτε ένα μήνυμα..