Μνήμη σε AI Agents short term long term και πώς επηρεάζουν τη συμπεριφορά

Μνήμη σε AI Agents short term και long term

Η πρώτη γενιά από AI chatbots θυμόταν μόνο τα τελευταία δύο τρία μηνύματα. Σε απλές συζητήσεις αυτό ίσως αρκούσε, αλλά σε πραγματικά σενάρια χρήσης ήταν πρόβλημα. Για να δουλέψουν σοβαρά σε επιχειρήσεις, οι AI Agents χρειάζονται μνήμη. Τόσο βραχυπρόθεσμη short term όσο και μακροπρόθεσμη long term. Ο τρόπος που σχεδιάζεις αυτή τη μνήμη καθορίζει σε μεγάλο βαθμό το πόσο χρήσιμος και αξιόπιστος θα είναι ο agent.

Τι είναι η short term μνήμη

Η short term μνήμη είναι το άμεσο πλαίσιο context στο οποίο βλέπει ο agent τη συνομιλία ή την εργασία

• τα τελευταία μηνύματα χρήστη και απαντήσεις,
• πρόσφατα αποτελέσματα εργαλείων,
• προσωρινές μεταβλητές και ενδιάμεσα βήματα.

Συνήθως υλοποιείται με

• το ίδιο το prompt που στέλνεις στο LLM κάθε φορά,
• κάποια ελαφριά δομή κατάστασης σε κώδικα, όπως ένα session object.

Αν η short term μνήμη είναι πολύ μικρή, ο agent ξεχνά γρήγορα σημαντικές λεπτομέρειες. Αν είναι πολύ μεγάλη, αυξάνεται το κόστος σε tokens και κινδυνεύεις να περνάς άσχετες πληροφορίες σε κάθε κλήση.

Τι είναι η long term μνήμη

Η long term μνήμη αφορά πράγματα που ο agent πρέπει να θυμάται πέρα από μια μεμονωμένη συνεδρία

• προτιμήσεις χρηστών, όπως γλώσσα, προτιμώμενος τρόπος απάντησης, επίπεδο τεχνικών λεπτομερειών,
• ιστορικό ενεργειών, πχ ποια tasks έχει ολοκληρώσει για έναν πελάτη,
• σημαντικά γεγονότα ή αποφάσεις που επηρεάζουν μελλοντικές αλληλεπιδράσεις,
• σύνοψη προηγούμενων μακρών συνομιλιών.

Αυτή η μνήμη αποθηκεύεται συνήθως σε

• βάσεις δεδομένων,
• structured storage με πεδία ανά χρήστη ή project,
• vector stores για σύνοψη μεγάλων ιστορικών συνομιλιών.

Η long term μνήμη πρέπει να ανακαλείται επιλεκτικά. Δεν στέλνεις όλο το ιστορικό σε κάθε κλήση στο μοντέλο.

Πώς επηρεάζει η μνήμη τη συμπεριφορά του agent

Η ποιότητα της μνήμης μετριέται από το πόσο

• συνεπής είναι ο agent από συνεδρία σε συνεδρία,
• καταφέρνει να χτίσει πάνω σε προηγούμενη δουλειά,
• αποφεύγει να κάνει τις ίδιες ερωτήσεις ξανά και ξανά,
• περιορίζει τα λάθη όταν η κατάσταση αλλάζει.

Παραδείγματα

• σε έναν εκπαιδευτικό βοηθό, η long term μνήμη μπορεί να θυμάται σε ποια κεφάλαια δυσκολεύτηκε ο μαθητής και να προσαρμόζει τα επόμενα βήματα.
• σε έναν agent υποστήριξης πελατών, η long term μνήμη μπορεί να κρατά ιστορικό προβλημάτων για κάθε λογαριασμό, ώστε να μην ξεκινάς πάντα από το μηδέν.
• σε βοηθό ανάπτυξης λογισμικού, η μνήμη μπορεί να παρακολουθεί ποιες προτάσεις έγιναν δεκτές και να βελτιώνει σταδιακά το στυλ κώδικα.

Σχεδιασμός short term μνήμης

Για τη short term μνήμη χρειάζεται να αποφασίσεις

• πόσα μηνύματα πίσω κρατάς σε κάθε κλήση του μοντέλου,
• ποια metadata από εργαλεία μεταφέρεις σαν context και ποια όχι,
• πότε κάνεις σύνοψη μέρους του ιστορικού για να ελευθερώσεις χώρο.

Πρακτικές

• κράτα πάντα τα πιο πρόσφατα βήματα και όσα είναι κρίσιμα για τη συνέχεια,
• μετά από μεγάλα blocks συνομιλίας, κάνε αυτόματη σύνοψη και αντικατάστησε λεπτομέρειες με πιο σύντομη περιγραφή,
• δοκίμασε διαφορετικά μήκη ιστορικού και μέτρα πώς επηρεάζουν ποιότητα και κόστος.

Σχεδιασμός long term μνήμης

Για τη long term μνήμη χρειάζεται να ξεχωρίσεις

• τι αξίζει πραγματικά να θυμάται ο agent μακροπρόθεσμα,
• ποιος είναι ιδιοκτήτης των δεδομένων και πώς προστατεύονται,
• πόσο συχνά θα ανανεώνονται ή θα ξεχνιούνται παλιές πληροφορίες.

Παραδείγματα δεδομένων long term

• προφίλ χρήστη με προτιμήσεις και ρόλους,
• λίστα από σημαντικά tasks που έχουν γίνει, μαζί με timestamps,
• σύνοψη προηγούμενων projects με σημειώσεις,
• embeddings από παλιές συνομιλίες για μελλοντική αναζήτηση.

Πρέπει επίσης να ορίσεις πολιτική λήθης

• τι διαγράφεται μετά από κάποιο διάστημα,
• ποια δεδομένα ανωνυμοποιούνται,
• πώς συμμορφώνεσαι με κανονισμούς προστασίας προσωπικών δεδομένων.

Κίνδυνοι από κακή διαχείριση μνήμης

Η μνήμη σε AI Agents δεν είναι μόνο πλεονέκτημα. Μπορεί να δημιουργήσει προβλήματα

• διαρροή ευαίσθητων πληροφοριών αν η long term μνήμη δεν είναι σωστά προστατευμένη,
• συσσώρευση λαθών, αν ο agent θυμάται και αναπαράγει παλιά λανθασμένα συμπεράσματα,
• υπερβολική προσαρμογή, όπου ο agent φιλτράρει νέα δεδομένα μέσα από παλιές προκαταλήψεις.

Για να μειώσεις αυτούς τους κινδύνους

• φρόντισε να υπάρχει μηχανισμός διόρθωσης ή διαγραφής λανθασμένων στοιχείων,
• δώσε δυνατότητα σε χρήστες να διαγράψουν το ιστορικό τους,
• κάνε περιοδικό audit στη long term μνήμη, ειδικά σε περιβάλλοντα υψηλής ευθύνης.

Μνήμη και κόστος

Κάθε επιπλέον πληροφορία που περνάς στο LLM αυξάνει το κόστος και τον χρόνο απόκρισης. Για αυτό

• προσπάθησε να έχεις όσο γίνεται πιο σύντομη αλλά ενημερωτική περίληψη,
• χρησιμοποιήσε τεχνικές ανάκτησης από βάσεις ή vector stores αντί να φορτώνεις τεράστιο context σε κάθε κλήση,
• σπάσε μεγάλες εργασίες σε βήματα όπου κάθε βήμα βλέπει μόνο όσα χρειάζεται.

Πώς να ξεκινήσεις με μνήμη σε δικούς σου agents

Αν τώρα σχεδιάζεις agents από την αρχή

• ξεκίνα με προσεκτικά επιλεγμένη short term μνήμη, χωρίς long term αποθήκευση,
• παρατήρησε πού ο agent φαίνεται να χρειάζεται ιστορικό που δεν έχει,
• πρόσθεσε long term μνήμη μόνο για αυτά τα σημεία και όχι αδιακρίτως για όλη τη συνομιλία,
• βάλε από την αρχή μηχανισμούς διαγραφής και ενημέρωσης δεδομένων.