Σε κάδο μίξερ ή μπολ ανάδευσης (ανάλογα με το μίξερ μας) βάζουμε το βούτυρο και τη ζάχαρη, χτυπάμε να αφρατέψει και προσθέτουμε ένα ένα τα αυγά συνεχίζοντας το χτύπημα. Προσθέτουμε τη βανίλια και το ξύσμα λεμονιού.

Χαμηλώνουμε την ένταση του μίξερ σε χαμηλή και προσθέτουμε σταδιακά το αλεύρι και το μπέικιν πάουντερ. Προσθέτουμε τα τριμμένα αμύγδαλα και με τη βοήθεια μιας ματίζ τα ενσωματώνουμε στο μείγμα.

Στρώνουμε το ταψί μας με ένα βρεγμένο χαρτί ψησίματος. Μεταφέρουμε το μείγμα στο ταψί και ισιώνουμε ομοιόμορφα με μια σπάτουλα.

Καθαρίζουμε τα κεράσια και τα κόβουμε στη μέση αφαιρώντας το κουκούτσι τους. Καθαρίζουμε και τα ροδάκινα και τα κόβουμε σε μικρές φέτες.

Αραδιάζουμε τα φρούτα πάνω στο μείγμα του κέικ

Ψήνουμε σε προθερμασμένο φούρνο στους 170 βαθμούς και αέρα στο μεσαίο ράφι του φούρνου για 30-35 λεπτά ελέγχοντας να βγαίνει μια λάμα στεγνή.

Βγάζουμε από το φούρνο και αφήνουμε να σταθεί 5-10 λεπτά

Ζεσταίνουμε ελαφρά το σιρόπι αφροξυλιάς και το χυμό λεμονιού και περιχύνουμε το κέικ.

Μεταφέρουμε σε πιατέλα και σερβίρουμε συνοδεύοντας αν θέλουμε με μια μπάλα παγωτού.