Καθαρίζουμε τα μήλα και τα αχλάδια, τα κόβουμε σε μικρούς κύβους και τα ραντίζουμε με το χυμό του λεμονιού.

Σε ένα μπολ βάζουμε το αλεύρι με τη ζάχαρη και το ξύσμα λεμονιού.

Σε ένα άλλο μπολ βάζουμε το λιωμένο βούτυρο με το γάλα τη βανίλια και τα αυγά. Με σύρμα κουζίνας ανακατεύουμε να ομογενοποιηθεί το μείγμα. Η διαδικασία αυτή μπορεί να γίνει και σε μια κανάτα ανάδευσης.

Μεταφέρουμε τα υγρά συστατικά στο μπολ με τα στερεά αναδεύοντας με μια σπάτουλα.

Μεταφέρουμε το μείγμα σε μια βουτυρωμένη φόρμα και μοιράζουμε στην επιφάνεια τα κομμάτια των φρούτων και πασπαλίζουμε με την καστανή ζάχαρη.

Ψήνουμε σε προθερμασμένο φούρνο στους 180 βαθμούς και αέρα στο μεσαίο ράφι του φούρνου για 40-45 λεπτά μέχρι μια λάμα μαχαιριού να βγαίνει στεγνή. Προσέχουμε να μην αρπάξει η επιφάνεια, αν χρειαστεί σκεπάζουμε τη φόρμα με αλουμινόχαρτο.

Βγάζουμε από το φούρνο αφήνουμε πάνω σε σχάρα να κρυώσει.

Μεταφέρουμε σε πιατέλα και σερβίρουμε με επιπλέον ζάχαρη άχνη αν θέλουμε.