Ο πρίγκιπας Φίλιππος ήταν γενικά προσεκτικός όταν μιλούσε για τα παιδιά του και τις σχέσεις τους. Εκτός από την περίπτωση του πρίγκιπα Άντριου και της Σάρα Φέργκιουσον.
Μιλούσε με πραγματική αγάπη για τις κόρες τους, Βεατρίκη και Ευγενία, αλλά δεν κρατούσε κρυφό το γεγονός ότι θεωρούσε τη δούκισσα της Υόρκης, Σάρα Φέργκιουσον, «απλά απαράδεκτη».
Μια μέρα το καλοκαίρι του 1992, ενώ εκείνη έμενε στο Μπαλμόραλ με τη βασίλισσα Ελισάβετ και τον πρίγκιπα Φίλιππο, ξαφνικά ξέσπασε σκάνδαλο, με πρωταγωνίστρια την ίδια. Εμφανίστηκαν σε μια καθημερινή εφημερίδα φωτογραφίες με την ίδια να είναι γυμνόστηθη, με τον εραστή της να της γλείφει τα δάχτυλα των ποδιών, στη Νότια Γαλλία.
Ο δούκας του Εδιμβούργου αποφάσισε ότι, από την πλευρά του, το ποτήρι είχε ξεχειλίσει. Δεν ήθελε να έχει καμία σχέση μαζί της. Εξάλλου, ούτε την είχε καμία ανάγκη.
Για το υπόλοιπο της διαμονής της Σάρα Φέργκιουσαν στο Μπαλμόραλ, οι πράξεις του μίλησαν πιο δυνατά από ό,τι τα λόγια του. «Ήταν γελοίο. Μόλις έμπαινα μέσα από μια πόρτα, θα έπεφτε πάνω από τα σκυλιά για να βγει από την άλλη. Ήταν πολύ αστείο. Εκτός, φυσικά, απ' το ότι δεν ήταν», είπε η Σάρα Φέργκιουσον στον συγγραφέα Gyles Brandreth, όπως αναφέρει ο ίδιος σε άρθρο του στην Daily Mail.
Μετά τον χωρισμό της Σάρα Φέργκιουσον από τον πρίγκιπα Άντριου, η βασίλισσα Ελισάβετ συνέχισε να πίνει τσάι μαζί της κατά καιρούς. Αλλά ο πρίγκιπας Φίλιππος ήταν αποφασισμένος: δεν είχε καμία επιθυμία να τη δει ξανά. Αυτό το γνώριζε η Σάρα και ήταν κάτι που την πονούσε. «Φυσικά θέλω να τον δω», είπε στον συγγραφέα μετά το διαζύγιό της. «Είμαι η μητέρα των εγγονών του στο κάτω-κάτω». Ο πρώην πεθερός της έβλεπε τα παιδιά της και εγγόνια του συχνά, αλλά μία δική τους συνάντηση δεν είχε κανένα νόημα.
Όταν ο πρίγκιπας Φίλιππος ρωτήθηκε γιατί δεν ήθελε να ξαναδεί τη Σάρα, είπε: «Δεν είμαι εκδικητικός, αλλά δεν βλέπω το νόημα». Το γεγονός ότι ο πρίγκιπας Άντριου και η Σάρα Φέργκιουσον παρέμειναν φίλοι μετά τον χωρισμό τους και ότι έμεναν στο ίδιο σπίτι ακόμη και μετά το διαζύγιό τους του φαινόταν «πραγματικά παράξενο». «Δεν προσποιούμαι ότι το καταλαβαίνω», είχε πει ο πρίγκιπας Φίλιππος.
Η Σάρα Φέργκιουσον, ωστόσο, συνέχισε να προσπαθεί να εξομαλύνει τη σχέση τους. Για τα 80ά γενέθλια του πρίγκιπα Φιλίππου, του έστειλε ένα σετ με πιάτα και μαχαιροπήρουνα. Εκείνος της έστειλε ένα ευχαριστήριο σημείωμα, υπογράφοντας «Με αγάπη από τον Pa».
Ο πρίγκιπας Φίλιππος και η Σάρα Φέργκιουσον ήταν τελείως διαφορετικοί χαρακτήρες. Εκείνη ξέρει περισσότερο από τον καθένα ότι το να καταπιέζεις τα συναισθήματά σου δεν είναι καλό. Μάλιστα, όταν ήταν νεότερη, ρωτούσε τις κόρες της αν ήταν θυμωμένες και τις έβαζε στη μέση του Sunninghill Park να ουρλιάξουν. Κάτι που έκανε συχνά και η ίδια.
«Τις κάνω να φωνάζουν. Λένε “μαμά, δεν μπορούμε” και τους λέω “γιατί όχι; Ποιος θα ακούσει; Ουρλιάξτε», είχε πει η ίδια η Φέργκιουσον.
Η προοπτική να συναντήσει την πρώην νύφη του να φωνάζει στη μέση του Sunninghill Park θα μπορούσε να ήταν ένας από τους λόγους για τους οποίους ο δούκας του Εδιμβούργου αποφάσισε να την αποφεύγει μετά τον χωρισμό της από τον πρίγκιπα Άντριου.
Θεωρούσε τη συστολή αρετή, και τον αυτοέλεγχο ως χαρακτηριστικό που πρέπει να θαυμάζεται. «Η συμπεριφορά της ήταν λίγο περίεργη», είχε εκμυστηρευτεί για την πρώην νύφη του στον Gyles Brandreth.
Το 2011, την εβδομάδα των 90ων γενεθλίων του, το Oprah Winfrey Network στις ΗΠΑ δημοσίευσε το «Finding Sarah», μια τηλεοπτική παραγωγή έξι επεισοδίων, στην οποία η πρώην δούκισσα της Υόρκης μοιράστηκε τα δάκρυα και τον πόνο της με έναν ψυχίατρο και εκατομμύρια τηλεθεατές.
Ο πρίγκιπας Φίλιππος δεν συντονίστηκε να την παρακολουθήσει. Είπε ότι ήταν υπέρ της «αυτογνωσίας», αλλά εναντίον της «ατελείωτης ενδοσκόπησης που φαίνεται να είναι τόσο διαδεδομένη αυτές τις μέρες».