Μέσα σε λιγότερο από δύο χρόνια ο Πάνος Καμμένος είδε την Κοινοβουλευτική Ομάδα των Ανεξάρτητων Ελλήνων να μειώνεται κατά 25%. Συγκεκριμένα, από τους συνολικά 20 βουλευτές που είχαν εκλεγεί με τους ΑΝΕΛ, στις εκλογές του Ιουνίου του 2012, πλέον έχουν μείνει 15, αφού έχουν αποχωρήσει οι Κώστας Μαρκόπουλος, Γιάννης Κουράκος, Γιώργος Νταβρής, Χρυσούλα Γιαταγάνα και Κώστας Γιοβανόπουλος.
Την αρχή στις αποχωρήσεις έκαναν οι Κώστας Μαρκόπουλος και Γιάννης Κουράκος στις 13 Δεκεμβρίου του 2012, όταν ανεξαρτητοποιήθηκαν από την Κοινοβουλευτική Ομάδα του κόμματος και αποχώρησαν. Τον περασμένο Ιούλιο ο κ.Μαρκόπουλος αποδεχόμενος το προσκλητήριο ενότητας -όπως ανέφερε ο ίδιος σε ανακοίνωσή του- από τον Αντώνη Σαμαρά για την ανασυγκρότηση της χώρας με πρωταγωνιστή μία ενιαία και ισχυρή κεντροδεξιά παράταξη, επέστρεψε στη ΝΔ.
Η τρίτη αποχώρηση ήρθε στις 14 Ιανουαρίου 2014, με τον βουλευτή του νομού Αχαΐας Γιώργο Νταβρή να διαγράφεται από την Κοινοβουλευτική Ομάδα των Ανεξάρτητων Ελλήνων μετά από πρόταση του προέδρου του κόμματος.
Σήμερα με επιστολή τους παραιτήθηκαν από την ΚΟ των ΑΝΕΛ οι Χρυσούλα Γιαταγάνα και Κώστας Γιοβανόπουλος.