במרוצת השנים, חבורת האקס-מן ידעה מספר תהפוכות ושינויים בהרכב. החל מחמשת החברים המקוריים (סייקלופס, ג'ין גריי, אייסמן, חיה ואנג'ל), דרך הקמתה מחדש של הקבוצה (שכללה את סייקלופס, סטורם, וולברין, קולוסוס, נייטקרולר, גמביט, רוג ושאדווקט), הצטרפותם של חברי צוות בלתי צפויים (כדוגמת נבלי-העל מגנטו, מיסטיק, סייברטות', ג'אגרנוט ואמה פרוסט) ולשתי התפלגויות הקבוצה לתתי-קבוצות - הפילוג הראשון עוד בשנות ה-90 של המאה ה-20 בין סייקלופס לסטורם לאחר קרב על מנהיגות, ופילוג שני בשנת 2011 בין סייקלופס לוולברין עקב חילוקי דעות פילוסופיים בלתי ניתנים לגישור.

לצד חבורת האקס-מן פעלו קבוצות מוטאנטים נוספות כדוגמת "אקס פורס" של קייבל ולאחר מכן וולברין, "אקס פקטור" של סייקלופס, האבוק ולאחר מכן המשוכפל, "אקסקליבר" של קפטן בריטניה, "Generation X" של באנשי ואמה פרוסט, ו"המוטנטים החדשים" בהנהגתה של מיראז'. בני בריתם של האקס-מן כוללים את דמויותיהם של ספיידרמן ודדפול, סוכנות S.H.I.E.L.D וקבוצת גיבורי-העל האוונג'רס (אם כי לאחרונה נקלעו שתי הקבוצות למחלוקת בקשת הסיפור אוונג'רס נגד אקס-מן של שנת 2012).

מבין קבוצות נבלי-העל שהופיעו במשך השנים נמנות "אחוות המוטאנטים" ו"השוליות" של מגנטו, "המשוטטים" של מיסטר סיניסטר, "מועדון הלפייר" בראשותו של סבסטיאן שו, "המורלוקים" בראשותה של קאליסטו ולאחר מכן סטורם, "פרשי אפוקליפס" של אפוקליפס, "אקס-מן האפלים" של נורמן אוסבורן, "הבוזזים" של דונלד פירס, ו"המטהרים" של הכומר ויליאם סטרייקר.