אירוסמית' הוקמה ב- 1970 בידי ג'ו פרי וסטיב טלאריקו, שנפגשו כשעבדו בדוכן גלידה בסאנאפי, ניו המפשיר. פרי וטלאריקו (שהיה בימים ההם מתופף בלהקת Chain Reaction), צירפו אליהם בסיסט, טום המילטון, וגיטריסט שני, ריי טבאנו, שהוחלף תוך זמן קצר בבראד וויטפורד, חבר לשעבר בלהקת Earth Inc. את התמונה השלים המתופף ג'ואי קריימר ועד סוף השנה הפך טלאריקו לסולן. בהרכב זה עברה הלהקה לבוסטון.

בשנתיים הראשונות לקיומה של הלהקה חלקו החמישה דירה משותפת, וניגנו כמעט כל ערב באזור בוסטון, כשהם מבצעים גיחות לניו-יורק. את דרכם המוסיקלית החלו אירוסמית' (שם חסר משמעות, לדעתם, למרות שבשנות השלושים היה סרט בשם זה) עם סגנון ששילב רוק קשה, רית'ם-אנד-בלוז ובלוז. הראשון שגילה אותם היה קלארק דייוויס, שצפה באחת מהופעותיהם במועדון "Max’s Kansas City" המפורסם בניו-יורק (המקום שבו מילצרה דבי הארי מלהקת בלונדי ושבו פגש דייוויד בואי את לו ריד ואיגי פופ). דייוויס התלהב והחתים אותם ב- 1972 בחברת התקליטים "קולומביה". באותו זמן שינה סטיבן טלאריקו את שמו לסטיבן טיילר.
שני אלבומיה הראשונים של הלהקה, אירוסמית'  ו-Get Your Wings, זכו להצלחה מקומית, אך לא משכו תשומת לב רבה מחוץ לבוסטון, פרט לכך שסטיבן טיילר וגיטריסט הלהקה ג'ו פרי תוייקו בעקשנות בידי העיתונות ככפילי מיק ג'אגר וקית ריצ'ארדס מלהקת הרולינג סטונז.
בינתיים החלה הלהקה להופיע בארה"ב באופן אינטנסיבי ולצבור קהל מעריצים, כשהם מחממים להקות כגון הקינקס, Mahavishnu Orchestra ואחרות. התמונה החלה משתנה ב- 1975, עם צאת אלבומה השלישי של הלהקה, Toys in the Attic, ועם צאת הסינגל עם הבלדה "Dream On", שהופיעה כבר באלבום הבכורה והפכה ללהיט עם הוצאתה מחדש. בשלב זה ביססה כבר אירוסמית' צליל רוקי כבד וחלקלק, שהונע על ידי ריפי בלוז פשוטים. במקום לדבוק ביומרנות של לד זפלין או במיסטיות העגמומית של בלק סאבאת', הפשיטה אירוסמית' את הרוק הכבד לצורתו הבסיסית ביותר, ונפטרה מריפים מיותרים, עד כדי הפיכת הצליל לרקיד. גם מילות השירים של טיילר היו מלאות הומור ומשמעויות כפולות, שלא היו אופייניים לשירי הרוק הכבד האחרים של אותה תקופה. "Walk This Way", הסינגל האחרון מטויז אין דה אטיק, שהיה מלא ברמיזות מיניות, היה לשירם השני שהגיע לעשרת הגדולים. הוא יצא בסמוך לאלבומם הבא של אירוסמית', Rocks מ-76'. עם צאתו של Rocks, הגיעה הלהקה לגבהים חדשים, אמנותית ומסחרית. אלבומיה הגיעו לפלטינה וסיבובי הופעות שלמים שלה נמכרו מראש.
אולם ההצלחה לא נמשכה זמן רב, וב-1977 עם צאת האלבום Draw the Lines החלה הלהקה להראות סימני תשישות. האלבום הגיע למקום 11 במצעדים, ובנוסף, חוסר היציבות וכמות הסמים שנצרכה על-ידי פרי וטיילר (שכונו "The Toxic Twins", התאומים הרעילים), הביאו לכך שביבי ביואל, אם בתו של טיילר, הסתירה ממנו את העובדה שנולדה לו בת באותה שנה. הבת, לימים כוכבת הקולנוע ליב טיילר, גדלה במחשבה שאביה הוא הזמר והמפיק טוד רנדגרן.
בשנת 78' השתתפו חברי ארוסמית' בסרט "מועדון הלבבות השבורים של סרג'נט פפר" (בכיכובם של הבי.ג'יז), בביצוע לשיר "Come Together" של החיפושיות. בסוף השנה הופיע אלבומם Live! Bootleg, וב- 79' יצא האלבום Night in the Ruts. ההצלחה האדירה, סיבובי ההופעות הממושכים והשימוש היומיומי בסמים קשים הביאו לריבים ולחיכוכים פנימיים, שהביאו לדעיכת הלהקה. ב-1979 עזב פרי את הלהקה, ובעקבותיו פרש ב-1981 הגיטריסט בראד וויטפורד. פרי הודה כי פרישתו הייתה קשורה בחילוקי הדעות שהיו לו עם טיילר. הוא הקים את ההרכב The Joe Perry Project, ווויטפורד הקים עם הגיטריסט טד נוג'נט את הלהקה The Whitsford-St. Holmes Band. לא וויטפורד ולא פרי זכו להצלחה רבה עם ההרכבים שניגנו בהם לאחר עזיבתם את אירוסמית' .
טיילר, המילטון וקריימר צירפו אליהם שני גיטריסטים חדשים, ג'ימי קרספו וריק דופיי, אך חוסר ההצלחה נמשך עוד בשני אלבומים נוספים: אלבום להיטים שהוציאה הלהקה ב- 1980, והאלבום שהוציאה ב-1982, Rock in a Hard Place. האלבום, שבו הקליטה הלהקה לראשונה ללא פרי ווויטפורד, ושיצא לאחר שלוש שנים של הפסקה, הגיע אמנם למקום ה- 32 במצעד, והביא ללהקה בהדרגתיות קהל אוהדים חדש, אך לא הצליח לשחזר את ההצלחה לה זכתה אירוסמית' באלבומים קודמים.
ב- 1984 התאחדו מחדש חברי ההרכב המקורי, לאחר שנפגשו מאחורי הקלעים של אחת מהופעות הלהקה. הם החלו בסיבוב הופעות בשם "Back in the Saddle". באחת ההופעות מתחילתו של הסיבוב, התמוטט טיילר על הבמה וסיפק בכך הוכחה ניצחת לכך שהוא, כמו שאר חברי הלהקה, לא כבש את ההתמכרות המפורסמת שלהם לסמים ולאלכוהול. בשנה שלאחר מכן הוציאה אירוסמית', בהרכבה המקורי, את Done with Mirrors, שהיה גם האלבום הראשון שהוציאה הלהקה בחברת התקליטים "גפן".
האלבום, למרות שהצליח אף פחות מ- Rock in a Hard Place, יצר את התחושה שהלהקה חוזרת לעניינים. למעשה, הייתה זו הגרסה המחודשת שיצאה ב- 1986 לשירם של אירוסמית', "Walk This Way", שבוצעה בידי להקת הראפ ראן די.אם.סי, ושבה השתתפו טיילר ופרי, שעוררה מחדש את תשומת לב הציבור ללהקה. שיתוף הפעולה הזה, פרי דמיונו של המפיק ריק רובין, היה למעשה הפעם הראשונה שבה מוסיקת ראפ ומוסיקת רוק הלכו יחד שלובות זרוע, וכל הנוגעים בדבר רק הרוויחו מהחיבור. "Walk This Way" הפך ללהיט, שודר ללא הפסקה ב- MTV, ופתח עבור הלהקה את הדלת לקאמבק ענק.
האלבום Permanent Vacation שיצא ב-1987בהפקתו של ברוס פיירבורן, הציג את הלהקה בפני דור מעריצים חדש והגיע למולטי-פלטינה, כשהוא מניב שלושה להיטים:  "ראג דול", "Dude (Looks Like A Lady)”, ו-"Angel”. ב- 1989, הגיע אלבומם Pump למקום החמישי במצעד ונמכר בלמעלה מחמישה מיליון עותקים. מתוך האלבום יצאו הלהיטים "Love In An Elevator”, ו-"Janie’s Got A Gun", שיר שרמז על גילוי עריות אשר זכה בפרס הגראמי ב-1990 כהופעת רוק הטובה ביותר. ההצלחה עודדה את חברת "קולומביה" לשדל את אירוסמית' לחזור ללייבל, ולהציע ללהקה חוזה לארבעה אלבומים, בשווי של כ- 30 מיליון דולר, ו- 22 אחוזים מהרווחים. אירוסמית' חתמו על העיסקה, למרות שהחוזה עליו היו חתומים ב"גפן" חייב אותם לשני אלבומים נוספים.                                                                                                    

על מנת לסגור את התחייבותה לחברת גפן, הוציאה הלהקה ב-1993 את אלבומה Get a Grip, שטיפס למקום הראשון במצעדים עם להיטי הענק "Living On The Edge", "Cryin”, ו-"Crazy”. מלבד המוסיקה, עיקר הצלחתם של שלושת הלהיטים הללו היה בקליפים שלהם, סרטים עלילתיים קצרים ויפים שהכירו לעולם את אדוארד פורלונג, אלישה סילברסטון, וליב טיילר, בתו של סטיב.  מייד אחרי Get a Grip יצא אלבום האוסף, Big Ones, שהגיע לפלטינה כפולה. ב-12 ביולי 1994 הופיעה הלהקה בתל אביב, בפארק הירקון. 

חמש שנים אחרי שחתמו על החוזה עם "קולומביה", הוציאו אירוסמית' בחברה את אלבומם הבא Box of Fire, אוסף של 12 דיסקים, שהגיע לזהב מייד עם צאתו ב- 1995. למרות גילם המתקדם והעובדה שהיו כעת חסידים של חיים פיכחים ללא סמים, לא זנחו אירוסמית' אף לרגע את דימוי הילדים הרעים שדבק בהם, והופעותיהם באותה תקופה היו הטובות ביותר של הלהקה, הפעם גם על דעת המבקרים.
ב- 95' החלה הלהקה, תחת החוזה החדש של "קולומביה", להקליט את אלבומה Nine Lives. במהלך הקלטתו החליפו אירוסמית'  מספר רב של מפיקים ושל כותבי שירים, עד שהתפשרו על קווין שירלי. בזמן העבודה על האלבום גם פוטר מנהל הלהקה, טים וואלינס, האיש שהיה אחראי לחזרתם של אירוסמית'  לאור הזרקורים. בסמוך לפיטוריו, יצא וואלינס בהאשמות נגד טיילר על השימוש החוזר ונשנה שלו בסמים קשים, האשמות שנדחו בתוקף על ידי הלהקה. נסיבות אלו הקשו על תהליך העבודה על האלבום, וכשיצא לבסוף Nine Lives ב- 97', הוא לא הפך ללהיט כמו קודמיו, ונדמה היה שהלהקה נמצאת שוב בשקיעה.
אך עם התקרבות המילניום, המשיכה הלהקה לבנות לעצמה קהל מעריצים חדש, ולשלול בכך את את ההגיון האומר כי ילדים אינם יכולים להזדהות עם בני ארבעים השרים המנוני נעורים. ב- 1998 הוציאו אירוסמית'  אלבום הופעה בשם A Little South of Sanity, והקליטו ארבעה שירים, כולל הלהיט "I Don’t Want To Miss A Thing" לפסקול הסרט "ארמגדון", בו השתתפה ליב טיילר לצד ברוס וויליס. השיר, שנכתב על-ידי עושת הלהיטים דיאן וורן, השיב את אירוסמית' לפסגה, והפך לסינגל המצליח ביותר של הלהקה מזה 25 שנה. בשנת 2001 הוציאה הלהקה את אלבומה Just Push Play, שיצא בתזמון צמוד ומדויק עם כניסת הלהקה להיכל התהילה של הרוקנ'רול.

בשנת 2002 הוציאה הלהקה את !O Yeah, אוסף להיטים כפול, בתוספת שיר חדש, "Girls Of Summer".