החלקים העיקריים של מערכת הפעלה הם:

1. ליבה - שכבת התוכנה אשר אחראית על הקשר שבין שכבת התוכניות אל שכבת החומרה. היא אחראית גם על תגובה ראשונית לפסיקות חומרה או תוכנה (Interrupt Handling). בנוסף על הליבה לתזמן את כל התוכניות הרצות על המעבד/ים על מנת שכל תוכנית תוכל לרוץ בזמן שנקבע לה, כך שתוכניות לא יישארו "מורעבות" (כלומר - לא יקבלו זמן ריצה) ושתוכניות לא יגזלו לעצמן את כל משאבי המעבד.
2. מעטפת פקודה (Application Programming Interface - API) - נותנת למשתמש הקצה את האפשרות להריץ פקודות של מערכת ההפעלה. בגלל רגישות מערכת ההפעלה לתוכניות זדוניות הרי שרוב הקריאות למערכת ההפעלה עוברות דרך שכבת תוכנה אשר מקשרת את תוכנת המשתמש אשר רצה לרוב ממרחב המשתמשים (user space) למערכת ההפעלה עצמה. לקריאות אלה הן קריאות מערכת (System Calls) והיא מאפשרת למערכת ההפעלה להגן על עצמה ועל החומרה מפני תוכניות אשר מנסות להשתמש בה ובמשאביה בצורה מוטעית, או לצרכים פסולים.