司馬懿一度拒絕曹操授予的官職，但建安十三年，曹操任丞相後，強行闢司馬懿爲文學掾。因司馬懿曾支持曹操稱帝，所以逐漸贏得了曹操的信任。
曹操封魏王后，以司馬懿爲太子中庶子以佐助曹丕，幫助曹丕在儲位之爭中獲得勝利。曹丕臨終時，令司馬懿與曹真等爲輔政大臣，輔佐魏明帝曹叡。明帝時，司馬懿屢遷撫軍大將軍、大將軍、太尉等重職。明帝崩，託孤幼帝曹芳於司馬懿和曹爽。曹芳繼位後，司馬懿遭到曹爽排擠，升官爲無實權的太傅。
之前的事情。
曹操當時剛打敗袁紹不久，急需人才，聽說司馬懿很有才幹，便徵聘他出來做官。司馬懿得知消息後，覺得曹操是宦官之後，不願意屈節侍奉他。但他又不敢公開拒絕曹操，便假說自己患有風痹病，起居不便。曹操懷疑司馬懿是有意推諉，祕密派人在夜間查看。
司馬懿事先得到消息，整日整夜都躺在牀上。夜靜更深時，那人潛入司馬懿臥室，然見他直挺挺地躺在牀上。那人仍不放心，拔刀向司馬懿揮去。眼見利刀奪命，司馬懿只是睜大眼睛看着那人，身體依然堅臥不動。那人這才相信司馬懿果真得了風痹病，收起佩刀，回去稟報了曹操。
曹操當了丞相急於網羅人才，就又想起了司馬懿，決定再次徵聘他。他對使者說，如果司馬懿再不應召，就把他抓起來。司馬懿知道，曹操雖然愛才，但對恃才傲物、不肯親附自己的人，卻是不能容忍的。司馬懿害怕被殺，只得乖乖離家應召。
司馬懿還在做曹操的謀臣時，曹操對他極不放心。有一天，曹操作了一個夢，夢見有三匹馬在同一個槽裏喫食，醒來後心中便十分不快。起初曹操以爲是馬超一家便殺了馬超的父親。司馬懿父子正好就是三馬，而“槽”諧音“曹”，“三馬同槽”正意味着司馬氏要喫掉曹氏。
曹操感到這是一個不祥之兆，便把太子曹丕叫來，對他說：“司馬懿不是個甘做人臣的人，將來必定會干預我們的朝政家事。”但曹丕後來十分信任司馬懿，並沒有把父親的話放在心上。
司馬懿晚年寵愛柏夫人，連張春華都很難有機會見到司馬懿。司馬懿生病臥牀，張春華前去探望病情。司馬懿說：“老東西真討厭，哪用得着煩勞你出來呢！”張春華因此羞慚怨恨，於是拒絕進食，想要自殺，她的幾個孩子也都不喫飯。司馬懿驚恐而賠禮道歉，張春華才停止絕食。司馬懿出來後對別人說：“老東西不值得可惜，只是擔心苦了我的好兒子們罷了。”
青龍二年，諸葛亮發起第五次北伐，派兵在魏軍營前叫陣、辱罵、挑釁，但任憑你花招用盡，司馬懿決心不動，仍然堅守不戰。蜀軍叫陣無效，情急之中，諸葛亮派人給司馬懿送去一套女人衣裳以示侮辱，意思是說，你司馬懿如此小心謹慎，只配作女人而不配作將帥。如此羞辱魏軍將帥，魏將確實被激怒了，他們火冒三丈，堅決要求出戰。
司馬懿見勸說或下令以不足以制止衆將求戰，只好告訴衆將，致書表奏朝廷請戰，皇帝允許，就立即出戰。於是，司馬懿給魏明帝送上請戰書，明帝深知司馬懿的用意，立即派衛尉辛毗爲軍師，持詔到陣前，宣稱皇帝有令，只准堅守，不準出戰。
魏明帝問：“往還需要多少時間？”司馬懿說：“去百日，回百日，攻戰百日，用六十天休息，一年時間足夠了。”臨行時親友相送，司馬懿感慨作歌：“天地開闢，日月重光。遭遇際會，畢力遐方。將掃羣穢，還過故鄉。肅清萬里，總齊八荒。告成歸老，待罪舞陽。”
正始二年四月，吳帝孫權分兵四路攻魏：全琮率軍數萬出淮南，諸葛恪攻六安，朱然攻樊城，大將軍諸葛瑾攻柤中。五月，吳將全琮入侵芍陂，朱然、孫倫圍攻樊城，諸葛瑾、步騭侵掠柤中，司馬懿自請出兵往討。朝臣認爲，敵兵遠來攻堅，當待其自破。司馬懿以爲不然。六月，司馬懿統軍增援。他知南方暑熱低溼，大軍不宜持久在此，先派輕騎挑戰，朱然不敢動。於是，便休養土卒。檢選精銳，招募勇士，發佈號令，擺出攻城的架勢。吳軍驚懼，連夜撤退。在三州口（荊、豫、揚三州）爲魏軍追及，吳軍被殲萬餘人，船艦物資損失甚多。而進攻六安、柤中的吳軍亦無功而還。七月，增司馬懿食郾、臨潁，前後共四縣，食邑萬戶，子弟十一人皆爲列侯。司馬懿功勳德望日漸盛大，然而卻更加謙恭。
正始五年春，大將軍曹爽欲立威名，不聽太傅司馬懿勸止，力主伐蜀，魏帝曹芳從之。結果爲蜀前監軍、鎮北大將軍王平所敗，魏軍被阻於興勢，後方也軍糧供應不上，牛馬騾驢大量死亡，蜀涪縣及費禕援軍亦相繼到達。曹爽見不能勝，被迫聽從司馬懿的勸告，於五月率大軍退還。遭蜀軍截擊，魏軍苦戰，始得退回，失散、傷亡甚衆。
正始六年八月，曹爽廢置中壘、中堅營，把兩營兵衆統交他的弟弟曹羲率領，司馬懿援引先帝舊例制止，曹爽不聽。正始七年正月，吳兵入侵柤中，有萬餘家百姓爲避吳兵，北渡沔水，司馬懿認爲沔南離敵太近，倘若百姓奔還，還會引來吳兵，應該讓他們暫留北方。曹爽不同意，說：“現在不能在沔南修城守地，反而讓百姓留沔北，這不是長遠之計。”司馬懿則說：“放在安穩之處所則安穩，放在危險之處所則危險，人與物都是如此。所以兵書上說‘成敗在於形，安危在於勢’。形勢是駕馭衆人的關鍵，不能不審慎對待。假設吳賊以二萬人防守沔水，三萬人與我沔南諸軍對抗，一萬人猛攻柤中，我們怎麼去援救呢？”曹爽不從，驅令還南。吳兵果然擊破柤中，所失百姓，數以萬計。曹爽的行爲不但違背了顧命大臣應有的本分，也使魏國國力衰退，不少有志之士頗感不安，希望太傅主持公道。幷州刺史孫禮就去和司馬懿抱怨，司馬懿安慰他說：“且止，忍不可忍。”
正始八年四月，夫人張氏薨。曹爽用心腹何晏、鄧颺、丁謐之謀，把郭太后遷到永寧宮，一時曹爽兄弟“專擅朝政，兄弟並掌禁兵，多樹親黨，屢改制度”。五月，司馬懿僞裝生病，不問政事。