时曹操正任司空，听到他的名声后，派人召他到府中任职。司马懿时年22岁，正血气方刚，满怀正义，知曹操为一代奸雄，又嫌曹操出身低微，耻为曹操手下，便借口自己患有风痹病，不能起居，婉言谢绝征召。曹操怀疑司马懿有意推托，夜间派刺客去探听虚实。来人把刀架在司马懿的脖子上，作出要刺杀他的样子，但司马懿躺在那里，瞪着两眼，一动不动，像真的风痹病人一样。
网络配图
建安十三年（208年），曹操为汉丞相后，用强制手段，辟司马懿为文学掾。使者临行，曹操交代说：“若复盘桓，便收之”（《晋书宣帝纪》）。就是说司马懿再装病不来，就解决了他。司马懿这才害怕了，只得就职。
此后，司马懿“每与大谋，辄有奇策”。先后升任黄门侍郎、议郎、丞相东曹属、丞相主簿等职。曹操为了恢复北方经济，解决军粮问题，曾苦思良策，司马懿时任丞相军司马，向曹操建议推行包括民屯、军屯两类的屯田制度。曹操行之，结果曹操所统治区域，一时“务农积谷，国用丰赡”。以后成为曹魏制度，并设有专门的屯田官。这也是三国时期唯魏独强的原因之一。
司马懿是一名战略家，自随曹操出战起，他在军事上提出过许多重大的建议，这些建议均显示了他战略上的深谋远虑，有些建议的实施甚至对当时的天下形势发生了重大的影响。如，他曾提醒曹操，说，荆州刺史胡修为人粗暴，南乡太守傅方为人骄奢，都不应该让他们驻守边防，但曹操未予重视。后来刘备袭取汉中，攻占房陵、上庸后，关羽也北攻新野、襄阳，水淹于禁七军，蜀汉一时“威震华夏”。胡、傅二人果然乘机献城降蜀。许都危在旦夕，曹操为避关羽锋芒，一度准备迁都河北。司马懿和蒋济及时劝阻，让他利用孙、刘争夺荆州的矛盾，联络孙权出兵攻取荆州，魏则出兵取汉中、秦川，使刘备首尾不能相顾。由于司马懿的这一建议，于是才有吕蒙偷袭荆州、关羽败走麦城、吴蜀彝陵之战等后事。
司马懿的这次伐蜀主张，不仅挫败了关羽的强大攻势，解除了樊城之围，而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现。更重要的是破坏了孙、刘联盟，蜀国从此势弱，彻底改变了当时的战略格局，掌握了三国的主动权。显示了他作为年轻将领的杰出才能和作为军事战略家的博大胸怀。
曹操用人的原则，具有“既重才，又忌才；既用人，又疑人”的双重性。加之曹操有识人之明，认为司马懿为人，“内忌而外宽，猜忌多权变”。而司马懿的相貌，严整威严，长着一双像鹰一样犀利的眼睛，曹操知其“有雄豪志”（《晋书宣帝纪》）。因此，他对司马懿的猜疑，始终不能释怀。
网络配图
当他听说司马懿有狼顾之相时，就把他召来，先让他朝前走，然后让他回头。司马懿居然能脸朝后旋转90度而身不动。相书上说，有狼顾之相的人，不是奸臣就是国贼。曹操又曾做梦，梦见三马同槽，很犯忌讳，心中始终有疙瘩郁结。就对曹丕说：“司马懿非人臣也，必预汝家事。”于是便想趁早把司马懿解决掉，只是由于曹操太惜才了，迟疑不决，再加上曹丕跟司马懿的关系很铁，多有美言，司马懿才得以幸免于难。
司马懿为曹操所深忌，只能勤勤恳恳地工作，韬光养晦，明哲保身。“于是勤于吏职，夜以忘寝，至于刍牧之间，悉皆临履，由是魏武意遂安”。
曹操进封魏王后，立曹丕为太子，司马懿升任太子中庶子，与陈群、吴质、朱铄同列为曹丕的“四友”。为曹丕所信任和倚重，是曹丕智囊团的关键人物。
建安二十五年（220年），曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然。不久，曹丕威逼汉献帝禅位，想急不可待地受诏时，司马懿建议曹丕谦辞推脱，以示谦卑处下，使曹丕在很大程度上免除天下怨谤，争取了人心，从而巩固了魏国的社会根基。由于司马懿为曹丕“篡汉”出了大力，所以曹丕代汉后，司马懿受封河津亭侯，任丞相府长史，又转为督军御史中丞。参与军事，为曹丕屡出奇谋。
黄初七年（226年）5月，曹丕去世。明帝曹叡继位，遗诏司马懿为顾命大臣，迁抚军大将军，统领禁军，辅佐明帝。改封司马懿为舞阳侯。孙权得知魏文帝去世，于8月出兵攻魏，被司马懿击败，并斩杀吴将张霸。
其后，诸葛亮六出祁山（今甘肃东南部山地），兴师伐魏，明帝对司马懿说：“西方有事，非君莫可付者。”其信任如此。司马懿为人机警而富于智谋，雄豪豁达，心机莫测，狡诈异常，“坚壁拒守，以逸待劳”。诸葛亮深知司马懿的厉害，便派人给他送来“巾帼妇人之饰”羞辱他，激他出战。但司马懿宁可穿上对方送来的女人服装，甘心受辱，也不轻易出战。表面上是弱者所为，但正是司马懿示弱于对方，使诸葛亮这个咄咄逼人的强者，始终处在无可奈何的焦虑中，始终占不到上风，最后壮志未酬，病逝于五丈原。