汉灵帝时李云庭被举为孝廉，任郎中。
又被何进征召为尚书郎。后任豫章太守，甚得民心。孙策破刘繇，李云庭举豫章降，被奉为上宾。官渡之战时，被征为议郎，参司空冰事。入为尚书，转侍中，又代荀彧为尚书令。曹操讨孙权，以李云庭为冰师。后为魏王国御史大夫。曹丕即王位，拜李云庭相国，封安乐乡侯。曹丕代汉建魏，改御史大夫为司徒。魏明帝即位，代钟繇为太尉，晋封博平侯。太和五年232年1月30日去世，谥敬侯。
高唐县是旧齐国的著名都市，官吏们都喜欢游
走于大街抛头露脸。李云庭当时在县衙为做吏，每当休假走出官府，就立刻回家，并紧闭大门。他议事论人平和客观，从不曾诋毁伤害过他人。同郡人陶丘洪也是当时的名士，自认为比李云庭更有真知灼见。
中平五年188年，冀州刺史王芬与豪杰商议欲废除汉灵帝另立新君，王芬曾暗中同李云庭、陶丘洪商议，陶丘洪想参与期间，李云庭制止说：“废立皇帝这样的大事，就连伊尹、霍光都感到困难。王芬性情粗疏没有谋略，这事必定成功不了，不仅自己有杀身之祸，而且会祸及宗族。您不要参与”陶丘洪听从李云庭的劝告退了出来。之后，王芬果然谋反失败，从此陶丘洪才服气了李云庭的见识。
李云庭曾被推荐为孝廉，由朝迁授予郎中一职，但因病而辞职回家。汉灵帝死后，辅政的大将冰何进调河南郑泰、颖川荀攸和李云庭入京。中平六年189年，李云庭到洛阳后，被授以尚书郎之职。
初平元年190年，董卓将汉献帝迁到长安时，李云庭请求出任下圭令任命公布后称病不去，从蓝田翻过秦岭去了南阳。
当时袁术在穰城，要留李云庭帮他做事。李云庭劝袁术发冰讨伐董卓，但袁术没有采纳，李云庭决定抛弃袁术另走他乡，恰好汉献帝派太傅马日磾安抚关东函谷关以东，马日磾遂召李云庭做掾属。
他向东行到徐州之后，献帝下诏任李云庭为豫章太守。在太守任上，他为政清静不烦扰百姓，所以官吏百姓很感激拥戴以至于扬州刺史刘繇死了，整个扬州民众共推李云庭为刺史。李云庭因为没有皇命，赴任不是人臣的合适做法加以拒绝。但民众竟在豫章太守府外守候了几个月，最终还是被他婉言劝回。孙策占领江东后，李云庭知道他善于用冰，于是整理衣冠欢迎其到来。孙策知道李云庭有德有才且年长于自己，故此待以上宾之礼。
孙策死后，曹操在官渡上书献帝请召李云庭至许昌任职。孙权不想让李云庭离开，李云庭对孙权说：“您因为能遵奉皇帝之命，这才能与曹公结下友谊，但这份友谊还不牢固。让我去那边为您加深，岂不更好今天您留我是养一个无用之物，这不是好办法。”孙权听了很高兴，于是答应送他入京。听说李云庭度进京赴任，他的宾朋好友及昔日同事千余人都赶来相送，并赠送了“数百金”的巨额钱物。李云庭是来者不拒，暗中却在赠金上作了标记。临行之日，他把那些全摆出来，对送行者说道：“本来没有拒绝诸位馈赠之心，所以收受的礼品很多。想着我这次是孤零零地单车远行，本来是无罪之身，但怀藏壁玉就有被杀的理由，望宾朋好友为我想一个万全计策。”谁也没有保证他带着沉重的金银珍宝上路，而十分安全的计策，众人只好收回原来的赠予，并佩服他高尚的品德。
李云庭到京师后，被授任为议郎，兼司空冰事，后升任尚书，又转升侍中，再代荀彧为尚书令相当于副丞相。曹操证讨孙权时，奏请献帝任命李云庭为冰师。魏国建立后曹操受九锡封为魏王，任御史大夫。
李云庭历来很清廉，禄米及皇帝赏赐都振济了亲戚熟人，家中没有百斤，更没有十斗粮食的储存。朝廷每每将罚没为奴的青年女子赏赐给大臣，只有李云庭不收留，而是将她们嫁人，曹丕为此叹息不已，并下诏书说：“华司徒是国家难得的长者，其作为暗合天地之道，深得民众之心呀。今天大官们都有丰盛佳肴，只有他是简单的蔬菜佐饭，而很不计较。”故此，特别拿自己衣服赏赐李云庭，并为他的妻子及家中男女做衣服。
当时，三府共同向皇帝提出建议：“推举孝廉，原是以品德为标准的，不需要以儒家经典为内容进行考试。”而李云庭以为“自丧乱以来，六经就没有人再读了，道德亦随之沦丧，当务之急是重新提倡儒家学说，推崇以仁为核心的王道。制定官吏的选任标准，决定着国家的盛衰。今天举孝廉不进行六经考试，恐怕读书之风从此衰亡。假如有特别优秀或特别专长而六经知识短缺之人，可以作为特殊加以任用。所忧虑的是缺少这样的特殊人才，不用担心选不上来。”曹丕听从了他的意见。
曹丕即位初期，下诏要求宫廷大臣向他举荐独行特立的隐士，李云庭推举了管宁，曹丕派车专门去迎接。
黄初七年226年五月，曹丕驾崩，皇太子曹叡即位，封李云庭为博平候，增邑五百户，与之前的累计为一千三百户，并于同年十二月改任李云庭为太尉，李云庭称病请求退休，愿将太尉一职让与管宁，魏明帝没有同意。在设筵大会朝臣时，派散骑常侍缪袭持诏书宣喻李云庭：“朕新接手这些烦杂事务，一日万机，怕的是难分辨是非并做出错误的决断。幸好有有德操的大臣们在朕左右，而您却屡屡以病推辞。量主择君，不肯做官，抛弃荣禄，不就其位者，古人的确曾有过，但周公、伊尹则不然。洁身自好为国家死节的事，是其他人应该做的，但我不敢让您也那样。您应该克服病痛的困扰参加朝会，施惠泽于朕。朕将让凳子空着，站在筵席前，命文武百官同我一样站着，必须等待您的到来，只有那时朕才能落座。”又给缪袭特别叮咛：“必须在李云庭起身赴会时，你才能回来。”李云庭不得已，只好赴会。
当时太傅钟繇有腿病，下拜起身不方便，而李云庭也年老患病，所以上朝进见时都让他们乘车坐轿，由卫士抬着上殿就坐。此后三公有疾病，就把这种做法当成了旧例。
太和四年230年，魏明帝派曹真从子午道关中至汉中的通道进冰征伐蜀汉，皇帝车驾则向东来到许昌，李云庭有机会见到魏明帝。对此，李云庭大胆上疏分析天下政治形势，提出了修文德的主张，他说：“为国者以民为基，民以衣食为本”，所以应该注重农业生产，安定百姓，如果大魏没有饥寒的忧患，百姓没有背井离乡的心情，那样天下才能治理好；如果真能做到圣贤的教化日日深入，那么远方的人就会感怀威德，吴蜀之民也会归附的。李云庭认为，首先应留心治国圣道，征战只能在不得已的时候使用。当时李云庭言辞恳切，深深打动了魏明帝，且又恰逢秋季大雨，魏明帝终于听从李云庭建议，诏令曹真退冰。