排在凌烟阁二十四位功臣第四位的是魏徵（zhēng），魏徵自幼孤苦贫寒，生活过的穷困潦倒，但他喜欢读书，涉猎广泛，心中有着大志向，早年还曾出家当过道士。隋末天下大乱后，魏徵曾投靠到瓦岗寨李密手下做事，负责为李密书写奏疏，魏徵还曾为李密献上壮大瓦岗的十条计策，但李密没有采纳。
武德元年（618年），王世充击败李密被，魏徵也追随李密归降李唐，而李密的部将李勣还占据着李密原来管辖的地区，李密投降李唐后，李勣自己占据这么大的地方却不知道何去何从。魏徵毛遂自荐，请求安抚山东地区，经过魏徵一番耐心劝导后，李勣决心领兵归顺达唐，然后开仓运粮，接济淮安王李神通。同年九月，夏王窦建德率军攻打相州，李神通抵挡不住，被窦建德击败，魏徵、李神通、李勣等人都被窦建德俘虏，魏徵又转而开始在窦建德手下做事。武德四年（621年），唐高祖李渊派秦王李世民率军攻打王世充，窦建德率军赶来支援，双方经过一番熬战，李世民击败窦建德，将其生擒，魏徵再次加入唐营，太子李建成听说魏徵的名声很大，便邀请他担任太子洗马，待遇优厚。
武德五年（622年），窦建德的旧部刘黑闼勾结突厥进犯山东。魏徵经过一番观察后发现，太子李建成虽然是嫡长子，但是在功绩方面不如李世民，为了帮助李建成弥补军功上的不足，魏徵建议李建成主动请战立功，李建成也听从了魏徵的建议，主动请缨讨伐刘黑闼，并将其擒斩，平定了山东地区。
玄武门政变之后，李世民听说李建成的幕僚魏徵以前经常劝谏李建成和自己作对，还建议太子先下手为强，除掉自己，但李世民素来看重魏徵的才能，此时见他说话直爽，为人坦荡，便将其赦免，重新纳为了自己的幕僚。李世民志在建立大唐盛世，魏徵性情耿直，有治国的才干，从不退缩屈服，便多次在自己的床榻前召见魏徵，李世民与魏徵谈论朝政时，总能接受他的意见。魏徵也为遇到赏识自己的君主而高兴，便把自己心里的想法全部托盘而出。李世民曾经慰劳魏徵说：“你所陈述进谏的事，前后多打二百多项，如果你不是真心报效国家的话，怎么可能这样做呢？”
有一次，唐太宗李世民派人征兵，中书令封德彝上奏说道：“陛下，我们征兵的年龄要求是十八岁，但一些男性虽然年龄尚不满十八岁，但他们的身体也是魁梧壮实的，可一并征过来。”李世民同意了他的意见，但魏徵却坚决反对，李世民大怒，将魏徵召进宫中责备道：“魁梧壮实的那些人，都是一些奸民，他们虚报年龄想要逃避兵役，征召他们有什么不对，你怎么这么固执！”魏徵回答说：“军队主要在于管理和训练，而不在于人多。陛下征召身体壮健的成年男丁，用正确的方法加以管理，便足以无敌于天下，又何必多征年幼的人来增加数量呢！而且陛下总说，朕以诚信治理天下。现在陛下即位没多久，却已经多次失信了呀！”李世民惊愕地问道：“朕如何失信了？”魏徵继续回答：“陛下刚即位时，曾下诏说，所有百姓拖欠官家的财物，一律免除。有关部门认为拖欠秦王府的财物，不属于官家的财物，仍旧要征求归还。现在陛下由秦王升为了天子，秦王府的财物不是官家的又是什么呢？再说，关中地区免收二年的租调，关外地区免除徭役一年，不久后，又颁布敕令说，已纳税和已服徭役的，从下一年开始免除。如果把已经退还黑百姓的税物重新征回来，百姓肯定不乐意。现在是既征收租调，又指派百姓服兵役，那还谈什么从下一年开始免除呢！与陛下共同治理天下的都是地方官员，日常的国家公务都是委托他们办理，但在征点兵员上，陛下却又怀疑他们使诈，这难道是以诚信治国之道吗？”李世民听了魏徵的话后，高兴地说：”以前朕认为你比较固执，怀疑你不通达政务，现在看到你议论国家大政方针，都能切中要害。你说的很对，朝廷政令不一，则百姓不知道怎么办好，那么国家如何能得到治理呢？这么来看，朕的过失很深啊！”
还有一次，有人诽谤魏徵包庇自己的亲戚，李世民派御史大夫温彦博前去查办，结果查无实据，温彦博便向李世民宗奏报说：“魏徵作为一个臣子，平时就应该多约束自己，他是因为不避嫌，才遭受了这些没有根据的诽谤。我们查证后虽然没有私情，但魏徵也应当受到责备。”于是李世民让温彦博代替自己去责备魏徵，并说：“从今以后，做什么事都要留下痕迹。”第二天，魏徵入朝上奏说：“陛下，臣听说君臣一心，就如同一个整体。如果置国家大事于不顾，一味追求在自己做事的行为上留下痕迹，如果君臣上下都这样做的话，那么国家的兴衰就难以预料了。”李世民大惊，脸色大变，说：“行，我知道了。”魏徵又跪下说：“希望陛下让臣做良臣，不要让臣做忠臣。”李世民问：“忠臣、良臣有不同的地方吗？”魏徵说：良臣只让自己获得美名，让君皇帝得到荣耀的称号，荣华富贵子孙世代相传，福禄无边。忠臣则是自身遭到祸患被杀，又让皇帝陷于愚昧、凶暴的境地，最终导致国破家亡，自己只得到一个忠臣的空名。这么说的话，忠臣、良臣相差就远了。”李世民被魏徵的话深深地打动。
濮（pú）州刺史庞相寿因为犯了贪污罪被解除职务，便上表说自己曾经在秦王府供职，李世民是个念旧的人，看到后很怜惜庞相寿，想让他官复原职。魏徵站出来劝谏说：“陛下，以前秦王府的旧僚，现在在朝廷内外做官的很多，臣担心，如果每个人都仗恃着您的偏袒的话，会让那些真正行为端正的人恐惧害怕。”李世民觉得很有道理，便驳回了庞相寿的请求。贞观七年（633年），魏徵代替王珪担任侍中，尚书省存了一些长期积压没有判决的诉讼案，李世民命魏徵处理，魏徵虽然不怎么熟悉朝廷法度，但能抓住根本原则，一举实际情况处理，结果这些搜送案件处理的结果都能让大家都心悦诚服。
后来，太子李承乾平时不学无术，反而魏王李泰获得的宠爱一天天增长，朝廷内外的官员们都有些疑虑和议论。李世民听到后很讨厌这些议论，对身边的侍臣说：“论当今朝臣中忠诚正直的人，没有人能超过魏徵，我派他辅佐皇太子，来杜绝天下的怨言。”于是，李世民便任命魏徵为太子太师，知门下省事如旧。魏徵称病极力推辞，李世民下诏说：“汉朝的太子以四老为辅佐，我现在依靠您，也是这个道理，我知道你患病了，但凭您的本事，您卧病也可以保全太子。”
贞观十七年（643年），眼看六十四岁的魏徵病重，即将不久于人世，李世民闻讯后，亲自到魏徵家中探视，屏退了左右侍从，和他交谈了很久后才回宫。后来，唐太宗李世民带着太子李承乾和嫡女衡山公主（即新城公主）再次到魏徵家中探望病情。魏徵强撑着病体，穿戴朝服，拖着带子出来迎驾，李世民见状，悲从中来、不可断绝，他一边抚摸着魏徵一边流泪，问他还有什么想说的，魏徵说：“寡妇不愁织布的纬线少，而忧虑国家的危亡呀。”李世民将衡山公主许配给魏徵的长子魏叔玉，指着衡山公主对他说：“魏公，来，睁开眼睛看看你的儿媳！”但此时，魏徵已经身体衰弱到无法起身谢恩了。数日后，李世民忽然在夜里梦见魏徵，如同平日里一样，到次日清晨，魏徵逝世的消息已然传到宫中，李世民亲自参加了魏徵的丧礼，痛哭流涕，还专门魏徵废朝五天，命令内外百官与在长安的朝集使一同前来参加丧礼，太子李承乾也在西华堂为他举丧。
贞观十七年（643年）二月，李世民望着凌烟阁魏徵的画像思绪万千，随口吟诗道：“劲条逢霜摧美质，台星失位夭良臣。唯当掩泣云台上，空对余形无复人。”不久后，太子李承乾谋反案发生。功臣侯君集因为参与谋反被处死，中书侍郎杜正伦受到牵连被贬，因为魏徵曾经向李世民推荐过这两个人，说他们有宰相之才，想到这里，李世民开始怀疑魏徵结党营私。魏徵还曾写下自己前后呈给李世民的谏辞，拿给史官褚遂良看，李世民知道了这件事后，愈加不满，于是又取消了衡山公主和魏叔玉的婚约，下令推倒了魏徵的墓碑。贞观十九年（645年），李世民亲征高丽（即高句丽），尽管在战场上取得了胜利，却仍然因为没能灭掉高丽而后悔。大军办事回京之后又想起了魏徵，李世民叹息的说道：“如果魏徵在就好了。“于是召魏徵的家人到行营，给予了赏赐，又命人重新立起了魏徵的墓碑。