事实上在魏征刚刚过世的时候，唐太宗李世民还是非常心痛的。最开始没有推倒墓碑而是亲自给魏征写碑文，并且说下了那段流传千古的名句：“夫以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失。朕常保此三镜，以防己过。今魏征殂逝，遂亡一镜矣！”
由此可见魏征在其心中的地位，当然魏征直言不讳的特点多多少少是留在李世民心中的一个梗，最终让他做出了怒砸魏征墓碑的举动，不仅如此，他还取消了魏征长子与自己女儿的婚事，在历史上被称为“停婚仆碑”。造成唐太宗李世民对魏征由此惩罚的事件主要有以下三件：
侯君集作为魏征直接推荐给李世民的著名将领，曾经参与了讨平突厥和征讨高昌国的战役，凭借着自己的赫赫战功，侯君集最终官封右卫大将军。
然而由于侯君集的性格较为孤傲，加之在后期疑似参与废太子李承乾的谋反阴谋，唐太宗在本想饶侯君集一死的情况下，最终因为群臣的劝谏，而将侯君集处死。自己推荐的人最终参与谋反，确实怪不得李世民心生怨念。
杜正伦也是魏征推荐给李世民的人才，官至南阳县侯。后来因为泄露禁中语，而被唐太宗贬谪。
而这件事的细节是这样的，唐太宗在嘱托杜正伦好好教育太子李承乾时曾对他说：李承乾经常会与一些游手好闲的人过于亲密，这导致他没什么好名声，你在平日里要好好劝劝他。
然而当杜正伦苦心规劝之时，李承乾却表示的漠不关心，以致最终忍无可忍的杜正伦告诉了太宗嘱托给他的话。
而后李承乾到唐太宗面前抗辩，使唐太宗知道了杜正伦泄露禁中语的问题。加之朝中一些与杜正伦不和的官员，污告其结党营私。最终杜正伦被唐太宗贬谪远方。
其实从侯、杜两人的经历中我们可以看出，这两位由魏征推荐给唐太宗的人才，在富有才干的同时，其性格也与魏征类似，具有刚正不阿，孤傲不与人亲近的性格，在行事风格上并不会见风使舵，这导致了其在朝中并没有与自己关系很好的同僚，反而树敌很多，遇到错误的时候，容易被众官员落井下石。
魏征在晚年曾经将自己劝谏皇帝的奏折，暗中交给了史官褚遂良。这种行为是希望史官可以真实地记录自己对皇帝的劝诫，从而使后世知道，他是一个直言敢谏，刚正不阿的贤臣。而这一行为却令唐太宗感到不满，毕竟有一些贬低皇帝抬高自己的嫌疑。
以上的这几件事情，确实对魏征在唐太宗心中的地位有所影响。当然，这并不影响唐太宗和魏征这一对君臣之间流芳百世的好名声。在晚年征高丽时，李世民还曾对部下感叹，如果有魏征在，我们也不会像这般狼狈。
