可惜，由于职务所限，张郃总是归他人节制，因而限制了其才能的发挥，也导致他最终的悲剧。
诸葛亮第四次北伐，虽然在战术上获得了一定的胜利，但由于刘禅听信谗言下令退兵，以及粮草匮乏等原因，无法继续作战，最终被迫撤退。司马懿命张郃追击诸葛亮，张郃明确反对：归师勿遏（孙子曰：“归师勿遏，围师遗阙，穷寇勿迫”）。但贯知兵事的司马懿这次却根本不听张郃的建议，强令张郃亲自去追，结果，果如张郃所料，诸葛亮早有埋伏，张郃被飞来的箭矢射中了右膝，阵亡。
张郃之死，很多人认为是司马懿故意为之，是为后来的司马代魏除去一大障碍，做好铺垫。当然，这只是后世的推测。
由于最终的胜利，也由于对司马懿的忌惮，魏明帝最终也没有再追责。司马懿在此战中并不高明，失误不少，还折了大将张郃，却依旧得到厚赏。不过，张郃之死着实令魏明帝悲痛不已。“帝惜郃，临朝而叹曰：‘蜀未平而郃死，将之若何！’”司空陈群曰：“郃诚良将，国所依也。”由这段对话可见，张郃被明帝和重臣们视为国之支柱，他的死，是魏国的重大损失。
