他也曾和不久前招揽的吴璘配合一起北伐金国收复了不少失地，并坚决反对割地，因为反对割地所以虞允文被贬到四川，在他的治理下四川平稳发展，军政焕然一新。
后来金国再次挑起战事，宋孝宗这才后悔了，他决心重新启用虞允文再次北伐。
可这一次虞允文这坚决的主战派在获得启用后第一件事不是北伐，而是发展国力。他说想要打仗必须要做好准备，先发展财力和兵力，不然北伐又会像上一次一样无疾而终。
于是虞允文开始了他的种田生涯。
他改良军政，打造骑兵，发展经济，扩增水军。
一两年过去了，宋孝宗见他还不开打，顿时急了，催促虞允文北伐。因为朝廷内其他派系都反对北伐，唯有虞允文是主战派。
虞允文说想要打赢绝对不是短时间的事，我们还要继续发展啊！
于是虞允文又兴修水利、轻徭薄赋、增强兵力、筹备军粮。
又过了两年，宋孝宗说我们可以北伐了吧。
虞允文摇头，还是不够，我们还是不够强，还要继续发展，然后他又继续大力发展军队。
宋孝宗于是又等，又等啊等。
某一天，他忽然收到消息，虞允文操劳成疾累死了。
死了？
宋孝宗傻眼了。
他感觉自己受到了欺骗，虞允文你这个骗子答应朕一起北伐的呢，你怎么偷偷累死了。
气急败坏的宋孝宗都不愿给虞允文追谥，也不给累死的虞允文封官封爵，态度极其冷漠。
但直到他不久后去巡查虞允文训练的军队后才怅然，因为他发选拔虞允文训练的军队纪律严明，强健勇武，原来他是真的在为北伐而用心准备。
这时宋孝宗才给与虞允文追谥太师，赐谥“忠肃”。