孙权这般对待于禁意图很明显，想通过他体现并巩固当时魏吴两家的友好关系。虞翻的做法更清楚，决不允许投降的人还继续享受尊荣，那样会让忠君拼死之人作何感想!但虞翻当着孙权的面这样说，孙权的面子肯定下不来。
还有一次，在孙权做吴王后的欢宴上，宴会接近尾声，孙权亲自起身依次斟酒，虞翻趴在地上装醉，不端酒杯;孙权离开后，虞翻又坐了起来。孙权因此非常愤怒，抽出剑来就要劈杀他，陪坐的人无不惊惶失措，只有大司农刘基起身抱住孙权劝谏说：“大王因酒过三巡之后亲手杀死有德士人，即使虞翻有罪，天下人又有谁清楚知道?况且大王因为能够海纳贤能并容留普通之人，所以天下人才望风归附，如今一旦丢弃这些，值得吗?”孙权盛怒难消，在刘基的一再劝说下，虞翻才免于一死。
正因为如此，虞翻先是官职被降，最后被流放到交州。好在这个人有天生豁达的一面，在流放交州时收徒讲学，还为一些古籍训注，一直活到七十岁。
说虞翻这个人是个狂士，主要是说他的与众不同，他最后一次被贬是在近六十岁的时候，这在古人已是比较高龄了。孔子说“五十知天命”，虞翻早已过了知天命的年龄，他应该知道孙权已经听不进容不得不同声音，但他还是要去争。因此可以说，所谓三国狂士，虞翻最是无辜。祢衡之狂在于，明明想要求官，却想着人家会跪下来求他;许攸之狂在于，把功劳当做对人的救命恩情，不知道他的功劳人家已经封赏，而他还认为人家不把江山还给他这恩情就报不完;廖立之狂在于，国家的人事和已经发生的大事一无是处，原因仅仅是不重用他。而虞翻呢?除了性格上的粗疏直率，再加上不和世俗苟同，剩下的也就是犯言直谏不给帝王留面子之类的事情了，就是说，事情做得虽然有些粗糙，但并没有多大过错。所以只能说，是孙权容不下人。有书籍记载说，孙权曾经想让虞翻出使许都，虞翻不去，怕的是让朝廷(曹操)留下，后来曹丕当皇帝，还在魏国专门为虞翻设了一个座位，不知道虞翻在曹氏父子手下，会是一个什么样子?!
