杨大眼有个幸福的家庭。他的妻子潘氏色艺双全，也是个“善骑射”的女中豪杰。她给杨大眼生了三个儿子，个个虎头虎脑，“咸有父风”。杨大眼早年在东荆州镇压少数民族叛乱时，潘夫人思念丈夫，曾专程到前线探亲。杨大眼让她换上军装，和自己出双入对，并驾齐驱，或冲锋陷阵，或狩猎游玩。回到军中，杨大眼也不让她避嫌，叫她和自己并肩坐在军帐中，当着同僚和部下的面要么谈笑风生，要么大秀恩爱。杨大眼经常得意地指着她对部下说：“此潘将军也!"
可是潘将军在杨大眼被发配到边关期间，竟然耐不住寂寞，“颇有失行”，在洛阳给杨大眼戴了几顶绿帽。杨大眼官复原职后得知此事，先将她幽禁逼审，最后不顾三个儿子求情，怒杀潘氏。杨大眼带着一股邪火领兵出征，由于战事不利和心底窝火，他一改爱兵如子的习性，对部下“喜怒无常，捶挞过度。”清楚杨大眼心性大变原因的同僚和部下，只能摇头叹息。士兵们被打得敢怒而不敢言，把杨大眼恨到骨子里，故意消极应战。
战后，杨大眼“娶继室元氏。”他把对潘氏的仇恨延续到三个儿子身上，得知元氏怀孕时，他把三兄弟叫到面前，指着元氏的肚子说：“你们给老子记住!我死后，我所有的官爵都由你们这个还没出世的弟弟继承!没你们几个荡妇养的儿子什么事儿!从今天起死心吧，别惦着老子的任何东西!”
三兄弟都遗传了杨大眼的暴脾气，被杨大眼训得“深以为恨”，暗中起了反叛之心。杨大眼在荆州病逝后，三兄弟护送灵柩回京城安葬。离京还有七里时，他们故意拖延到天黑，在郊外安营扎寨。半夜时分，三兄弟闯进宿营地，逼迫继母元氏交出杨大眼的官爵证书。元氏一口咬定不知道，三兄弟一怒之下撬开杨大眼的棺材，把老爹拉出来乱翻一气，依旧一无所获。三兄弟恼羞成怒，索性令手下抱着杨大眼的尸体，率部一起直奔襄阳，投靠梁武帝萧衍。
杨大眼在战场上叱咤风云，无往不胜。可是，他不能正确处理家庭矛盾，不问青红皂白，以极端方式处死潘氏后，继续把三个儿子当仇人敌视。续弦后，杨大眼又很脑残地在儿子和继母之间制造矛盾，导致自己死后被儿子们挟尸叛投南梁，背叛了自己为之奋斗了一生的祖国，遭遇到最大的羞辱。杨大眼如果地下有知，应该痛悔：沙场拼杀，你死我活，理应所向无敌。妻儿老小，血肉相连，岂能如此无情?!
