南越国内部不稳的消息，很快就传到了汉武帝的耳朵里，对于安国少季的无能，他很是不满意，那么强大的匈奴，都被我撵着屁股揍，一个小小的南越国都搞不定，也太有损我大汉朝的威严了。
话虽然是这样说，可汉武帝觉得，毕竟南越王赵兴和樛太后都已决心归顺汉朝了，现在只是一个吕嘉在搅局，也犯不上我兴师动众，估计派点人过去吓唬吓唬，也就搞定了。汉武帝派出了庄参，让他率领两千人马前往南越国。
可没想到，这个庄参有自己的想法，陛下，如果我们是去友情谈判，那几个人就够了。如果想去用武力征讨，那这两千人有什么用哪？所以庄参坚决不去，把汉武帝气的，就罢了庄参的官，另寻他人出使南越国。
大汉朝那么多的人，有不愿意去的，就有愿意去的。有一个叫韩千秋的壮士说了，一个小小的南越国，芝麻大的地方，国王和太后都心属大汉，就一个丞相不老实，只要给我两百勇士，我就能去南越把吕嘉的人头擒来，献给陛下。
汉武帝很欣赏韩千秋，就在公元前112年，汉朝派出了韩千秋和樛太后的弟弟樛乐，让二人率兵两千人前往南越。本来吕嘉也只是一直在策划谋反，还没敢行动，在得知韩千秋的兵马进入南越之后，他决定不等了。
谋反总是要有个理由的，吕嘉向全国宣传，当今的南越国王太年轻了，什么都听太后的，可这个太后还不是什么好人，她不但但是中原人，还和汉朝使者有奸情，她是一心想把南越国送给汉朝。太后为了讨好汉朝，打算把我们先王积攒来的好东西都送给汉朝皇帝，不但这样，她还打算把我们的人带到长安去，把我们南越人卖给汉朝人当奴隶。太后根本就没有把南越国当成自己的家，根本就没有为赵氏和南越国考虑，所以为了南越国，我要造她的反。
这南越国人本来就心向吕嘉，加上太后确实做的不到位，再加上吕嘉这么一忽悠，南越国百姓都成了吕嘉的支持者。吕嘉也抓住时机，和自己的弟弟带兵攻进了王宫，他这次可是没有客气，把赵兴和樛太后都给杀了。当然了，汉朝的使者也未能幸免。
南越王没了，可吕嘉还没有胆子自己坐这个位置，他把赵婴齐的长子，也就是赵兴的哥哥赵建德立为新的南越王，而后把这件事通告给了南越国各个地方官吏，那意思很明确，我这次行动不是为了自己。
这个时候，韩千秋也得道了吕嘉谋反的消息，既然内应已经不存在了，那干脆就打吧。韩千秋就率领军队一连攻下了好几个城镇，之后南越人就更配合了，他们根本就不抵抗，还一路给汉军送去吃的喝的，就这样，韩千秋的两千大军顺利的深入南越腹地，在大军走到距离南越国国都番禺（今广州市）40里地方的时候，南越军民更是加倍的热情主动，他们搞了个突然袭击，韩千秋的两千人马全军覆没。
考虑到汉朝不好惹，吕嘉派人把汉朝使者的符节收拾好，用木匣装起来，还在里面附上一封请罪信给自己辩解，说什么我们是逼于无奈、这都是误会之类的话。估计汉朝人也不好骗，吕嘉又派出了大量军队，驻守在和汉朝交界的边境之上。
这消息传到汉武帝那里，汉武帝被气坏了，这不但一种失败，更是一种屈辱啊。他这时候才明白，自己太轻视这个南越国了，汉武帝马上下令安抚死难者的家属，还发放了抚恤金。当然这样是不够的，他还要集结重兵，要南越国连本带利给我还回来。
就在同一年的秋天，汉武帝征集了一些囚犯和江淮以南的水兵共计十万人，兵分五路去攻打南越国。
这第一路，伏波将军路博德帅军从长沙国贵阳（今湖南境内）出发；
第二路，楼船将军杨仆从豫章郡（今江西境内）出发；
第三路和第四路，任命两个归降汉朝的南越人为将，一个是戈船将军，一个是下厉将军，让他们率兵自零陵（今湖南境内）出发；
第五路，命驰义侯率领巴蜀的囚犯外加夜郎国的军队，从西南出发。
这场战争打的可是不容易啊，南越国足足撑了一年，一直到公元前111年的冬天，楼船将军杨仆才率领人马攻下寻峡，然后攻破石头门，没收了南越大量的战船和粮食。这首关一破，之后就顺利多了，楼船将军的军队趁胜前进，打败了南越国的主力部队，然后就等着另几路大军前来会师。
您没听错，之前的仗都是楼船将军这一路打的，另外四路还都没赶到，不过大家别着急，很快伏波将军的人马就到了，不过只有一千多人。因为伏波将军率领的大多也是囚犯，一方面不好管理，再加上路途遥远，伏波将军害怕耽误大事，这才先带一千人紧赶慢赶的赶到了。
两位将军一商量，目前局面不错，看样子另外三路一时半会也不了，干脆咱哥们先打过去算了。还是楼船将军杨仆在前面，他一路打到了南越都城番禹，赵建德和吕嘉已经等了他很久了。
楼船将军观察了一下地形，他把军队驻扎在番禹的东南面，等到天一黑，他就给番禹城送去了汉朝的光和热，火烧番禹城。这会那伏波将军路博德也到了，他把军队驻扎在番禹城的西北侧，趁着番禹城烧的焦头烂额的劲，派人前往呐喊招降。因为伏波将军名气比较大，大到南越人差不多都知道，他们一则被汉军吓唬一年多了，二则被火烧的心焦麻乱的，再加上天黑看不清对方有多少人马，就顺着伏波将军的召唤声去投降了。伏波将军顺势做大，把来降之人马上给了赏赐，让他们再回去招降别人。就这么一来二去，等到黎明时分，城里已经没有多少守军了。
两路人马进城之后，怎么也寻不到赵建德和吕嘉的踪迹，找几个南越高层一打听，才知道那二位在天亮之前，就带着几百人跑了，路线比较清晰，是乘船沿海往西去的。这还了得，伏波将军下令给我沿路追赶，不久赵建德被伏波将军手下的校尉司马苏弘擒获，吕嘉也没跑多远，被原南越国的郎官给抓了回来。