那玄宗皇帝面有自得之色，诏谓曹霸曰：“曹爱卿，就此一展绝技如何?”曹霸遵命，展开素绢，面向玉花骢怔忡思索良久。随即动笔，仅片刻工夫，一挥而就，一匹神气活现的玉花骢便展现在众人眼前。细观之，竟如天上神马，世上所有凡马也难与匹敌。
玄宗皇帝吩咐将曹霸画的玉花骢画像安放在御榻上，一时之间庭前庭后竟是两匹玉花骢，真假难辨。群臣、后妃啧啧称奇、交口称赞，圉人、太仆目光呆滞、惆怅失色，玄宗皇帝呵呵大笑、龙颜大悦。
此刻那皇帝老儿一半是着实高兴，一半也是爱才心切。于是乘兴说道：“曹霸听封，曹霸修缮凌烟阁功臣像有功，念其实有文武全才，今国家正是用人之际，封曹霸为左武卫将军，赏千金，以资靡费，着曹霸即时入班听候调度，不得有误”。
若是常人逢此大喜，必是心花怒放，喜上眉梢。然而那曹霸却郁郁寡欢、如丧考妣。当即下跪启奏道：“启奏皇上，臣本山村野夫，草芥之人，并未识些许礼数，狂野不羁已成习惯。且又文不能安邦定国，武不能克敌制胜，仅区区一涂鸦之技，实乃雕虫小技是也，万万不可当此重任，恳请皇上收回成命。”不料那唐玄宗竟不同意，笑而不答，扬长而去。
那曹霸哪是当官的料啊?没多久，就被废为庶民。为什么呢?原来曹霸生性刚正不阿、狂放不羁，既不懂巴结上司，也不会团结下属。在洛阳一年，竟然一次也没有去拜访那“炙手可热势绝伦”的国舅爷杨国忠。即便朝堂相逢也作觌面不见、熟视无睹。这怎么行呢?要知道，那奸相杨国忠可是对所有朝臣拥有生杀予夺的权利的。
果不其然，杨国忠使人暗中调查曹霸的隐私。曹霸的那一幅写着“富贵与我如浮云”的未完成的作品，被搜罗到了。正所谓“欲加之罪，何患无辞”。杨国忠便向上参了他一本，说他“蔑视皇权，亵渎皇恩，孤芳自赏，刚愎自用，冒犯天威，罪不可赦。”
那唐玄宗见大舅子说得怒形于色，口沬飞溅。也不好拂了大舅子的意思。于是，曹霸被削官剔职，废为庶人。
公元755年，安史之乱爆发。杜甫为了逃避战乱，带领一家老小，几经周折、辗转来到成都，得到朋友们的帮助，终于暂时有了一间小茅屋可以栖身。
一日，杜甫外出访友。行至一桥头处，见一衣衫褴褛、瘦骨嶙峋的槽老头子，在那里架着画册为行人写生。倒是没有什么生意，却在那一个个地央求。杜甫将他仔细瞧看，觉得很是面善，但却想不起来。
一经相询，原来是曹霸。俩故人相见，感慨万千、悲不自胜。原来那曹霸不甘弃故主而事奸佞，那安禄山曾几次派人要他前去就职，曹霸都不答应。心中又怕安禄山再来纠缠，因此带领家小来此逃难。
途中历经沧桑磨难，家人不是病故，便是离散，只落得一人一身寄居此地。迫于生计，与人画像弄些许银两，不料都是些庸俗之辈，并不识货。只落得个寅吃卯粮、箪瓢屡空，生活迥迫不堪。空自一生本领，常常遭人翻白眼。杜甫见此，唏嘘不已，却因己身也是一贫如洗，却也无可奈何。遂引领曹霸去认识几个昔日好友，相互周济，糊口度日。
想那曹霸一身的本事，却落得个穷困潦倒，衣食不周的地步，真个叫人不得不深思。正应了杜甫的那一句话“但看古来盛名下，终日坎壈缠其身。”
