杨素作为统一南北作战的主要将领之一，立下了重大军功，事后论功行赏，奖品包括一个绝世美人——陈后主的妹妹乐昌公主。
乐昌公主以其美貌和贵族气质很快赢得杨素的专房宠爱。
然而有天，杨素却发现美人失去了往日的神采，眉宇间总透出一股无法掩盖的忧伤，疑惑之下杨素追问事情原委。不问不知道，一问吓一跳，原来，公主的前夫找上门来了。
原来，陈朝亡国之前，乐昌公主的原配丈夫徐德言就早早预料到国家命途多桀，早做准备，他与妻子做了一个约定：以夫人之才貌，倘若国亡你必然流落到权豪之家，那时你我恐怕会永远分离，倘若我们缘分未绝，还有机会相见，应该有一个信物。
信物，即是一面打破成两半的铜镜，夫妇俩各执一半。
事后，果如徐德言所预言的那般，陈朝亡国，美貌的皇族乐昌公主被作为战利品送到长安，并被隋文帝赐给功臣杨素，而徐德言则侥幸逃过兵灾，捡了一条命在。
但是，夫妻俩恩情未绝，徐德言流离失所，历经千难万苦，终于从江南来到隋都长安，并按照事先约定的方式以那半面铜镜与乐昌公主的家奴对上了号。乐昌公主得知此事，且喜且忧，喜的自然是前言未忘，夫妇仍有团聚的可能，忧的是侯门一入深似海，越公杨素家的高墙大院阻隔了两颗依然相恋的心，怎么办?难道跟杨素直言了吗?以他对自己的宠爱，知道自己心里还记挂着别人，男人身上易见的嫉妒之心会不会让他一怒之下杀了徐德言?公主辗转反复，不敢如实向杨素说明，只得偷偷哭泣，数日不食。
就在公主心里忐忑不安之际，性情男子杨素却做了件她料想不到的事：听完故事后的杨素不但没有生气，反倒是动情地怆然改容，他立刻让人召来徐德言，令其与公主相见，然后赐宴，在宴会上当堂宣布，将乐昌公主送还徐德言，顺道还赠送了大量财物。
故事的最后，她与徐德言偕老于江南老家，“破镜重圆”遂如最圆满的童话一般，成为千百年来最为人们津津乐道的故事之一。唯一让人稍感遗憾的地方是，故事背后那个成人之美的杨素，如大多数做好事不留名的人一般，往往被人忽略。
顺便一提的是，隋文帝宠爱的宣华夫人也是乐昌公主的亲姐妹之一，但她显然没有乐昌公主的好运气，碰得到杨素这样的男人，她在隋文帝还没死透的时候就遭到杨广的性骚扰，隋文帝死后的当夜更是立刻被杨广霸占，不久羞愤而死。
第二个与杨素挂钩的故事便是大名鼎鼎的“风尘三侠”传说。“从来女侠出风尘，早知李靖是英雄”的红拂女在故事里原本也是杨素的人，不过她慧眼识英雄，居然主动连夜私奔投靠了白天到越公府上拜见过杨素的李靖。
在故事原始出处《虬髯客传》里面，红拂女是背着杨素偷偷投奔李靖的，他们一见面便感到情投意合，因担心被追捕很快化妆逃出长安。但是红拂女讲的一句话却很关键：“诸妓知其无成，去者众矣。彼亦不甚逐也。计之详矣，幸无疑焉。”杨素对逃跑的姬妾居然不怎么想追回来，由此，我们姑且认为杨素半是被动半是自愿想成人之美的吧!
前两个故事让明代的冯梦龙对杨素大加赞赏：“不追红拂妓，放乐昌，俱越公大豪杰事!”
第三个故事相比前面两个故事，也许没那么有名，但杨素慷慨豪迈、提携后辈的豪情却比上面两个故事来得更淋漓尽致的展现。
与杨素同朝为臣的李德林有个聪明英俊的儿子，叫李百药，他七岁能文，被喻作神童，前途本是一片光明，可惜在成长道路上却犯过一件大错，差点前程尽毁甚至可能丢掉性命，但是幸运的是，他碰上了杨素。
李百药有天色迷心窍，夜入杨素家后院，跟杨素的小妾通奸，结果被杨素来了个捉奸捉双，人赃俱获。以杨素当朝第一号红人之权势，李百药本该是死无葬所了，没想到杨素看到年未二十的李百药仪神俊秀，风度翩翩，好一副玉树临风的少年郎模样，心下暗自赞赏，有心要放其一马，于是跟他提了个条件：“闻汝善为文，可作诗自叙。称吾意，当免汝死。”当即给李百药松绑，并送来纸笔。李百药也不含糊，当场唰唰唰写了一首文采飞扬的长诗以献。
杨素看了一下“答卷”，赞赏不已，立即履行前约，让他走人，非但如此，杨素还顺手将那个与李百药通奸的小妾送给他，成其好事;更叫人目瞪口呆的是，不问罪、送人，杨素还兼当起了慈善家，送给俩人数十万钱财做礼金。
不久之后，李百药更被授予隋朝礼部员外郎的官职，而这一任命，正是杨素大力向隋文帝推荐的结果。
被人捉奸在床，非但没有遭到惩罚，还得到美女和巨额钱财，还当上了高官，估计李百药做白日梦也梦不到有如此好事了。
古时帝王，后宫佳丽三千以至上万，甚至数万，有时为了表示一下大方，也会将一些人老珠黄、容貌抱歉的宫女送出宫外，奖赏给有功将士。但是如杨素这般，将最宠爱最绝色的女子转手送人，甚至在被戴了绿帽后仍能不计前嫌，不做惩罚慷慨送人，实在是少见中的少见，甚至可称极品了。
而且作为历史人物，这种成人之美的事只要有一桩就足以令人敬佩了，但杨素居然一口气成就了三段锦绣良缘，如果再加上下文嫁侄女予封德彝一事，那杨素一共为后世创造出了四段爱情佳话，这个记录恐怕是前无古人后无来者的了。
奖掖后进
除了频送美女，成就几段爱情佳话外，杨素还以其罕见的识人眼光，接连赏识提拔了很多后辈新人。
由于虬髯客的故事过于诡异离奇，故此跟这个故事相关的红拂女是否真实存在一直受到后人的质疑，但是不管怎么说，由于有成人之美的先例，即便红拂女的故事只是人们臆造的一段传说，杨素不爱美人识英雄的做法确实是深入人心的，所以故事的背景不会发生在别人身上，只能发生在杨素身上。
真实历史中，“风尘三侠”主角之一的李靖年少时确确实实曾得到过杨素的格外关照。李靖乃是与杨素并列隋朝四大名将的韩擒虎之外甥，有这层关系，李靖从小就有很多机会与包括杨素在内的前辈见面。时任左仆射(相当于左丞相)的杨素尽管暗地里一直嫉妒跟自己同列的其他三位名将，但对后辈的李靖却非常看好，曾手抚自己的座位对李靖道：“你这小子，前途无量，将来早晚是要坐我这个位置的!”
