俗话说："皇帝也有两门穷亲戚。"之所以富贵已极的皇帝家也有穷亲戚，一则是因为皇帝尤其开国皇帝大多起自微末，也曾经穷过，比如说这个隋文帝杨坚，他对于自己的亲戚那是哭笑不得。当时登基以后，不忘先人，只要是自己的亲戚都给予他们一些大大小小的官职，希望他们能够不为生活所困，对于母亲这一边的亲戚，也是苦苦寻找，如果还有在世的，希望能够尽尽孝心。
当年，杨坚在成功灭亡后周建立隋朝后，追封自己的母亲吕苦桃为元明的皇后。吕苦桃是泰山脚下的一名农村女子，她与杨坚父亲杨忠的结合，是在六镇起义爆发后杨忠流亡之时，而之后的杨忠继续在沙场上奋战，终于建功立大业，得到了天下权势，为杨坚的称帝立下坚实基础，使得杨坚能够登基为帝。
当了皇帝的杨坚，不忘先人，追尊父亲杨忠为武元皇帝，生母吕苦桃为元明皇后，同时一直派人寻找吕氏宗亲，"遣八使巡省风俗"（《隋书·高祖纪》）。巡省风俗，就包含寻找吕苦桃的族人，他想给这个家族一定的回报。经过苦苦追寻，隋炀帝终于在济南找到了吕苦桃当年的两位族人，隋文帝是欣喜若狂，赶紧派人将这二人接到长安。
在朝堂上，当杨坚看到舅舅、表兄弟后，又想起母亲，情绪十分激动，拉着舅舅的手哭了一场，以示不忘血脉亲情。按理说，外甥哭得鼻涕一把泪一把的，当舅舅的也该表示一下，挤出几滴眼泪来才对。可是吕道贵一拍大腿，抬头就叫："是谁家的种儿（指杨坚），别人偷不去，太像我苦桃姐啦！种末定不可偷，大似苦桃姊（《隋书·高祖纪》）。"一时间竟恍得大家无比尴尬。
隋文帝琢磨着自己舅舅这边一直在农村，没有文化，直率粗鄙，也可以理解，尽管内心有些尴尬不悦，但也没有怪罪他不敬重皇帝一事，依旧是赏赐给了吕道贵许多金银珠宝。后来找个机会，给了他一个济南太守的官职，打发他赶紧回老家上任去了，以此远离朝廷。后来的吕道贵在济南依旧肆意妄为，直到济南郡被废除后，他才无所事事地就此老死了。