久之，贝州长史裴肃遣使上书，称：“高飃以天挺良才，元勋佐命，为众所疾，以至废弃；愿陛下录其大功，忘其小过。又二庶人得罪已久，宁无革心！愿陛下弘君父之慈，顾天性之义，各封小国，观其所为：若能迁善，渐更增益；如或不悛，贬削非晚。今者自新之路永绝，愧悔之心莫见，岂不哀哉！”书奏，上谓杨素曰：“裴肃忧我家事，此亦至诚也。”于是征肃入朝。太子闻之，谓左庶子张衡曰：“使勇自新，欲何为也？”衡曰：“观肃之意，欲令如吴太伯、汉东海王耳。”肃至，上面谕以勇不可复收之意而罢遣之。肃，侠之子也。
杨素弟约及从父文思、文纪、族父忌并为尚书、列卿，诸子无汗马之劳，位至柱国、刺史；广营资产，自京师及诸方都会处，邸店、碾硙、便利田宅，不可胜数；家僮数千，后庭妓妾曳绮罗者以千数；第宅华侈，制拟宫禁；亲故吏布列清显。既废一太子及一王，威权愈盛。朝臣有违忤者，或至诛夷；有附会及亲戚，虽无才用，必加进擢，朝廷靡然，莫不畏附。敢与素抗而不桡者，独柳彧及尚书右丞李纲、大理卿梁毗而已。
始，毗为西宁州刺史，凡十一年，蛮夷酋长皆以金多者为豪隽，递相攻夺，略无宁岁，毗患之。后因诸酋长相帅以金遗毗，毗置金坐侧，对之恸哭，而谓之曰：“此物饥不可食，寒不可衣，汝等以此相灭，不可胜数，今将此来，欲杀我邪！”一无所纳。于是蛮夷感悟，遂不相攻击。上闻而善之，征为大理卿，处法平允。
毗见杨素专权，恐为国患，乃上封事曰：“臣闻臣无有作威作福，其害于而家，凶于而国。窃见左仆射越国公素，幸遇愈重，权势日隆，搢绅之徒，属其视听。忤旨者严霜夏零，阿旨者甘雨冬澍；荣枯由其唇吻，废兴候其指麾；所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图；四海有虞，必为祸始。夫奸臣擅命，有渐而来，王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。陛下若以素为阿衡，臣恐其心未必伊尹也。伏愿揆鉴古今，量为处置，俾洪基永固，率土幸甚！”书奏，上大怒，收毗系狱，亲诘之。毗极言“素擅宠弄权，将领之处，杀戮无道。又太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。”上无以屈，乃释之。
其后上亦浸疏忌素，乃下敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一向省，评论大事。”外示优崇，实夺之权也。素由是终仁寿之末，不复通判省事。出杨约为伊州刺史。
素既被疏，吏部尚书柳述益用事，摄兵部尚书，参掌机密；素由是恶之。
太子问于贺若弼曰：“杨素、韩擒虎、史万岁皆称良将，其优劣何如？”弼曰：“杨素猛将，非谋将；韩擒虎斗将，非领将；史万岁骑将，非大将。”太子曰：“然则大将谁也？”弼拜曰：“唯殿下所择！”弼意自许也。
交州俚帅李佛子作乱，据越王故城，遣其兄子大权据龙编城，其别帅李普鼎据乌延城。杨素荐瓜州刺史长安刘方有将帅之略，诏以方为交州道行军总管，统二十七营而进。方军令严肃，有犯必斩；然仁爱士卒，有疾病者亲临抚亲，士卒亦以此怀之。至都隆岭，遇贼，击破之。进军临佛子营，先谕以祸福。佛子惧，请降，送之长安。
仁寿三年癸亥，公元六零三年秋，八月，壬申，赐幽州总管燕荣死。荣性严酷，鞭挞左右，动至千数。尝见道次丛荆，以为堪作杖，命取之，辄以试人。人或自陈无罪，荣曰：“后有罪，当免汝。”既而有犯，将杖之，人曰：“前日被杖，使君许以有罪宥之。”荣曰：“无罪尚尔，况有罪邪！”杖之自若。
观州长史元弘嗣迁幽州长史，惧为荣所辱，固辞。上敕荣曰：“弘嗣杖十已上罪，皆须奏闻。”荣忿曰：“竖子何敢玩我！”于是遣弘嗣监纳仓粟，扬得一糠一秕，皆罚之。每笞虽不满十，然一日之中，或至三数。如是历年，怨隙日构。荣遂收弘嗣付狱，禁绝其粮，弘嗣抽衣絮杂水咽之。其妻诣阙称冤，上遣使按验，奏荣暴虐，赃秽狼籍；征还，赐死。元弘嗣代荣为政。酷又甚之。
九月，壬戌，置常平官。
是岁，龙门王通诣阙献《太平十二策》，上不能用，罢归。通遂教授于河、汾之间，弟子自远至者甚众，累征不起。杨素甚重之，劝之仕，通曰：“通有先人之弊庐足以蔽风雨，薄田足以具餍粥，读书谈道足以自乐。愿明公正身以治天下，使时和岁丰，通也受赐多矣，不愿仕也。”或谮通于素曰：“彼实慢公，公何敬焉？”素以问通，通曰：“使公可慢，则仆得矣；不可慢，则仆失矣：得失在仆，公何预焉！”素待之如初。弟子贾琼问息谤，通曰：“无辩。”问止怨，曰：“不争。”通尝称：“无赦之国，其刑必平；重敛之国，其财必削。”又曰：“闻谤而怒者，谗之囮也；见誉而喜者，佞之媒也；绝囮去媒，谗佞远矣。”大业末，卒于家，门人谥曰文中子。
突厥步迦可汗所部大乱，铁勒仆骨等十余部，皆叛步迦降于启民。步迦众溃，西奔吐谷浑；长孙晟送启民置碛口，启民于是尽有步迦之众。
83书屋：（www.83shu.com）