他原本想要投在其门下效力，看此情景，便感到不悦，于是向杨素进言道：“明公身为朝廷的重臣，不思笼络豪杰，挖掘人才，而专以倨傲示天下贤士，实在令人难以苟同！”

当时杨素一听这话惊讶异常，心想这个无名之辈，居然敢在这里口出狂言，真是太放肆了！

本要动怒喝斥，然而转念想到自己的身份与地位，懒得与他计较，随口问了几个问题，考较一番，若没有真才实学，杨素就打算让人乱棍打出去了。

然而，李靖自幼便饱读诗书，精于天文地理与兵法韬略，通晓天下治乱兴国的道理，还练就一身好武艺，侃侃而谈，从当今局势谈到治国安邦之道，见解精辟独到。杨素听了频频点头，对其颇为赞赏。

那时候，红拂女正站立在杨素的身旁，她看李靖身躯伟岸，英姿勃发，神态从容镇定，英爽之气充溢于眉宇之间，又谈议时政，见解非同一般，实在是个英雄人物，红拂女虽然识人无数，但还从没有见过这样的人物，不禁对他十分倾慕。

只不过杨素此时权势达到了鼎盛，已经没有多大抱负了，所以对李靖并不重视，推荐了一个功曹的小官，也没有提拔重用过，在军中只待了一年多，李靖就被调到监门军内当直阁殿长了。

而红拂女，却因为欣赏李靖，暗中女扮男装曾夜里去过他的房宅，跟他秉烛夜谈，随着去的次数多了，二人的感情自然加深。

李靖看出大隋盛世背后的危患，心中又对仕途感到渺茫，投报无门，于是曾提出二人一起离开京城的打算，远走高飞，红拂女的确动心了，只不过，因为她的背后，牵扯到了南陈旧贵势力，她无法马上脱离出去，所以，她让李靖再等她一段时间，等时机成熟，安排好后路，再一起离开京城。