李渊第二桩烦心的事情就是李建成的势力越来越庞大了，随着泾州总管薛万彻和庆州总管杨文干随李建成远征河东，在李渊的授意下，李建成快速扩充军队，杨文干与薛万彻二人的部曲已经突破了三万。
如果算上陈应节制的五万余人马，再加上幽州总管、燕国公李（罗）艺，麾下的数万军队，此时李建成可以直接指挥的军队超过了十数万人马。这些人马与李世民统领的人马不同，这些地方军队，不比十六卫。也就是说，李渊哪怕一封圣旨，不见得会比李建成的太子令好使。
这就违背了李渊弱枝强干的初衷。特别是李建成向他请旨，调幽州总管罗艺入关，这让李渊感觉非常为难，万一陈应、薛万彻、杨文干、李艺四人合兵一处，李建成就可以统帅十数万大军。这给李渊一种脱离掌控的感觉。