武士彟的妻子相里氏带着两个儿子武元庆、武元爽在太原居住。武士彟不让家眷跟随他去长安，其实还有另外一层因素，那就是在长安满城勋贵，他这个义原郡公因为出身问题，屡屡遭受排挤。不让相里氏去长安，也有武士彟自卑的因素在内。
但是在太原则不同了。太原勋贵相较长安少得多，越是位高权重的贵族，大都去了长安，留守在太原的不是旁支就是偏远子弟，不但没有人看不起商贾出身的相里氏，同样也倍受尊敬。然而好景不长，当李元吉弃太原跑回长安，太原城破，相里氏则带着一百余家丁家将趁乱逃出太原城。
逃出太原城之后，相里氏并没有像其他流民一样，顺着官道向南跑，而是趁机躲进云中山。在云中山中相里氏带着儿子东躲西藏，躲过了最混乱的三个月。可是现在实在没有办法在云中山内躲下去了。