传闻在元代有高人显圣，用一块巨石挡住元兵去路，随后将叁千僧侣，以云做驾，一路护送至拉萨布达拉宫。也正是因为成吉思汗的大将亲眼目睹此情此景，才劝得天可汗尊藏教密宗，让他定下法令，尊藏人为“二等人”，位居汉人之上。
二人寻得此庙，领了喇嘛住持来搬金运银。那住持见此情状，又听得白元青叩头所请，便道：贵派既不贪金银，想的无非是护佑藏地，我如何不允。非但如此，这主持心若磐石，竟将自家寺庙拆去！仅留庙宇叁间，其余六十四根顶梁木一应给了白元青。
时至今日，那文成公主庙那叁件禅房身后的巨崖上，仍然可见当年庙宇鼎盛之姿，足见此言非虚。
白元青见老住持竟扒去自家庙宇取木以资，痛哭流涕，磕头不止。