高允文是渤海人，与前朝四贵之一的高颖是同族。
他在隋朝时为千牛卫司射掌御，这是一个可以跟随皇帝的高级侍从武官，也是传说中的大内侍卫，而且高允文还是一个拿着弓箭的侍卫。不过随着杨广将高颖削职为民，高允文的这个六品司射官也在大业七年被免掉，不过他大业十三年的时候，重新被启用，成为了骁果军御前直后。
后来他跟庞玉投降李唐，被调任东宫右卫率副率。算是升了三级。有道是物以类聚，人以群分，高允文和庞玉一样，都是军人的楷模。他虽然不满陈应这种站着茅坑不拉屎的行为。不过，陈应毕竟是李渊颁圣任命的右卫率将军，他就算不满，也不敢发泄出来。
十一月二十三日，在陈应接到圣旨的第三天，陈应总算去右卫率的衙门。就在陈应抵达右卫率衙门的时候，东宫右卫率府节堂内，只有高允权一个人。