摘星楼三四楼之间并没有完全的隔开，中间很大一部分是上下贯通的，中央有一座将近两丈方圆的雅阁立下顶上，既可以作为承重，又能在其中做清谈论玄或是歌舞雅赏，这样上下两层的宾客便都能欣赏到。
眼下在这三四楼层之间，聚集了园中近半的宾客，相对而言，三楼要比四楼上的宾客多了一倍有余。园中对此倒也没有刻意的安排，但是时人的交际就有那种无形的圈子和规矩，楼上人少有将楼下强请上楼，而楼下的也不会冒冒失失的登上楼去。
彼此之间没有遮拦，楼下人能够清楚的看到楼上情形。楼上的年轻人们，或是家世清贵，或是年少得名，当他们出现在围栏前时，便引起了楼下人的观望品评。而这些年轻人对围观的反应，某种程度上倒也能反应出一些他们的性格。