关于此塔来历，有一段典故，当初建塔，不用青砖，主体建材都是僧人在城外的山峰挖掘山石，然后一块块打磨成砖，再用石砖彻就。
这般过程，千辛万苦，简直非人折磨，非大毅力者不可成。
足足十年光阴，佛塔才建成，因通体保持山石颜色，风雨不侵，岁月难磨，便起名“山色塔”。
山色塔后面，闪出一座山峰。这峰形状有些古怪，椭圆孤直，很突兀地镇在湖面上。
飞来峰。
飞来峰的故事更加玄乎，话说很多很多年前，瘦月湖有蛇妖作祟，兴风作浪，吃人无数。此事被天上的神仙知晓，便扔出一座山峰，破碎虚空，直接将蛇妖镇压住。
那山峰，便是后来的飞来峰。
因为这个故事，陈三郎对飞来峰更感兴趣，站在岸边，端详许久，但不管怎么看，山峰就是山峰，瞧不出什么端倪来。