鬼市其实在很早以前就有，不过成为专门古玩交易场所，还是从清朝开始。
当年清兵入关，成为当时的统治者，但是随着时间的延续，战事渐消，许多贵族后代每日走鸡斗狗，沦为纨绔子弟，家道日渐败落，管理日渐萧条，家人们敛旧家当换钱花，借着天黑偷偷摸摸上“鬼市”去。
后来，那些纨绔子弟也无钱度日，就把家里的老辈留下的宝贝拿去换钱花，去当铺怕丢脸，就把宝贝拿到“鬼市”卖钱。还有的收破烂的，收到大户人家的东西，或者是收到偷来的东西，同样赶到“鬼市”变钱。
由于这个市场一般是晚上或者天没亮前的早上，在一片空旷的地上进行来历不明（或者通过不法手段得到）的货物交易的市场。而且这样的交易经常处于黑夜里进行，天长日久、一来二去，爱起外号的人就给这个市场取了一个形象的称呼“鬼市”。