但汉朝连海南岛都有些控制不过来，岛上越人叛服不定，昭帝始元五年(公元前82)夏废儋耳郡，并入珠崖，若按照原来的历史走，再过十几年，珠崖也要放弃。
九真日南亦只在郡府县城驻汉吏，地方仍要依靠交趾、林邑人的酋长代理，帝国连这几处都没巩固，只是半推半就收揽了南越国的遗产，对更加蛮荒炎热的东南亚腹地简直是毫无兴趣。
但这并不妨碍探索，叶子世继续说起他们那次远航的经历：“总之，从徐闻南行可五月，天气越来越热。有一天风忽然停了，海中水流也变得平和，在一处岔道，海岸向西，然吾等遥遥望见南方有海岸，便试着航行，结果不知为何，太阳忽然跑带了北边……”
这恐怕是过赤道了，这显然将习惯了太阳偏南的北半球人吓了一大跳，船队不敢再往南，遂转而向西北行，通过狭窄的海道后，