他寻思着杨过多半是到了桃花岛上，当即弄了一只小船，驶到桃花岛来，白天不敢近岛，直到黑夜，方始在后山登岸。他自知非郭靖、黄蓉二人之敌，又不知黄药师不在岛上，寻思就算自己本领再大一倍，也打这三人不过，是以白日躲在极荒僻的山洞之中，每晚悄悄巡游。岛上布置奇妙，他也不敢随意乱走。
如此一年有余，总算他谨慎万分，白天不敢出洞一步，踪迹始终未让郭靖、黄蓉等人发觉，却也一直没有找到杨过。直到一日晚上听到郭芙自言自语，才知郭靖已送杨过到全真教学艺之事，当即偷船离岛，赶到重阳宫来。不过杨过拜方志兴为师，少有到终南山之时，终南山上知道他的更是没有几人，欧阳锋自然也难以探到消息。