一入江湖身不由己，赵昺虽然声称要强行离开，但是他知道自己也就是说说而已，闹闹脾气罢了。最后两厢妥协，众宰执同意陛下前往文昌行宫避暑，每日由中书省将一般事宜进行汇编通报给皇帝，重要事项另行呈文请他批阅。这个条件已经很宽泛了，赵昺点头同意。
赵昺虽然想早些离开，但是想动下也是十分繁琐。安全当然是第一位的，首先着令倪亮及刘灵率三营护军和二十多个内侍前去行宫打前站，布置警戒，整理房屋。同时令右军派兵前往文昌负责外围警戒，白沙水军出动船只巡视周边水面，而家里则忙着打点行装，常用的、不常用的，万一用的上都要带上。
既然赵昺还要处理公务，幕僚班子也不能少，便由应节严率队随扈同去。经过五天的准备，选定了吉日，队伍才得以成行。琼州府城距文昌县陆路二百余里，按照正常行军速度也要七天，赵昺考虑从驿道前往各个州县还要迎驾，安排护卫，准备大队人马所需，如此太过扰民。于是决定走海路方便，那样几条船便解决了所有问题，且行船不过一日夜就到，自己也免了劳顿之苦。
八月初六，赵昺辞别太后，在城外码头登上社稷号，随行的只有两条辎重船和五艘龙船。沿南渡江至海口出海后，白沙水军派出二十艘战船护航，经过一天一夜的航行后，次日到达博鳌，在岛南的码头靠岸。说起来这也是他第二次来此了，但上次没有登岛，这里也只有几十户疍民在岛上居住，而这次却热闹许多。
但是当初把避暑行宫建在这里并非赵昺的主意，但是开发博鳌却是他的命令。自入琼以来，连番打了几场大仗，而每次战斗之后都会有大量的伤兵。他考虑到这些伤病多是孤身一人，且许多人会落下残疾难以重新入伍，因而决定在琼州之外选一处风景秀丽之地建立军人疗养院，即可让伤病员在此休养，也可让官兵轮流到此放松疗养，于是便选中了博鳌。
在赵昺前往崖山的时候，应节严便调动辎重军上岛修房建屋。他不知道博鳌在后世的名气如何之大，但上岛选址之时发现此地正处于白泉河与南海的交汇处，不仅水产丰富，且有融山、河、湖、海、岛屿于一体，集树林、沙滩、温泉、奇石和田园于一身的美景；还有绵延长达十数里的海滩，众多造化神奇的岛屿与河汊。于是他也被风景所吸引，想着自己那宝贝徒弟只要不死，府城那所狭小的宫殿肯定是关不住他的，便做主修建了避暑行宫。
赵昺还未上岛便看到了自己的行宫，噗嗤便乐啦！老头也太能搞了，这可能是世界上最独特的宫殿了，分明就是座土楼，像一座巨型碉堡矗立在海岸上。其明显是在糊弄自己是个城里娃，没有见识，在船上还洋洋得意的向自己谝乎，说行宫修建如何奇特，功能如何齐全！
不过老头也说得不算错，登岸后走不过两百步便到了行宫门外，从外表看整个建筑就像一座圆形的大粮囤，占地约有二十亩地。面南背北，建在一个高地之上，循门而入迎入眼帘首先是个半月形的池塘，里边放养着鱼鳖，巧妙的是池塘正建在一个泉眼之上，不需另外引水便可得到充足的水源，即可放眼鱼虾，浇灌花草，还可蓄水防旱、放火，汇聚雨水。