赵昺的陵墓位于南山赤湾公园附近，北依小南山，南临伶仃洋。据传说，赵昺的尸体在入海后数天漂到了深圳的赤湾村，被当地父老发现并以栋梁制棺装殓，葬于天后庙西山脚处。但具体谁修建了赵昺的陵墓并没有确切的历史记载。

后来，赵宋皇室的后人赵氏族人可能对陵墓进行了修建或维护。在1963年，陵墓被当地驻军的一位炊事员发现，它位于赤湾港的一处山坡上，依山面海。到了上世纪80年代，香港的赵氏宗亲还捐资重修了陵墓，使其焕然一新。

总之，赵昺的陵墓可能经历了多次修建和维护，但具体的修建者可能已无从考证。