Năm 1865, Nguyễn Văn Siêu – một nhà văn hóa lớn của Hà Nội – đã đứng ra sửa sang lại toàn cảnh khu này. Trên núi Độc Tôn ở bờ phía Đông, ông cho xây một tháp đá mà đỉnh là hình ngọn bút lông. Trên thân tháp có tạc ba chữ Tả Thanh Thiên có nghĩa là viết lên trời xanh. Có bút tất phải có nghiên. Đi qua Tháp Bút tới Đài Nguyên: Một cửa cuốn trên có đặt một cái nghiên bằng đá tạc theo hình nửa quả đào. Qua Đài Nghiên là đến cầu Thê Húc có nghĩa là “ nơi đậu lại ánh sáng mặt trời ban mai”. Đầu cầu bên kia là Đắc Nguyệt Lâu (lầu được trăng) tức cũng là cổng đền Ngọc Sơn. Đền có ba nếp nhà chính. Nếp ngoài là bái đường, nếp giữa là nơi thờ Văn Xương, Quan Vũ và Lã Tổ, nếp sau là nơi thờ Trần Hưng Đạo. Trước mặt bái đường là Trấn Ba Đình (đình chắn sóng). Xa trông, góc Tây Nam hồ là gò Tháp Rùa, tháp chỉ mới có từ cuối thế kỷ XIX, thực ra không có giá trị gì về lịch sử cũng như nghệ thuật song do đã đứng đó một thế kỷ nên thành thân thiết với mọi người ngày nay.