Công chúa Thiệu Ninh đời Trần xây dựng chùa này ở đất Tây Quan; trong chùa có nhà hương hỏa thờ bà sinh mẫu là Ưu Bà Di Thiên Huệ. Bắt đầu khởi công từ tháng 11 năm Tân Dậu. Đến tháng 12 năm Nhâm Tuất hoàn thành. Thái tử thiêm sự tước Trung Tĩnh thượng hầu, đặt tên chùa là Từ Ân, để tỏ lòng không quên gốc vậy
Ngày 23/5 năm Đồng Khánh thứ nhất (tức ngày 22/6/1886), quyền Kinh lược sứ Bắc Kỳ Nguyễn Trọng Hợp đã ký nghị định về việc thành lập tỉnh Mường. Lúc này, tỉnh Mường đặt tỉnh lỵ tại phố Chợ Bờ, thuộc địa phận tổng Hiền Lương, châu Đà Bắc, do đó, nhiều tài liệu gọi đơn vị hành chính mới này là tỉnh Chợ Bờ.