Cụm di tích đình, đền, chùa Cầu Muối nằm trên địa bàn xóm Cầu Muối, xã Tân Thành được xây dựng từ năm 1719 vào thời Hậu Lê, đời Vua Lê Dụ Tông. Cụm di tích gồm: Đình Cầu Muối thờ Thành Hoàng làng Cao Sơn Quý Minh Đại Vương (tức Dương Tự Minh), một danh tướng đã có công giúp vua Lý chống giặc Tống xâm lược; đền Thượng thờ Mẫu Thượng Ngàn và đền Công Đồng thờ Mẫu Liễu Hạnh; chùa Cầu Muối thờ Phật. Trong cuộc kháng chiến chống thực dân Pháp năm 1950, Đại đoàn 308 đã chọn nơi đây làm nơi đóng quân. Trong cuộc kháng chiến chống đế quốc Mỹ xâm lược, Sư đoàn 304 cũng chọn nơi đây làm công tác huấn luyện, phục vụ chiến trường miền Nam.
Nghi thức rước kiệu tại Lễ khai hội Đình, đền chùa Cầu Muối, xã Tân thành (Phú Bình).
Với những giá trị lịch sử trên, năm 2005, cụm di tích Đình, đền, chùa Cầu Muối được công nhận là Di tích lịch sử cấp tỉnh. Hằng năm, vào ngày mùng 4 tháng Giêng âm lịch, nhân dân trong vùng lại tưng bừng tổ chức Lễ hội đầu Xuân với nghi lễ rước kiệu, dâng hương và các hoạt động văn hóa, văn nghệ, thể thao nhằm tưởng nhớ công lao của các anh hùng đã có công đánh đuổi giặc ngoại xâm, bảo vệ Tổ quốc; cầu cho mưa thuận gió hòa, mùa màng tốt tươi. Lễ hội thu hút hàng nghìn lượt người dân địa phương, du khách thập phương đến dâng hương, làm lễ.