Ông sinh ra tại làng Phi Liệu, Vụ Bản, tỉnh Nam Định. Từ nhỏ, ông đã say mê âm nhạc và từng bỏ nhà đi theo gánh hát xẩm để học nhạc. Năm 14 tuổi, ông trở thành diễn viên trong một gánh hát chèo, tuồng ở Nam Định, đồng thời dạy đàn. Ông có khả năng chơi thành thạo nhiều loại nhạc cụ dân tộc như đàn nhị, nguyệt, tam, tỳ bà, tam thập lục... và thuộc nhiều làn điệu chèo, tuồng, cải lương, quan họ, ca trù, ca Huế... Ông đã tập hợp một số nghệ sĩ thành lập Ban quốc nhạc tại Hà Nội để quảng bá âm nhạc dân tộc, tuy nhiên ban nhạc sau đó đã tan rã.
Sau Cách mạng tháng Tám, ông tham gia biểu diễn cùng các gánh hát tuồng chèo. Năm 1950, ông cùng Tam Lang, Văn Thuật và một số thương gia thành lập Hội chấn hưng chèo cổ, lập ra rạp Lạc Việt cho gánh hát của bà Hoa Tâm thuê. Sau khi hòa bình lập lại năm 1954, ông tham gia Đoàn chèo trung ương, sau đó công tác tại Vụ Nghệ thuật.
Năm 1956, ông là một trong những giáo viên đầu tiên của Trường Âm nhạc Việt Nam (nay là Nhạc viện Hà Nội) và là Chủ nhiệm Khoa Nhạc cụ dân tộc. Năm 1958, ông được Bộ Văn hóa Thông tin cử đi dự Đại hội âm nhạc Mùa xuân tại Praha (Tiệp Khắc). Ông cũng được bầu làm Ủy viên Ban Chấp hành Hội Nhạc sĩ Việt Nam, Ban Chấp hành Hội Văn nghệ Việt Nam.
Trong thời gian công tác tại Trường Âm nhạc, ông đã có nhiều đóng góp quý báu cho sự phát triển của âm nhạc cổ truyền. Ông là người biên soạn giáo trình âm nhạc bậc sơ học và trung học. Ông cũng là người đầu tiên ghi nhạc dân tộc bằng năm dòng kẻ, giúp truyền bá các làn điệu âm nhạc dân tộc dễ dàng hơn, đồng thời sử dụng nhiều ký hiệu mới để ghi lại những đặc thù dân tộc. Ông chủ trương giữ gìn "hồn dân tộc" và phản đối việc chơi nhạc cụ cổ truyền theo phong cách phương Tây. Ngoài ra, ông còn có nhiều đề xuất cải tiến nhạc cụ dân tộc và kỹ thuật chơi nhạc. Một trong những sáng tạo của ông là cây Nguyệt đại, dựa trên cây đàn nguyệt cổ truyền. Ông đã trực tiếp giảng dạy cho nhiều thế hệ nghệ sĩ như Xuân Khải, Thao Giang, Vũ Thị Mai Phương, Xuân Dung, Đỗ Thị Phương Bảo, Thanh Tâm...
Ông nghỉ hưu năm 1972. Ông được Nhà nước trao tặng Huân chương Lao động hạng nhất và danh hiệu Nghệ sĩ nhân dân đợt 1 (1984). Ông qua đời năm 1982 tại Hà Nội, thọ 82 tuổi.
