고려말기인 1378년에 충북 영동 심천면 고당리 308번지에서 태어났다. 본관은 밀양이고 시호는 문헌이다.

세종 때 율관(동양에서 악률의 표준을 정하기 위해 만든 12개로 된 관)을 만들어 편경을 제작하는 등 조선 초기 음악 완비에 많은 공헌을 했다.
1405년(태종 5년) 생원시에 급제하였고, 박연은 생원시에 급제한 지 만 6년만에 1411년 문과에 급제하여 교리에 임명되었다.
교리는 정 5품벼슬로, 그 후 박연은 집현전 교리로 일하면서 전악서를 찾아가 음악공부를 본격적으로 하였다. 그러면서 박연은 사간원 정언 · 사헌부 지평을 거쳐 세자시강원문학으로 있으면서 당시 세자였던 세종과 관계를 맺게 되었다.

세종 때는 고려 말 이래의 혼란이 수습되고 정국이 안정되어 문물 제도의 정비 사업이 각 방면으로 전개되었는데 그는 음악면에서 세종을 보익하여 국악을 발전시키는 데 크게 이바지하였다.
1426년(세종 8년) 봉상판관 겸 악학별좌에 임명되어 향악(우리나라 음악을 당악에 대하여 이르는 말), 당악(신라 시대 이후에 전래된 중국 속악), 아악의 율조 등을 조사했으며, 악기의 그림과 악보를 실어서 한 권의 악서를 편찬하자고 상소했다.
그는 편경과 편종을 연구하여 마침내1427년, 편경 12개와 거기에 맞는 12율관을 새로 만들어서 정확한 음율로 아약을 연주할 수 있게 하였다.
이것을 3년 뒤에는 수정하여 아악을 우리 음악으로 완성해 놓았다. 또한, 박연은 아악의 악보도 편찬해내었다.

1431년, 정월 초하룻날 근정전에서 처음으로 조회 아악이 연주되었다.
여기에는 박연이 새로 만든 편경과 편종, 그 밖에 개량한 악기가 도원되었다. 뿐만 아니라, 박연은 종묘 아악에 쓸 악기를 만들어 종묘악을 완성하였다.
그 제례악은 오늘날까지 종묘에서 제사를 지낼 때 쓰여지고 있다.
1433년 유언비어 유포 혐의로 파직되었다가 용서받고 아악에 종사, 공조 참의·중추원 첨지사를 거쳐 중추원 동지사를 지냈다.
1445년 성절사로 명나라에 다녀와서 인수부윤·중추원 부사를 역임한 후 단종 원년에 예문관 대제학을 끝으로 하여 1458년(세조 4년) 3월23일 81세를 일기로 향리 영동에서 돌아갔으며 문헌공의 시호를 받았다.

1456년에는 '사육신사건'에 세아들 중 막내아들인 박계우가 관계되어 죽음을 당했다.
아들을 잃은 슬픔을 피리로 달래던 박연은 조용히 세상을 떠났다. 특히 저[大仁]를 잘 불었던 박연은 고구려의 왕산악(王山岳), 신라의 우륵(于勒)과 함께 한국 3대 악성(樂聖)으로 추앙되고 있다.

영동의 초강 서원에 제향되고, 지금도 고향인 이곳 영동에서는 해마다 ‘난계국악축제’가 열려 민족 음악 발전에 남긴 업적을 기리고 있다. 시문집이 있다.