Câu thành ngữ này có xuất xứ từ "Liệt Tử- thang Vấn". Truyện xảy ra vào thời Chiến quốc.
Bá Nha người nước Sở từ nhỏ say mê âm nhạc, lớn lên ông theo học gảy đàn với Thành Liên, một nghệ sĩ nổi tiếng thời bấy giờ, loại đàn lúc đó là đàn bảy dây, nên còn gọi là Thất huyền cầm.
Một hôm, Bá Nha muốn sáng tác một bản nhạc mô tả về trận mưa bão trên biển, nhưng suy nghĩ đã mấy ngày mà vẫn chưa tìm ra được giai điệu nào vừa ý mới đến hỏi ý kiến của thầy. Thành Liên biết vậy liền dẫn Bá Nha ra bờ biển để trải nghiệm hiện tượng mưa bão.
Mấy hôm sau, trên biển bỗng sấm chớp nổi lên, sóng biển dâng cao cuồn cuộn, trận mưa sa bão táp ập đến đã gợi cho Bá Nha cảm hứng sáng tác, sau đó ông đã viết một bản nhạc mô tả về cảnh mưa bão trên biển.
Về sau, Bá Nha vùi đầu vào viết nhạc và sáng tác được khá nhiều tác phẩm, trong đó bản nhạc "Cao sơn lưu thủy" được ông tâm đắc nhất, nhưng lại chẳng có mấy ai hiểu được bản nhạc này.
Một hôm, Bá Nha gảy bản nhạc này cho Chung Tử Kỳ nghe, khi gảy tới đoạn Cao sơn thì bỗng nghe Chung Tử Kỳ reo lên: "Hay lắm, quả là khí thế bàng bạc như núi Thái Sơn". Đến khi gảy tới đoạn Lưu thủy thì Chung Tử Kỳ bỗng nghe như có tiếng nước chảy từ tiếng đàn. Bá Nha thấy vậy vội cầm lấy tay Chung Tử Kỳ xúc động nói: "Ông thật là tri âm của tôi".
Sau khi Chung Tử Kỳ qua đời, Bá Nha đã giật đứt dây đàn rồi đau đớn nói: "Chung Tử Kỳ là tri âm của tôi, nay ông ta mất rồi thì tôi gảy đàn còn có ý nghĩa gì". Từ đó về sau, Bá Nha không còn gảy đàn nữa.