Câu thành ngữ này có xuất xứ từ "Hán thư- Ngoại thích truyện".
Tương truyền Hán Võ Đế có một tỳ thiếp là Lý phu nhân. Nàng nguyên là một ca kỹ không những xinh đẹp mà còn giỏi ca múa, nên được Hán Võ Đế rất mến mộ. Nhưng hồng nhan bạc mệnh, nàng đã mất vào lúc còn rất trẻ, Hán Võ Đế vô cùng thương xót, lòng buồn day dứt không nguôi. Nhà vua là người rất mê tín, ông chỉ mong sao có thể nhờ vào sức lực thần linh để gặp lại nàng.
Về sau, có một người biết cầu tiên tên là Tiếu Ông tự xưng có bản lĩnh chiêu hồn, khiến linh hồn người chết có thể đến gặp người thân. Hán Võ Đế nghe vậy vô cùng mừng rỡ, bèn lập tức triệu ông đến chiêu hồn Lý phu nhân. Thiếu Ông đến lấy váy áo của Lý phu nhân rồi đợi đến lúc trời tối mới bảo Hán Võ Đế đến sau một bức rèm ngồi đợi, còn mình thì đứng sau một bức rèm khác thắp nến hành phép, ông ta niệm thần chú rồi phun nước một hồi lâu. Bấy giờ Hán Võ Đế bỗng nhìn thấy bóng dáng thon thả của một thiếu nữ như Lý phu nhân, nàng lúc thì ngồi lúc thì nhẹ bước đi lại sau bức rèm. Hán Võ Đế toan chạy đến gặp mặt liền bị Thiếu Ông ngăn lại. Một lát sau, bóng nàng biến mất. Hán Võ Đế thương cảm mới đọc một bài từ rằng: "Là tà, phi tà? Lập nhi vọng chi, thiên hà san san kỳ lai trì". (Có nghĩa là: Đây phải chăng là nàng? Ta đứng từ xa ngắm nhìn nàng, sao nàng lại nỡ chậm bước đến muộn như vậy? ).