Câu thành ngữ này có xuất xứ từ "Luận ngữ – Dương Hóa".
Tử Du học trò Khổng Tử là người rất tán đồng đạo lễ nhạc của thầy, sau khi được điều đến làm huyện lệnh Võ Thành, Tử Du không vì Võ Thành là một huyện nhỏ hẻo lánh mà không nhấn mạnh đạo lễ nhạc, anh ta tuyên truyền đạo lễ nhạc và yêu cầu nhân dân trong huyện phải thường xuyên đàn hát.
Một hôm, Khổng Tử trên đường cùng học trò đi du lịch các nước, khi đi qua huyện Võ Thành thì nghe đâu đâu cũng vang tiếng đàn hát mới nói rằng: "Sát kê yên dụng ngưu đao". Ý Khổng Tử muốn nói Võ Thành là một huyện nhỏ hẻo lánh, mà lễ nhạc là một đạo lễ lớn, nay dùng đạo lễ lớn để cai trị một nơi nhỏ bé thì có khác nào dùng dao mổ trâu để mổ gà, việc nhỏ xé ra to.
Tử Du cho thầy nói không đúng và hỏi rằng: "Trước kia thầy dạy chúng con là kẻ thống trị mà nắm được đạo lễ nhạc thì mới biết thương yêu nhân dân. Còn nhân dân nắm được đạo lễ nhạc thì sẽ trở nên ngoan ngoãn và dễ sai khiến, vậy chẳng lẽ lời dạy của thầy không thích hợp với Võ Thành này sao ?"
Khổng Tử mỉm cười quay sang nói với các đệ tử của mình rằng: "Lời Tử Du nói rất đúng, các con hãy nhớ cho kỹ, vừa rồi thầy nói Sát kê yên dụng ngưu đao là nói đùa với anh ta mà thôi".