Gia đình Dursley sống trong ngôi nhà số 4 đường Privet Drive. Những người này là nguyên nhân khiến cho Harry không bao giờ được hưởng những ngày hè thú vị. Dượng Vernon, dì Petunia,và thằng con trai của họ, Dudley, là những người bà con duy nhứt của Harry hiện còn sống. Họ là dân Muggles. Và họ có thái độ của người thời Trung cổ đối với những điều huyền bí. Dưới mái nhà của gia đình Dursley, cấm không bao giờ được nói tới ba má đã qua đời của Harry, bởi vì hai người đó là phù thuỷ và pháp sư. Trong nhiều năm trời, dì Petunia và dượng Vernon đã hy vọng rằng, nếu họ ra sức trấn áp kềm chế Harry, thìhọ có thể trục xuất năng lực huyền bí ra khỏi thằng nhỏ. Nhưng rốt cuộc họ chỉ tổ phát điên thêm vì bao giờ họ cũng thất bại, và bây giờ họ sống trong nỗi kinh hoàng là rủi mà có ai đó biết được chuyện Harry đã theo học được hai năm rồi tại trường Pháp thuật và Ma thuật Hogwarts thì... Điều hay ho nhứt mà gia đình Dursley có thể làm vào những ngày này là khóa kỹ những sách bùa chú, đũa phép, vạc và chổi thần của Harry ngay từ đầu mùa hè, và cấm tiệt Harry trò chuyện với hàng xóm láng giềng.
Harry cắn cây viết lông đại bàng giữa hai hàm răng, luồn tay xuống dưới cái gối lấy ra bình mực và cuộn giấy da. Nó mở nắp bình mực một cách từ tốn, hết sức cẩn thận, nhúng đầu viết lông đại bàng vô bình mực và bắt đầu viết. Thỉnh thoảng nó ngừng viết, dỏng tai lắng nghe. Bởi vì nếu bất cứ ai trong gia đình Dursley mà nghe được tiếng viết lông ngỗng sột soạt trên giấy da (nhân lúc đi ngang phòng ngủ của Harry để vào nhà vệ sinh), thì Harry dám có thể lại bị nhốt vô phòng xép dưới gầm cầu thang cho đến hết mùa hè lắm.