Misture o leite e a lavanda em uma panela pequena e leve ao fogo médio. Assim que ferver, transfira para uma jarra medida de vidro, e deixe esfriar em temperatura ambiente.
Preaqueça o forno (180°C). Unte e enfarinhe uma forma para bolo inglês média (12,5 x 22,5cm). Misture a farinha, fermento e sal em uma tigela. Misture a manteiga, açúcar e raspas em uma tigela grande e bata com a batedeira até ficar cremoso e fofo, raspando as laterais da tigela vez por outra. Junte os ovos, um de cada vez, raspando as laterais da tigela após cada adição.
Com a batedeira em velocidade baixa, adicione 1/3 da mistura de farinha e bata até incorporar. Adicione metade do leite e bata mais. Repita com o restante da farinha e do leite, terminando com a farinha. Após a última adição, bata por mais 30 segundos em velocidade média.
Coloque a massa na forma preparada e alise a superfície com uma espátula. Asse até que o bolo esteja dourado, 50 a 55 minutos. Faça o teste do palito.