Pré-aqueça o forno a 180°C. Peneire juntos a farinha, o fermento, o bicarbonato e o sal.
Bata a manteiga e o açúcar até ficar uma mistura clara e cremosa. Adicione os ovos batidos aos poucos, batendo constantemente durante aproximadamente 2 minutos.
Em velocidade baixa, misture 1/3 da mistura de farinha apenas até misturar. Acrescente metade do iogurte e bata. Depois acrescente metade da mistura da farinha restante, seguida pelo iogurte restante, e a essência de baunilha. Por fim, acrescente o restante da mistura de farinha. Por último, com uma colher, misture os biscoitos quebrados.
Derrame a massa na assadeira de cupcakes preparada, distribua os Oreos inteiros por cima e asse por cerca de 40 minutos, até que um palito inserido no meio saia limpo. Deixe esfriar na assadeira por 5 minutos. Desenforme e deixe esfriar completamente.
Cobertura: Numa panela pequena, misture a farinha com o leite e aqueça, mexendo sempre, até que engrosse. Retire do fogo e deixe esfriar até a temperatura ambiente. Misture a baunilha.
Enquanto a misture está esfriando, bata a manteiga com o açucar até ficar uma mistura clara e fofa. Então, adicione a mistura de leite e farinha esfriada e bata até que tudo fique bem misturado, parecendo um chantilly.