Pré-aqueça o forno a 160ºC. Coloque a manteiga e o açúcar na tigela grande da batedeira e bata até obter um creme claro. Junte os ovos, um a um, batendo bem a cada adição. Peneire a farinha de trigo, as avelãs moídas e o fermento sobre a massa e bata em velocidade baixa e em seguida aumente a velocidade, batendo bem. Junte o leite e o chocolate derretido com uma espátula de borracha/silicone, misturando de baixo para cima. Transfira a massa para forminhas de muffin com capacidade para 1 xícara (240ml) cada forradas com forminhas de papel.
Leve ao forno por 15-20 minutos ou até que estejam assados por dentro (faça o teste do palito). Deixe esfriar um pouquinho e, com a ajuda de uma faquinha serrilhada, faça pequenos buracos redondos na superfície de cada cupcake e retire a tampinha; encha cada buraquinho com 1 marshmallow e 1 colher (chá) de Nutella. Recoloque as tampinhas em cada cupcake, tampando o recheio.