Deixar o cargo de líder de jovens na igreja

Eu era líder de jovens, tesoureiro e secretário. Eu desisti de ser líder de jovens pois não tinha tempo para minha família, eu agi errado? Meu pastor disse que aquele que larga mão do arado não é digno de entrar no Reino dos céus, o que devo fazer, eu só sai da liderança, continuo sendo tesoureiro e secretário.