Johann Heinrich Rolle est né en 1716 à Quedlinburg. Il a acquis ses premières connaissances musicales auprès de son père Christian Friedrich Rolle, musicien assez connu à son époque, qui s'était présenté à Leipzig au poste de cantor, finalement attribué à J. S. Bach. Christian Friedrich devint en 1921 director musices à Magdebourg et Johann Heinrich y fréquenta l'Altstädtische Schule, comme Telemann avant lui.
En 1734 Johann Heinrich devint organiste à l'église St Pierre de Magdebourg.
Ses premier biographes mentionnent un voyage d'étude à Leipzig mais on n'en a aucune preuve. En revanche on a établi qu'il travailla à l'orchestre de la cour de Frédéric II à Berlin où il se produisit comme violoniste et ensuite comme altiste ; il y rencontra Carl Philipp Emmanuel Bach, Quantz ainsi que les frères Benda et Graun.
En 1746, il revint à Magdebourg où il devint organiste à l'Eglise St Jean en succédant à son père après sa mort en 1752.
Le célèbre chroniqueur anglais Charles Burney le présente ainsi: "un compositeur passionné et plein d'idées, qui s'est fait connaître de la façon la plus honorable qui soit, au travers de ses compositions de musique d'église"...Ses œuvres comprennent des cantates, des motets, des oratorios, des passions et aussi des "drames musicaux".