Ревмя, кричмя, лежмя and similar are adverbs, derived from reduplicated nominalized verbs in dual instrumental.
The traces of this now extinct number are preserved in Russian word двумя (which had also influenced тремя and четырьмя), and also in Ukrainian очима, плечима.
This model is similar to сидеть сиднем, волочь волоком; however instead of du. inst., sg. inst. is used in these examples.
According to Vinogradov, this model is quite productive due to its proximity to adverbial participles (ревя, крича, лёжа), even though usage of dual is not justified anymore:
Несомненно, что в современном языке с этими группами наречий сближаются и глагольно-именные формы на -мя, -ма: ливмя, лежмя, стоймя — стойма, ревмя и др.; ср. плашмя.
Даже если видеть в суффиксе -мя отложение древних именных флексий двойственного числа (ср.: двумя, тремя), все же трудно отрицать для современного языкового сознания их морфологическую близость к наречиям типа лежа, сидя и т. п. Функционально же они не отделимы от фразеологических сочетаний, возникающих из творительного усиления: есть поедом, ходить ходуном и т. д.
…
Все эти отглагольные группы наречий сближаются с наречиями образа действия. В них очень ощутительны качественно-обстоятельственные оттенки (ср.: крадучись и украдкой, умеючи и умело и т. п.).
Оттенок усиления, свойственный словам ливмя, стоймя и т. п., объясняется их тавтологическим или плеонастическим употреблением при словах той же основы или сходного значения (ср.: стоном стонать, бегом бежать и т. п.).
The adverbs плашмя, весьма, задарма follow the similar model, though they are derived from nouns and pronouns, not nominalized verbs.