In Vinogradov's Русский язык, there is a whole chapter (§7) about this phenomenon:
Яркая экспрессивная окраска, свойственная почти всем словам общего рода, подчеркивается несоответствием их строения и значения. Вся эта сложная гамма смысловых оттенков воздвигается на основе класса слов женского рода. Применение слов женского рода к мужчинам и порождает своеобразную экспрессивную окраску этих слов. В этом явлении пережиточно отражается социальное положение женщины, отношение к женскому полу
Basically, the social position of a woman (not unique to Russian culture of course) made gramatically feminine words to be only perceived germane to semantically feminine (or gender-neutral) concepts and objects. Calling males the "feminine" words could not help sounding peculiar, so almost all these words have expressive connotation.
I can think of but few emotionally neutral words, some of them already mentioned by you and Dima. All of them are loanwords or evolved from emotionally colored words:
- коллега (from Latin possibly through Polish)
- предтеча (from Church Slavonic)
- сирота (a metonymy not perceived as such anymore. Similar modern words would be emotionally colored: Я — могила, ты — глыба)
- тёзка (or тезя, a diminutive not perceived as such anymore)
Zaliznyak in Древненовгородский диалект mentions:
Очень интересны экспрессивные сложные слова на -хота и -сова. В современном
русском языке в классе существительных общего или мужского рода на -а
с основой, состоящей из приставки и корня или или из двух корней, ничтожно мало слов с
положительной или нейтральной коннотацией. Таковы в сущности лишь древнейшие слова вельможа и воевода, сохранившиеся в основном лишь как исторические
термины. Практически все остальные имеют более или менее ярко выраженную
отрицательную коннотацию (насмешливую, пренебрежительную, уничижительную
и т. п.), носят экспрессивный характер и свойственны в основном разговорной речи
(ср. 5.8, конец). Из общеизвестных таковы, например: выжига, недотрога, надоеда,
привереда, непоседа, подлиза, растрёпа, растяпа, задира, обжора, повеса, пустомеля,
ср. также расстрига. Очень много таких слов имеется на периферии словарного
состава языка и в говорах. Так, в словаре Даля находим, например, заброда, завида,
зацепа, заеда, провора, прожига, пролыга, пройда, ужима, пустовира, пустозёва, пусторёва, пустогрыза, брюзга, пустожира, дармоедa, пустохлёба, водохлёбa (и много
других с пусто-), гологрыза ("нищий", "голыш"), кривоныра, пролазa, пройдоха, рукомоя
("белоручка") и др.; в СРНГ — например, заблуда, заплёва ("бесстыжий"), колоброда, непросыпа, ненажора и т. п. Уникальное свидетельство грамоты Ст. Р. 35 показывает,
что описанная коннотация данной морфологической модели существовала уже в
XII в.
In a nutshell: almost all masculine and common-gender words ending in -a
have ironical or negative connotation at least since XII
century.
The gramota St. R. 35 he mentions is a letter of a citizen of Staraya Russa to his brother:
Якове брате еби лежя ебехото аесово
which means
Jacob, my brother, fuck lying (i. e. do things proper way), you randy ball-inserter
Here, the apparently invented words ебехота and аесова (literally, "willing to fuck" and "ball-inserter") are both of first declension.