It was a long day I would translate as это был долгий день. Этот день был долгим is also grammatically correct but it would be a translation of English that day was long.
As for your hypothesis:
существительное + был + прилагательное в ТП (_День был жарким._)
был + существительное и прилагательное в ИП (_Был жаркий день._)
It is not exactly right.
The first part can be used with both ТП and ИП. День был жаркий or День был жарким.
The second part, if it is the full sentence (Был солнечный день.), requires Nominative. If you have more words before, for example, you have Он in front of был, then again both cases are possible: Он был умным человеком, and Он был умный человек.
As for the difference between ИП and ТП after был, more often we use ТП. For example, книга была интересной. Книга была интересная sounds a bit archaic to me, but is still used.
Why we prefer using Instrumental case? Probably because we mentally substitute был to являлся (let's translate it to English as 'played a role of' to also require an indirect object). Являться (кем, чем) requires Instrumental case (I hope you will not ask why :-). So, one meaning of быть - is являться, the second meaning is just 'to be, or to exist'. Normally, Russians tend to omit 'быть' in this meaning, especially in present tense. Он есть красивый we say as just Он красивый. In the Past tense we cannot omit был, otherwise there would be no indication of the Past. But we still internally resist using быть in its 'to exist' meaning (Книга существовала интересная) and prefer Книга являлась интересной. That's why we prefer the Instrumental case here. But this is just my hypothesis.
