It actually is the genitive, and the stress is on the first syllable:
- с гла́зу на́ глаз
The genitive ending -у is retained in quite a few set expressions such as:
- бе́з толку, и́з лесу, не зна́я бро́ду не су́йся в во́ду
Stressed prepositions and particles are also signs of a well-established expression or just a frequently-used collocation:
- бе́з году неде́ля, встать на́ ноги, взять за́ руку, не́ за что, etc.