Ни фига́ себе (or a more vulgar ни хуя́ себе) is a dysphemism of ничего себе, an interjection expressing amazement or astonishment. Such dysphemistic expressions are quite common (compare English my ass! from my eye!).
Ничего itself is a meiosis, quite specific to traditional Russian culture with its cult of humility and reticence.
Quoting an article from Русская речь:
В статье речь пойдёт, главным образом, о предикативном наречии ничего, которое давно привлекает к себе внимание как самих русских, так и иностранцев (См., например: М. П. Алексеев. Русское слово ничего и его зарубежные интерпретации // Словари и лингвострановедение. М., 1982).
Многозначность и идиоматичность этого слова, разнообразие его смысловых оттенков делают его одним из символов загадочной русской души. "Есть на языке нашем оборот речи, — писал П. А. Вяземский, — совершенно нигилистический, хотя находившийся до изобретения нигилизма и употребляемый доныне вовсе не нигилистами. "Какова погода сегодня?" — "Ничего", "Как нравится вам эта книга?" — "Ничего". — "Красива ли женщина, о которой вы говорите?" — "Ничего", — "Довольны ли вы своим губернатором?" — "Ничего". И так далее. В этом обороте есть какая-то русская лукавая сдержанность, боязнь проговориться, какое-то совершенно русское себе на уме" (Полн. собр. соч. СПб., 1883. Т. VIII. С. 429).
Фиг, or фи́га is an obscene gesture in Eastern (and Slavic, in particular) cultures:
with the obvious meaning.
According to Vasmer and Chernykh, it's originated from Italian fare la fica (through French faire la figue). Fica literally means "fig", an euphemism for vulva.