Just between you and me.
ここだけの話だけどね。

スラングになりますが、”Off the record.”も良くつかいます。
同じスラングで”On the down low.”もありますが、少し降るかもしれません。