宋金牛郎織女銅鏡，廣東省博物館藏
高句麗墓壁畫中的牛郎織女形象，公元408年
銀河月，選自月岡芳年繪《月百姿》
牛郎織女故事的起源很早。[5]牛郎織女之說最早記載於《詩經‧小雅‧大東》：「維天有漢，監亦有光。跂彼織女，終日七襄。」這裡的牽牛和織女是兩個星宿名稱。牽牛星即「河鼓二」，在銀河東邊。[6]織女星又稱「天孫」，在銀河西邊。兩個星宿隔著銀河遙相對望。到了漢代的《古詩十九首》第十首《迢迢牽牛星》提到：「迢迢牽牛星，皎皎河漢女。纖纖擢素手，札札弄機杼。終日不成章，泣涕零如雨。河漢清且淺，相去復幾許？盈盈一水間，脈脈不得語。」這時牛郎織女才開始有了人格。西漢劉安《淮南子》中有「七夕烏鵲填河成橋渡織女」的記載，東漢應劭著《風俗通義》中則有「織女七夕當渡河，使鵲為橋。」的記載，可知當時民間已有牛郎織女度銀河相會並有鵲橋的傳說。七夕也起於漢初武帝之時，因為武帝出生於七月七日。[7]三國魏曹植《九詠》曰：「牽牛為夫，織女為婦。織女牽牛之星各處河鼓之旁。」這時兩人已成為夫婦。
漢代牛郎織女傳說在流傳過程中同時遇到了董永傳說，從而形成了牛郎織女傳說與董永傳說互相影響的現象，主要的因素是女主角都是天上的織女。晉朝干寶的《搜神記》同時收錄這兩個故事。
南朝梁殷芸《小說》提到：「天河之東有織女，天帝之子也。年年機杼勞役，織成雲錦天衣，容貌不暇整。帝憐其獨處，許嫁河西牽牛郎，嫁後遂廢機杼。天帝怒，責另歸東西，但使一年一度相會。」[8]牛郎織女的故事已然成形。
最早記載天上仙女洗澡被偷仙衣的情節，是晉代干寶《搜神記》卷十四中的《毛衣女》故事，「豫章新喻縣男子，見田中有六七女，皆衣毛衣，不知是鳥。匍匐往得其一女所解毛衣，取藏之，即往就諸鳥。諸鳥各飛去，一鳥獨不得去。男子取以為婦。生三女。其母后使女問父，知衣在積稻下，得之，衣而飛去，後復以迎三女，女亦得飛去。」這類故事被稱為「羽衣仙女」，又稱「天鵝處女」故事（Swan Maiden Tale），是世界級的故事情節。[9]董永傳說吸收了《毛衣女》故事中的仙女沐浴母題，同時吸收了《田崑崙》故事中的尋母母題。晚唐五代敦煌殘卷《董永變文》提到董永的兒子董仲七歲外出尋母，有道士孫賓告訴他：「阿耨池邊澡浴來，先於樹下隱潛藏。三個女人同作伴，奔波直至水邊旁。脫卻天衣便入水，中心抱取紫衣裳。此者便是董仲母，此時縱見小兒郎。」宋代張耒的《七夕歌》將牛郎織女的故事進一步整合，但劇情仍未提及偷衣娶妻之事。[10]明朝萬曆年間朱名世的小說《牛郎織女傳》首次在故事中添加了牛郎趁織女洗澡偷衣的情節。
目前流行的牛郎織女故事是結合了「董永與織女」、「毛衣女」、「兩兄弟」等情節，並且加入鵲橋相會，七夕等民俗。如于長敏所說：「文學家從牛女兩星座聯想到一對戀人，又從天上聯想到人間。人間已有飛鳥化女洗浴說（如〈田崑崙〉），有織女下凡說（如〈董永與織女〉），有人鳥結婚生子說（如〈毛衣女〉），將這幾個傳說綜合起來，並與文學家創造的牛郎織女愛情傳說聯繫在一起，便逐漸產生了〈牛郎織女〉的傳說。」[11]