关于牵牛织女最早见于《诗经·小雅·大东》：维天有汉，监亦有光。 岐彼织女，终日七襄。 虽则七襄，不成报章。 睕彼牵牛，不以报箱。
《大东》篇原是一首表现西周时代东方诸侯国臣民怨刺周王室的诗。这一节大意是说：银河两岸的织女星、牵牛星，尽管有其名，却不会织布，不能拉车；当今的统治者也是如此，虽身居高位，却无恤民之行，不过徒有其名而已。这里，对织女、牵牛二星仅是作为自然星辰形象引出一种隐喻式的联想，并无任何故事情节。此时，它们只作为一种文化因子，开始进入文学这个大系统之中。正是这种“因子”，为这个传说的生成准备了潜在的文化条件。
到西汉时期，织女、牵牛已被传为两位神人，而且有塑像，面面相对。班固《西都赋》有句：“临乎昆明之池，左牵牛而右织女，似云汉之无涯。”李善注引《汉宫阙疏》云：“昆明池有二石人，牵牛织女像。”都明确指出在昆明湖畔的左右两侧分别塑有牵牛、织女像。他们已从天上来到人间被远远地隔离在湖的两边。随着时间的推移，爱情因素同牵牛、织女传说的结合日见明显。《古诗十九首》首先透露了这一信息。其中的《迢迢牵牛星》吟道：
迢迢牵牛星，皎皎河汉女。
纤纤灌素手，札札弄机杼；
终日不成章，泣涕零如雨。
河汉清且浅，相去复几许?
盈盈一水问，脉脉不得语。
这里的牵牛、织女二星已具人物形象——弄机织布，思念流泪；并且开始被编织为一幕恩爱夫妻受着隔绝之苦的爱情悲剧。诗中虽然没有直言牵牛、织女是夫妻，但织女终日思念牵牛，渴望相见，而又“盈盈一水间，脉脉不得语”的情节则是十分清楚的。
进一步说明问题的，是东汉人应邵编撰的《风俗通义》，其中有一段记载：
织女七夕当渡河，使鹊为桥，相传七日鹊首无故髡，因为梁以渡织女故也。(见《岁华纪丽》)
这表明，在当时，不仅牵牛、织女为夫妻之说已被普遍认可，而且他们每年以喜鹊为桥，七夕相会的情节，也在民间广为流传，并融入风俗之中了。发展到这一步显然是要经过相当长期并且是十分积极活跃的演进过程的。
稍后的三国时期，更有不少诗文反映了这一内容。如唐代李善为《文选》魏文帝《燕歌行》作注时引了曹植《九咏注》说：“牵牛为夫，织女为妇，织女、牵牛之星，各处一旁，七月七日得一会同矣。”可见牵牛、织女已经成为诗人们表现爱恋和思念之苦的一种突出和常用的意象。