龙江书院建成于1840年（清道光庚子年），是由原宁冈、酃县、茶陵三县的客籍绅民捐款集资修建的，当年也是三县客籍人的最高学府。整座书院，分中、前、后三进，面积2000余平方米，大小合计100多间，现存42间，系砖木结构，内有多处全国重点文物保护单位。建国后，政府多次拨款按原貌维修。

    1928年4月底，朱德、陈毅等同志率领的南昌起义保留下来的部分部队和湘南暴动农军来到龙市，与毛泽东同志领导的秋收起义部队胜利会师，这就是著名的“井冈山会师”。4月25日，朱德、陈毅率领的部队到达龙市。4月28日，指挥部队担任掩护任务的毛泽东也回到了龙市，他听说朱德等人住在龙江书院，立即带领几名干部赶来，与朱德等同志会见。接着大家一道登上书院的最高层文星阁，进行了亲切的交谈，参加会面的有毛泽东、朱德、陈毅、王尔琢、张子清、蔡协民、何挺颖、袁文才、何长工、胡少海、黄克诚、龙超清等。毛泽东向大家介绍了井冈山根据地的主要情况；朱德谈了湘南暴动和部队转移上山的经过。

   1928年4月底，朱毛两军胜利会师后，为了加强对两支革命武装的统一领导和指挥，在龙江书院的中厅召开了四军党的第一次代表大会。出席会议的有连以上干部一百多人。毛泽东、朱德、王尔琢等同志讲了话。会议决定：

     一、依照湘南特委关于“朱毛两部合编”的指示，成立工农革命军第四军（后称红四军），并任命了连以上的干部。

     二、在四军中设立各级党代表和士兵委员会。

     三、选举产生了四军军委，毛泽东为书记。

     四、5月4日召开庆祝两军会师大会，并正式宣布成立中国工农革命军第四军。

     1961年3月，国务院将此旧址公布为全国重点文物保护单位。