后来，高君曼寻找机会，借着各种理由与陈独秀单独接触，或促膝谈心，或小径漫步，交流思想、热烈讨论。当时，陈独秀常常去藏书楼发表时事演说，高君曼便常常去那里阅读进步报刊或听姐夫演讲。
起初，二人朝夕相处地探讨学问，在传统的伦理观念里，人们几乎不敢设想会发生什么。这种思想，当然也包括恪守传统的高晓岚。
当二人难割难舍时，一个难题便摆在了这个封建家族的面前。两个性情刚烈的叛逆者的出现，使得最终结果只有两种：打破或者扼杀。
对于已决定随时因家族压力双飞远遁的二人来说，扼杀已渐次的这份感情己是不可能了。继父陈衍庶甚至以“退继”相威胁，但陈独秀根本无意继承其遗产，陈氏家族的所有努力都无济于事。
乡邻的传说沸沸扬扬，陈、高两家严厉指责。但二人并不在乎。
陈独秀不顾一切与小姨子结婚
1909年年底，陈独秀从日本回国，在杭州与高君曼正式同居，木已成舟，陈独秀与高晓岚的夫妻关系已名存实亡。
31 岁的陈独秀在陈高两家一片反对和讥讽声中，与高君曼在西湖正式宣布结为伉俪，与家庭中断了关系。此时的高君曼，一身入时的江南装扮，亭亭姿秀，绵绵温雅，时常伴随陈独秀出访高朋，听琴瑟互答，过着美好的隐居生活。陈独秀为此还写下了感怀20首，其中一篇写道：
委巷有佳人，颜色艳桃李。
珠翠不增妍，所佩兰与芷。
相遇非深恩，羞为发皓齿。
闭户弄朱弦，江湖万余里。
