1960年，28岁的江丙坤考取中国国民党第一届中山奖学金，翌年，负笈日本，半工半读。“我在日本13年之久，有一段时间曾在‘大使馆’工作。”他说，因为经常要为赴日考察的台湾官员当翻译，回答他们的疑问，因此对日本的政治体系进行了深入的研究和学习。“在推行所谓的文官体制方面，我赞成我们学习日本而不是学美国。”因为中华文化影响着台湾人的思考和行动，而日本完全是学习中国的文化和伦理，所以日本的体制较适合台湾。“美国主张效益，不重伦理辈分。我们可以科技学美国，体制学日本。”
日本第一流的学生，毕业后会去报考公务员，做文官，而台大第一流的学生，毕业后会去当教授、科学家等。“日本的文官个个优秀，一流的头脑去做文官，这个国家就会变得优秀。”因此，他很希望也鼓励台大一流的学生毕业后去做公务员，到公务部门进行训练。
日本现行的三权分立的文官体制，让他心生向往。“这种脚踏实地，善用人才的制度，把大家变成像工厂的机器一样，方向一致，同步向前。”
“台湾‘立法院’周三周四那种画面 (打架——编者注），我相信大家都很不喜欢看。”江丙坤说，希望台湾当局正视并修正这个问题，改革体制来克服“立院”乱象。
回忆为官经历，江丙坤说，过去在行政机关最痛苦的事情，就是没有“立委”为行政决策背书，导致政策难以推行，“服贸协议卡在‘立法院’，就是一个笑话”。对选举“立委”的“游戏规则”，江丙坤也提出了自己的看法。
另外，他还建议推行“内阁制”，从“立委”里面提拔优秀的、表现良好的出来，担任“部长”。
