直到1942年，日本政府才允许台湾人当“志愿兵”，不代表在1942年以前，日军中没有台湾人。事实上，从1923年起，日军便招募少量台湾人担任闽南语或汉语官话的翻译。1937年，日本全面侵华战争打响之后，开始招募台湾人成为不具备正式军人身份的军属、军夫，在中国大陆战场上参与军需物资的补给工作。第一批台籍军属参加了淞沪会战，他们被称为“台湾农业义勇团”，在上海附近建设农场。军属、军夫不直接参与战斗，因此“台湾师团参与南京大屠杀”的说法应是子虚乌有。
随着战争规模的扩大，日本面临兵源枯竭问题。1942年，“台湾总督府”开始在岛内招募“志愿兵”，第一次招募1000人，有42.6万人提出申请。在“志愿兵制度”废除前，共有16500名台湾人以“志愿兵”的身份投身日军。1945年初，已是强弩之末的日本，开始在台湾实施全面征兵制度，直至当年8月15日，日本宣布无条件投降。
据日本战后统计的材料显示，1937年到1945年，“台湾总督府”共招募军属、军夫126750名，从1942年到1945年则征募军人80433人，合计共207083名。其中有3万余人阵亡，另有26人战后被以战犯的身份处死。这些战死的台籍日本兵，被供奉在日本靖国神社与台湾济化宫。“台籍日本兵”曾为日本冲锋陷阵，甚至有的还在战争中犯有罪行，从中体验了“天皇军队的威风”；而另一方面，日本人对他们并不信任，他们和真正的日本兵有着明显的差别待遇。日本投降后，残存的“台籍日本兵”还来不及品味战败的苦涩，随着台湾光复，他们又忽一下变成了战胜国的国民。在历史的剧变中，不少“台籍日本兵”的国族认同出现问题，也就不足为奇了。
