1945年8月15日正午，日本天皇宣布无条件投降，也就是说日军应该放下武器，停止和中国军队作战，可事实并非如此，从1946年到1949年，仍有上万日军在中国作战杀中国人。

1945年中国8年抗战眼看胜利在望，那么接下来怎么办呢？肯定是内战啊，一山不容二虎，中国没有那个朝代有2个政党的，不是你死就是我活。
为了扩充自己的实力，不管是蒋介石的国军还是共产党的解放军都开始在抢夺地盘，收编日军；开始大量准备内战。此时地方军阀，阎锡山也没有闲着，他甚至想直接利用日本人来打中国人，行为太可耻了！

1945年，在山西的日军第一军有近6万人，这个时候日本已经投降，阎锡山就想着将这些残兵游勇，收为己用，他不光想要日军的武器，还想要日军的人，就是想让日军为他卖命，接受他的指挥，日军战斗力的强悍是有目共睹的，阎锡山有自己的算盘，他要的就是日军强悍的作战能力。

不过在1945年日军投降后，大部分的日军士兵都想回家，绝大多数日本士兵不想继续留在中国，于是阎锡山开始和日军的指挥官谈。当时在山西的日军第一军有近6万人，于是阎锡山就找到了第一军的参谋长，阎锡山想要以日军做保卫工作为名留下他们。
看到一些厌战官兵仍无动于衷，阎锡山开始勾结日军总部进行威逼利诱。“合谋社”放出风声：“如果留守人员总数达不到阎长官要求的1.5万人，就将在山西曾犯有杀人、掠夺、强奸等罪行的日军官兵作为战犯判刑，复员回国毫无希望。”有的日本兵还受到威胁——不服从命令者格杀勿论。终于留下1.5万名日军。

并且还请了第一军的司令官澄田睐四郎担任军事顾问，帮助他打解放军，为了保密，阎锡山让这些日本士兵全部换上国民党的军装，连武器也是和国民党士兵一样。
这1.5万的日本士兵被编为第10总队，总队长是个日本人，参谋和顾问是晋军的将领，这些日本士兵不仅亲自上战场，而且还帮助阎锡山训练部队。

此时的阎锡山仗着有日本人这支“神秘”武器，就开始进攻八路军，1945年9月10日，阎锡山向八路军进攻，上党战役打响，此次阎锡山的偷鸡不成蚀把米，被八路军歼灭了3.5万人。
后来阎锡山不甘心失败，不断找我军挑事，1948年3月，临汾战役中晋军被打的惨败，阎锡山派日军第10总队参战，依然没有改变阎锡山失败的局势。

1948年7月，晋中战役爆发，徐向前元帅指挥部队，一举消灭了10万余晋军，其中也包括日本士兵的第10总队。有意思的是，战斗中，几个解放军战士冲进一件屋子，里面全是日军。

由于徐向前威名赫赫，日本兵一听到徐向前的名字就胆战心惊。在一次战斗中，几名解放军战士冲进一间挤满日本兵的屋子，为首的军官未指示手下开枪，而是走上来问：“你的太君的徐向前？”战士大声说：“对”。日本军官转头一声呼叫，满屋的敌人立刻缴械。

当这些日本士兵听说是徐向前的部队后，纷纷解下武器投降，徐向前的威名日军早有所闻，在另一场战斗中，7名日军军官听说徐向前部队杀来，纷纷剖腹自杀了。
此后的太原战役中，又有大约1100多名日本兵参战，700多人被打死，400余人被俘，这支1.5万人的日本人部队，才彻底的被消灭，至此日军才彻底从中国消失。