马仲英退到喀什时，驻喀什的英国和苏联领事都前来欢迎，英国领事尤为热情，想拉拢马仲英倒向英国，但此时马仲英已经听从了他身边参谋们的劝说，准备依靠苏联。马仲英后来对部下讲：“我们这次出关，为的是反对封建统治，反对帝国主义。这里的情况与内地不同，新疆有几千里边境与苏联相接，各方面都要跟苏联打交道。盛世才依靠苏联打败我们，沙比提依靠英国被我们消灭，这说明苏联是真心帮助人的，英国是欺骗人的。我们要是不依靠苏联，也要上英国的当，这个现成的事例，难道大家还没看清楚吗？”
在喀什驻扎期间，马仲英对部队进行了重新整编，部队编为9个骑兵旅，一旅马彦良（后到苏联学习，解放后任宁夏政协副主席）、二旅马如龙，三旅鲜福海，四旅马福元，五旅马生贵（后投靠盛世才，被盛世才杀害），六、七旅马有才，八旅，九旅马世杰。另外还设炮兵、工兵、特务、通讯四个直属营。每旅1300人，全师总兵力约15000人。
1934年6月，盛世才为统一新疆与和加尼牙孜议和，以新疆省副主席的职位相收买，委任麻木提为师长，以便全力对付马仲英。此时，马仲英正在巴楚训练部队。七月，盛世才调动大兵围攻马仲英，计有和加尼牙孜万余人，刘斌军五、六百人，蒙古军千余骑，归化军五、六百人。自阿克苏进攻巴楚，有飞机三架轮番轰炸，装甲车数辆。马部伤亡惨重：消息传至喀什，马占仓逃往皮山。
马仲英在大兵压境之时，为了自己和36师马家子弟的生存，被迫接受城下之盟，答应交出军权，离开部队，而只带少数幕僚去苏联学习。苏联给马仲英的承诺是，马去苏联，则苏军给马军在和田安置一块保存实力的场所，马仲英本人可赴苏联进修并仍有指挥和田军队的全权。苏联领事坦言：如果马仲英不同意则将马军消灭迨净。因而，马仲英被迫同意进入苏联，为此他曾经在下属面前痛哭流涕述说其中苦衷。这一重要选择，使他的36师有了喘息的余地，能够暂时逃脱全军覆没的灭顶之灾。
1934年7月中旬马仲英由苏方代表、苏联驻喀什领事馆秘书康斯坦丁诺夫等人陪同，与蔡雪村、吴应祺、葛荠云及部分青年军官约二百八十余人和一支近30头骆驼组成的驼队，携带大批金银细软由喀什起程，经乌恰县的斯姆哈纳(今属乌恰县吉根乡)，从伊尔克什坦边卡进入苏联。 1934年7月15日莫斯科塔斯社电称：“据苏联与新疆边界之伊尔克什坦来讯，南疆盛世才所率省军与东干军马仲英部下激战结果，马于7月10日偕军官三人，骑兵79人在伊尔克什坦镇附近越苏联边界，马氏本人及其随员均被缴械，且不准他往。新疆省政府于7月15日向苏联驻迪化总领事阿布列索夫要求引渡马仲英，彼置之于法，苏俄当局以马为政治逃犯，拒绝引渡”。
马仲英一行进人苏联境内之后，当即被解除了武装，由苏方派车送往塔什干。苏联政府派边防司令一人负责招待工作，先参观工厂、学校、集体农庄，后苏联又抽调了4名教官辅导他们学习政治、俄语和文化。1936年初经安集延乘坐火车抵达莫斯科，被安置在郊外一家豪华的大饭店居住。马仲英要求把随行人员分别分到陆军，空军学校学习军事技术和军医、军械。马仲英本人参加陆军大学学习后，转入空军航空学院学习。
马仲英西去苏联，任命马虎山为36师代理师长。此前，盛马达成的协议规定：以泽普为中立地区，划叶城、皮山、墨玉、和田、洛甫、于田、且末、若羌等9个县为36师防区。按照协议，36师要将喀什交给由盛世才委派的刘斌部东北义勇军驻扎。1934年8月的一天，36师士兵在喀什的大街小巷里张贴布告，声称36师与省方和谈成功，新省战事宣告结束。翌日，36师的“东干”(回族)士兵陆续撤离喀什，移防泽普以南。马仲英的势力从此被迫放弃其控制了6个多月的喀什各县。1934年7月31日，盛世才在迪化发电给南京国民政府，报告说：“省军克复喀什、残匪溃退和田，现已全部缴械投诚，均经遣散，南疆勘定，新省军事已告一结束，积极办理善后，解除民众痛苦，哈密方面也以派遣重兵扼要驻防，现已筹备一切，以期早日恢复交通”。
马仲英离开喀什的前一二年间，与旧部的联系还没有中断。他不时自苏联发电指示马虎山，再三要求36师接受与省方的和平谈判，在行政上、军事上与全疆统一，坚决制止武装冲突。他还几次派代表专程返回南疆传达指示和慰问部队，1935年，他派人将录音带回部队，录音中，他说：“中国目前的形势，外患日益逼近，内政日益腐败，卖国贼无耻地卖国，日本帝国主义毫无忌惮侵占我国领土，西北地区也到了危急关头。我们要准备抗战！消极就要当亡国奴！同志们，本师长不久就要领导大家向光明的大道前进！”
但是，马虎山在和印度进行贸易往来的期间，逐渐偏向英国当局，他暗中和英国联系购买军火，扩充实力，希望能够得到英国当局的帮助，利用时机打垮盛世才一解心头之恨。他抗拒马仲英的指令，撕毁和平协议，甚至出兵挑衅，破坏了当时新疆相对稳定的局面。1937年，苏方得知麻木提叛乱，即派遣马彦良等在苏联学习的36师军官回国，苏方提出用苏联武器装备36师，协同盛世才共同剿灭麻木提，然后36师在和田保留一个团留守，其余全部入关参加抗日。马仲英同意这个主张。马彦良等回国时，马仲英亲自送到车站，指示马世杰去迪化与盛世才协商，然后回莫斯科汇报。然而当马彦良他们回到和田后，马虎山反对盛世才已如出弓之箭无法收回，马仲英几次来电制止都没见效。
1937年，麻木提师长与盛世才反目后出逃印度，他的副手阿不都拉尼亚孜举兵叛乱，退往莎车，马虎山认为时机已到，置马仲英令36师会合省军平叛的指令而不顾，擅自调遣36师合同麻木提手下围攻喀什。1937年4月11日，马虎山坐镇莎车，指挥马军以36师马生贵旅为主力打下了喀什回城(今喀什市)，把省方官员悉数围困在第6师师部(今公安处)。次日又攻占了汉城(今疏勒县城)城郊的飞机场，并向汉城进攻，一围就是100天。同时马虎山和阿不都拉尼亚孜分兵，一陷伽师，再陷巴楚，三陷麦盖提，进而包围了阿克苏和库车，其前锋甚至骚扰到库尔勒一带。盛世才动员各路部队在苏联顾问柳正欣的指挥下前往清剿。6月3日，省军占领巴楚，但马上又被马军围困，双方在阿克苏一带激战不已，战局陷入僵局。危急之中苏军再次出兵。
1937年9月，苏军出动以康斯坦丁诺夫为总指挥，夏克尔为团长的2000余人的苏军机械化加强团，在四十架飞机、20辆坦克的配合下，乌恰县的吐尔尕特山口入境，与原驻这里的苏军毛兰诺夫骑兵团和柯尔克孜骑兵团会合，分兵两路，一路直去巴楚，把马虎山的部队一分为二；另一路直取喀什。苏军占领巴楚后，分兵攻打叶尔羌、皮山。马虎山的军队分崩离析，狼狈向和田溃退，在阿克苏河和叶尔羌河交汇处遭到苏军数十架飞机的狂轰滥炸，死伤大半。10月初，苏军、柯尔克孜骑兵团进入皮山，马虎山慌忙率少数亲信逃到印度，又辗转返回宁夏老家，后来马虎山投靠马步芳成了一个参议，解放后发动叛乱被解放军击毙。苏军在莎车设立总指挥部，柯尔克孜骑兵团和苏军机械化团分别驻扎喀什、和田。时隔不久，残喘和田一隅的和流落各地的36师散兵游勇就地被迫投降，强行收容后集体枪杀，下场极其悲惨，只有马福元等少数人从若羌逃回敦煌。马仲英苦心经营的36师，到此被全部消灭。
关于马仲英最后的结局，现在还没有一个准确的资料。主要流传着这样几种说法：1、马仲英在苏联空军学院毕业后，加入了苏联空军，后因飞机失事死于空难。2、马仲英在苏联期间，恰逢斯大林的肃反运动扩大化，被打成托派而死于冤狱。3、马仲英曾用重金贿赂苏方接待人员，因怕丑闻暴露，被克格勃杀人灭口。4、马仲英后来投身苏联卫国战争，在与德寇的空战中牺牲。……
根据跟随马仲英进入苏联学习的马彦良回忆，1935年冬，中国工农红军到达河西走廊的时候，苏联派专家十多人，与马仲英等组成了一个联合参谋处，专门研究中国西北地形、国民党在西北的军事力量和迎接红军入疆的问题，这个参谋处连续工作了三个多月，后因红军西路军失败才停止。36师被消灭后，马彦良等人辗转来到延安，1938年10月在延安，马彦良见到了毛主席，毛主席说：“马仲英现在仍在苏联，你们以后可以见面”。但他们再没有见到他们传奇般的“尕司令”。马彦良解放后担任宁夏政协副主任，以他的身份和地位，他的回忆可信度极大，因此，极有可能在1938年底，马仲英还在苏联。
但据英文本的《盛世才回忆录》称，马仲英已于1937年被特务告密秘密处死，而跟马仲英去苏联的随从也一并被处死。盛世才很怕斯大林用马仲英来替代他在新疆的统治。所以，盛世才到苏联访问时，千方百计打听马仲英的下落。据说马仲英去苏联时，携带了大量的在新疆搜刮的金银财宝，一些看管的苏联克格勃向马仲英借钱，马仲英都是慷慨给予，后来，他们越借越多，怕斯大林知道后对他们不利，所以，这些特务在斯大林面前造马仲英是日本帝国主义走狗的谣，斯大林是个多疑的人，就把马仲英秘密处死了。
跟随马仲英出国的有一位高级幕僚叫葛荠云，他的后代在解放后曾托人向苏联驻华大使馆询问其父和马仲英的下落，得到的苏联官方正式答复是：“马仲英在卫国战争中牺牲。”
