蒋介石原以为他突然出走,可以使军校办不起来,所以处处暗示以去廖为要挟。据陆培湧的研究,蒋想以杨庶堪或张静江来替代廖仲恺。(见Loh,The Early Chiang Kai-shek,)但是廖的底子太硬了,廖最积极支持孙之联俄容共政策,亦因而最为孙依赖与信任,被选为中国国民党中央执行委员会三常委之一,又兼任大本营秘书长,随时助孙处理政务,实为孙左右的核心人物。蒋出走后,孙即命廖代蒋职,继续筹备军校事宜。当孙与廖回信给蒋,略作安抚后,蒋仍无回音,廖乃寄去“哀的美敦书”:“转介石兄,归否?请即复,俾得自决!”至此,蒋知廖搞不倒,军校不会因他辞职而不办。事实上,军校学生聚集黄埔已好几百人,势在必办。遂即于同日复电:“函电敬悉,弟必来粤,勿念。”
蒋介石终于1924年4月21日又回到广州,26日赴黄埔军校办公,5月3日,正式被孙中山任命为军校校长兼粤军参谋长。廖仲恺亦于5月9日正式出任黄埔陆军学校的中国国民党党代表。蒋仍然未能避开廖的“阴影”。其实,廖只是亲共的国民党,共产党在黄埔军校里扮有重要的角色,周恩来原来是军校的政治部副主任,然于1925年3月升任政治部主任兼军法处处长,担任政治教官的共产党还有恽代英、萧楚女、包惠僧、高语罕等人,另外还有苏联教官数十人,而且整个制度根本是苏式的,无疑可称之为“红色的黄埔”,蒋介石亦获致不虞而誉的“红色将军”(The Red General)称号。他当时对共产主义绝无异议,甚至是极为赞同的,甚至公开说:“我们要党成功、主义实现,一定要仿效俄国共产党的办法。”(见《黄埔丛书》第二集,第63页)他所关切的是权力,共党的权力发展对他说来是未来的“隐忧”,而当前军校的实际排名,由于孙中山兼军校总理,他在孙总理、廖代表之下,名列第三。直至孙、廖先后去世后,蒋介石才真正坐上黄埔军校的第一把交椅。