林森原本不算太“右”。孙中山在世时，他对“容共”政策并未公开表示反对。迨孙去世后，他对汪精卫操切地剪除异己表示不满。邹鲁趁机加以拉拢，两人遂决定共同行动。当被任命为北上外交团成员后，他们将计就计，离粤以后，先至上海，联络一批中央执监委员，随后又一同前往北京西山，召开国民党一届四中全会，反击广州中央的领导。于是有了“西山会议派”之汇聚。
当时聚集在上海的有谢持、叶楚伧、茅祖权、邵元冲、沈定一（原为中共党员，大约于1925年7月公开转变为反共）、戴季陶、覃振、孙科、许崇智等人。这批人会聚，除对“容共”政策持有异议外，共同对汪精卫不满，亦是他们结盟的一个重要因素。《邵元冲日记》中所记“西山会议派”最初聚集情形，除了共愤汪氏“剪伐异己”外，未见涉及“容共”问题。当然邵氏日记未记载，并不表明他们对“容共”问题没有看法，但当时在上海的这批“老同志”似乎更关注汪精卫的所作所为。张静江是唯一一个与这些人过从甚密，却没有加盟其中者。据邵元冲揭示，张静江之所以不愿加盟，“盖彼实为始终偏袒精卫者，故处处表示一种难言之隐也”。值得注意的是，这些对汪氏不满的“老同志”，并非因汪氏如何“左倾”，而更多的是“从友道信义上立论”。如戴季陶致粤中各人通电中，大谈“友道信义”，认为汪精卫“不应苛遇展堂”，谴责汪氏为人“狡刻”。许崇智之被逐离粤，本是受蒋介石的排挤，但许崇智在责备蒋介石的同时，对汪精卫似乎更不能原谅，认为“介石有时或受人挑拨，盛气难回，然精卫不为之谅解，而反投井下石，殊非对友朋之道”。由此观之，“西山会议派”的形成，至少有两个方面的因素：一是共同对“容共”政策不满；二是共同对汪精卫不满。