Ouvrier filtier, Gustave Delory fonde en 1879 le syndicat des filtiers. Il est alors renvoyé de son usine et exerce divers métiers. Dès 1882, il adhère au Parti ouvrier dont il fonde la section lilloise l’année suivante.
Jusqu’en 1884, il est administrateur du journal Le Forçat fondé par Gustave Joncquez. Selon le Grand Echo du Nord, lorsque le Forçat cesse de paraître, il retourne à l’usine de Fives, puis devient cordonnier. Il tient ensuite un cabaret à l’enseigne de La Ferme , 21, rue de Béthune. Il fonde avec Carette, le maire de Roubaix, Le Cri du travailleur. En 1890, il crée l’imprimerie ouvrière.
En 1892, il est élu conseiller d’arrondissement dans le canton nord-est de Lille. Quatre ans plus tard, à la tête d’une coalition regroupant des radicaux et des socialistes, il prend la mairie de Lille. Il est ensuite élu conseiller général en 1898 et député en 1902. Victime de dissensions entre socialistes et radicaux, il perd la mairie en 1904 qu’il reprend en 1919.
Resté à Lille pendant la guerre, Gustave Delory est interné à la citadelle puis déporté à Holzminden en Allemagne. Député, vice-président du conseil général du Nord depuis 1922, il meurt en août 1925.