Il est le fils d'un officier polonais exilé en France en 1830, Józef Dybowski, et neveu d'Alexandre Napoléon Dybowski, professeur d'allemand et d'anglais au collège royal de Poitiers dès 1844 puis à Paris, officier des lanciers décoré de la croix militaire de Pologne, Virtuti militari.
Il est le cousin du zoologiste polonais Benedykt Dybowski.