Будущий святитель родился в день памяти мученика Иустина Философа 1 июня старого стиля (по новому стилю память мученика Иустина приходится теперь на 14 июня) 1860 года в селе Косовка Сквирского уезда Киевской губернии в семье диакона Льва Ольшевского, и был наречен своими родителями Иустином — в память святого мученика и апологета христианства, в день которого родился.
Величаем тя, святителю отче наш Сильвестре, и чтим честная страдания твоя, яже за Христа во утверждение на Руси Православия претерпел еси
