Благотворитель
«Не было в Петербурге ни одного крупного культурного начинания, в котором Г. не принял бы участия как своими щедрыми денежными взносами, так и личным трудом» (Еврейская энциклопедия Брокгауза и Ефрона). Вот неполный список благотворительных учреждений, в создании, деятельности и финансировании которых принимал участие Гораций Гинцбург: Благотворительное общество при Санкт-Петербургских богадельнях, Императорское общество поощрения художеств, Общество доставления средств Высшим женским курсам, Общество доставления дешевых квартир и других пособий нуждающимся жителям Санкт-Петербурга, Санкт-Петербургское общество пособия бедным евреям, Санкт-Петербургский Императорский археологический институт, Институт экспериментальной медицины, Ремесленное училище имени цесаревича Николая. При Биржевой больнице был учрежден хирургический барак имени Гинцбурга, в котором оказывалась помощь тяжелобольным.
В память о своем сыне Марке, скончавшемся в 1878 году, Гинцбург учредил фонд в Академии искусств для выдачи премии художникам-евреям.
Стипендии Гинцбурга получали юные скрипачи Миша Эльман, Яша Хейфец, Ефрем Цимбалист.
Стипендия, выдаваемая Гинцбургом, была основным средством существования юного Марка Антокольского, приехавшего из Вильно в Санкт-Петербург, чтобы стать художником.
Антокольский создал портреты самого Гинцбурга (1877), его жены и других членов семьи. Гинцбург приобрел копии всех произведений Антокольского, подарил скульптору имение с замком в Швейцарии, где тот провел свои последние дни.
Из письма Антокольского скульптору Илье Гинцбургу (однофамильцу бизнесмена): «Это удивительный человек, необходимо, чтобы мы все, кто только был прикосновен к его дому, совокупно выразили ему нашу любовь и уважение, и вот я подумал: необходимо, чтобы все его пенсионеры, бывшие и настоящие, собрались и написали ему адрес, который выразил бы ему преданность и благодарность за все то, чем он помогал им. Я первый подпишусь под этим адресом».