Кото Нисидзава — первая жена. Родила ему дочь Сюкуко за десять месяцев до вступления в брак. Ясудзиро развелся с Кото в 1915 году после шести лет брака.
Соно Ивасаки, сотрудница почтового отделения, которым управлял Цуцуми, родила ему сына Киёси. Это случилось в период первого брака Цуцуми.
Сразу после первого развода Цуцуми вступил в брак с Фуми Кавасаки. Бездетный брак официально продлился 39 лет.
От двух дочерей своего клиента, обедневшего банкира Ёсидзо Аоямы, Цуцуми имел сына Сэйдзи и дочь Кунико. Третья дочь банкира, Мисао Аояма, стала в 1928 году постоянной любовницей Цуцуми, на протяжении 26 лет жила в одном доме с ним и его второй женой, в 1954 году после развода Цуцуми с Фуми Кавасаки стала его третьей женой. Она усыновила детей, рожденных сестрами, но сама не родила Цуцуми ребенка.
Цунэко Исидзука в период с 1934 по 1942 год родила Цуцуми троих сыновей — Ёсиаки, Ясухиро и Юджи.
Цуцуми также имел других детей от любовниц и проституток, но официально их не признавал.