ISCM было создано в начале 20-х, когда музыкальный авангард осознал, что новому искусству нужны самостоятельные методы взаимодействия с аудиторией. В 1923 году в Зальцбурге по инициативе композитора и теоретика Рудольфа Рети был проведен первый фестиваль. Поскольку ISCM существует на взносы национальных секций, с первых же встреч не утихает полемика вокруг того, должны ли фестивали быть посвящены только авангарду или всему тому, что создается в определенный период времени. С приходом к власти нацистов были запрещены самые радикальные секции ISCM — немецкая, австрийская, чешская.
После второй мировой войны деятельность ISCM оживилась, но ненадолго: с внедрением музыкального радио и современной звукозаписи обратная связь композиторов и публики приняла иной характер. И все же ISCM объединяет композиторов — представителей 47 стран (в 1923 году их было всего 14). Ни Советский Союз, ни Россия в ISCM не входили. Если бы не норвежские аккордеонист Гейр Драугсволльы, по собственной инициативе сыгравший сочинение Софьи Губайдулиной "De Profundis" для баяна соло, в Манчестере русские вовсе не были бы представлены. В 90-е годы в ISCM были приняты Украина и Белоруссия, но последняя была исключена "не столько за неуплату членских взносов, сколько из-за полного отсутствия каких-либо контактов", прокомментировал этот факт президент ISCM Арне Мельнас (Швеция).