Colin Anson se narodil jako Claus Ascher v Berlíně. Byl nucen uprchnout z nacistického Německa, neboť jeho otec Curt Ascher patřil ve třicátých letech k nemnoha Hitlerovým politickým odpůrcům. Po zatčení gestapem byl uvězněn v Dachau a tam také v roce 1937 zemřel.