А если у кого в голове нет японского звука, (...) у него японское распределение будет схлопываться к двум разным эталонам и поэтому ему будет казаться, что оно бимодальное - в смысле, часть японцев говорит так, а другая - вот эдак.

По-моему, именно так и есть. Причём, не только с япоскими звуками, а вообще с любыми неродными так происходит. Например, произношение английского th по-русски как [c] или [ф], если оно мягкое, и как [з] или [т], если оно твёрдое.