似顔絵の講座でも似た悩みがあったな
重要なのは目、鼻、口とかパーツの配置らしい
極端な話、目の位置がズレるだけで別人になる

あと二次だとオリジナルと比べて目や鼻が大きいとかでも別人化する