まず 1<|x|≦|y|≦|z| という条件がなければ、ω = cos(2π/5)+isin(2π/5) として
x = ω^2, y = ω^3, z = ω^4 とすれば
1+x+y+z+cos(2π/5)+isin(2π/5) = 1+ω^2+ω^3+ω^4+ω = 0
で式がすべて 0 = 0 となって成り立つから、そうでない答えが求められてるのよね。
原理的には x, y, zの対称式でできているから A = x+y+z, B = xy+yz+zx, C = xyz とおいて
３つの式を A, B, C で表すことができるから、それをA, B, Cについて解けば
あとは t^3 - At^2 + Bt - C = 0 の解が x, y, z になるとは思うけど、計算を考えると途方に暮れるわね
あとちょっと思ったのは、p = (1+x+y+z+ω)/5 とおいて計算すると
5(p+p^2+p^3+p^4) = (x^5-1)/(x-1) + (y^5-1)/(y-1) + (z^5-1)/(z-1)
となるわね。左辺は p≠1なら 5(p^5-1)/(p-1) - 5 に等しいわ。
何も役立たないかもしれないけど。