是的，新车在冬季使用玻璃水时，建议将普通玻璃水更换为防冻玻璃水。因为防冻玻璃水具有较低的冰点，可以在寒冷的天气中防止玻璃水结冰，保持喷水系统的正常运行。同时，防冻玻璃水还可能含有抗雾、抗霜等性能，提供更好的驾驶视野。所以，在冬季使用防冻玻璃水是很有必要的。