我最近在想safe and responsible ai的事,个人感觉接触下来美国那边特别关注safety但国内依然重视程度不够。我觉得的确是要认真考虑的,在我们做Qwen的开始阶段,我就在和我师弟讨论AGI应该是一个怎么样的模型,他的观点我至今无法忘记,那个说法是我们的模型应当追求真善美。从这个角度思考如何让你的模型更安全更负责,是很有难度的,posttraining的工作就不仅instruction tuning而且rlhf阶段都需要做很多工作,还要考虑对各类攻击的防御,尽所能让模型对人有帮助的同时还是有底线有原则的