导读 OpenAI是一家目前处于人工智能领域前沿的公司，最近宣布成立一个新团队，其具体任务是评估和减轻与人工智能相关技术进步相关的潜在灾难性风...
OpenAI是一家目前处于人工智能领域前沿的公司，最近宣布成立一个新团队，其具体任务是评估和减轻与人工智能相关技术进步相关的潜在灾难性风险。此举凸显了主动应对生成模型可能带来的挑战和危险的重要性。显然，他们没有受到适当的监控。
随着人工智能的快速发展，新的风险不断出现，可能对全球范围产生严重影响。为此，OpenAI新的准备团队将致力于跟踪、评估、预测和防范这些潜在问题。已确定的风险包括核威胁，这一主题凸显了人工智能领域采取负责任行动的紧迫性。
除了核威胁外，该团队还将关注与化学、生物和放射性物质有关的危险，以及人工智能自我复制现象，即人工智能系统自主复制自身的能力。其他关注领域包括人工智能欺骗人类的能力和网络安全威胁。
先进人工智能的好处和挑战
OpenAI认识到前沿人工智能模型——那些超越最先进现有模型能力的模型——有潜力造福全人类。不，与你的想法相反，人工智能不是为了窃取我们的工作，而是为了创造工作。
然而，权力越大，责任也越大。因此，必须制定风险知情政策，允许对人工智能模型进行评估和监控，以确保收益大于相关风险。
这个新团队的领导权已委托给机器学习领域的领军人物AleksanderMadry。Madry目前正在辞去麻省理工学院可部署机器学习中心主任的职务，他将协调工作以制定和维护风险知情的发展政策。
迈向全球优先事项
OpenAI首席执行官SamAltman对人工智能潜在灾难性风险的担忧并不陌生。他建议，应像对待核武器一样认真对待人工智能技术，强调需要集体承诺减轻与人工智能相关的灭绝风险。这个新团队代表了实现这一愿景的具体步骤，凸显了OpenAI对促进人工智能负责任管理的承诺。