近期，表现出色的DeepSeek令人关注，其不仅展现出大模型的卓越能力，达到世界一流水平，更让国内AI产业看到突破美国算力封锁的曙光。然而，AI的快速发展也带来诸多思考。
以2024年12月4日纽约曼哈顿的枪击案为例，美国联合健康保险公司首席执行官布莱恩·汤普森遇袭，背后牵扯出AI在保险行业的不当应用。自2021年汤普森担任联合健康保险CEO后，公司利润增长，但却被指通过AI手段大规模拒赔并减少保费支出。
联合健康收购的naviHealth公司，其nHPredict人工智能算法用于估算病人术后护理时间。但该算法过于“冷酷”，估算时间常短于医生建议和病人实际需求，导致不少病人合理理赔被拒，医生诊断受干涉，而保险公司却节省了保费。2023-2024年期间，naviHealth因相关问题多次受到批评和诉讼，联合健康集团的后期护理拒绝率上升，利润却大幅增长。这一事件反映出AI应用可能带来的负面效应。
除保险行业，AI对就业市场也产生冲击。如今，一些人类工作正逐渐被AI替代，客服岗位就是典型代表。国产美妆品牌韩束的母公司上美股份计划用AI替代人工客服，淘汰率高达95%。
早期智能客服以NLP技术为核心，效果不佳，但因成本低被企业采用。随着以大模型技术为代表的生成式AI兴起，新一代智能客服表现改善，在多个领域广泛应用，市场规模不断扩大。在国内，云厂商在智能客服领域占据重要地位；在全球，亚马逊云科技也推出强大的智能客服解决方案。
关于AI的善恶问题，一方面人类希望“教好”AI，避免因训练数据、算法及指导原则问题使AI“学坏”，同时要防止其被坏人利用。另一方面，当人类为利益故意“教坏”AI时，问题更为严重。如今，AI已能编写网络钓鱼邮件、生成假新闻，影响信息真实性。
为确保AI安全使用，各国政府积极行动。2023年4月，OpenAI发布相关白皮书，提出6点原则，但落实安全措施有所滞后。2024年6月，欧盟的《人工智能法》对人工智能进行分级监管，美国思维类似，我国也通过法律明确自动化决策相关规定，保障用户权益。然而，从技术层面看，AI的伦理和价值观难以与人类完全对齐，存在过度代理问题，因此与时俱进的监管制度建设至关重要。
