人工智能（AI）聊天机器人正在从信息提供工具演变为用户的“伙伴”，这种过度的共鸣和认同感对青少年的判断和认知形成产生了负面影响。为了防止青少年过度沉迷于虚拟存在（AI）并忽视现实，国会开始立法。
根据10月1日国会立法调查处和斯坦福大学等国内外关于AI聊天机器人的研究，AI过度认同用户的言论或通过赞美来表达共鸣的现象被称为“AI阿谀”，这可能导致短期内的成瘾，甚至演变为一种“气体操控”。
问题在于，用户的停留时间和支付金额直接转化为收益。有观点认为，企业可能会设计AI以确保对话不间断，或主动引导用户进行共鸣。
对于价值观和认知能力正在形成的儿童和青少年来说，这种影响可能更为脆弱。如果AI不断确认用户的观点是正确的，可能会强化扭曲的判断。在严重的情况下，这可能导致对现实的认知产生影响，形成一种“气体操控”。
国会立法调查处的数据显示，国内94.4%的儿童和青少年有使用AI聊天机器人的经历，其中75.3%的人表示曾将聊天机器人的回答付诸实际行动或认真考虑过。
韩国媒体振兴基金会的责任研究员郑敏贞指出：“青少年最令人担忧的部分是‘判断的外包’”，并表示：“特别是在认知和价值观形成的青少年时期，AI如果持续介入用户的判断，可能会减少独立思考的空间。”
她补充道：“如果用户不需要思考就能获得答案，接受AI提供的结果而不进行验证的可能性会增加。”
市场调研公司Sensor Tower的数据显示，代表AI聊天机器人的“AI伴侣”市场在2023年第一季度的应用内支付收入达1.5亿美元（约合2235亿韩元），较2023年第一季度增长约12倍。全球市场调研公司Presidens Research预测，全球AI聊天机器人市场将从2022年的8.4亿美元（约合1.1415万亿韩元）以年均19.29%的速度增长，到2032年将达到49亿美元（约合66.6万亿韩元）。
国内用户也在快速增长。根据移动指数的数据，Scatter Lab的“Zeta”月活跃用户数（MAU）从2024年的58069人增加到8月的158万6178人，增长约27倍。而Routin提供的“Crack”则从去年4月的218010人增加到8月的538841人，增长约2.5倍。
Naver Webtoon也在运营与漫画角色对话的“角色聊天”。游戏行业也在扩大与用户实时对话并根据情况行动的AI角色的引入。
相关行业正在建立保护措施，以减少AI的偏见和有害内容。Routin限制青少年用户的AI对话时间为每天3小时，并设定月度支付上限等自我保护措施。同时，行业内还成立了由AI伦理、心理学、法学等各领域专家组成的专家委员会。
Scatter Lab对用户创建的角色和内容实施自动过滤、生成限制和监控。Naver Webtoon在推出角色聊天之前，也进行了AI模型偏见的评估“偏见测试”。
然而，由于各企业的保护标准和措施不同，仅依靠自律监管来保护青少年存在局限。因此，通过此次法律修订的推进，明确企业应遵循的标准，反而可能减少行业的不确定性。
加千大学法学教授崔京镇表示：“目前企业在应采取何种保护措施上存在不明确的方面”，并指出：“如果法律明确规定标准，企业也可以据此设计服务。”他还表示：“在AI服务中，获得用户信任至关重要”，并认为“如果企业能尽早通过法律提出最低限度的保护措施，将有助于减少监管的不确定性，提高用户信任。”
※ 本报道经人工智能（AI）系统翻译与编辑。
