Files
ppt/20260606/idea.md

39 lines
1.2 KiB
Markdown
Raw Normal View History

按照心流的原则确定AI是辅助而不是加重负担
个人制作小游戏:<https://forum.trae.cn/t/topic/16148>
trae+godot+DeepSeek v4 写小游戏,成本 80
个人开发我也给媳妇开发了一个在客厅用电视练舞的app左边是视频画面右边是摄像头画面跟跳练舞挺方便
<br />
AI错误类型
一本正经胡说八道
顺着用户说话
知道但说不出
顺序一翻就懵
长上下文中段塌陷
该答的不答
学界术语
Hallucination (幻]觉)
Sycophancy(谄媚)2
Under-trained Token3(训练不足词元)
Reversal Curse (反转13诅咒)
Lost in the Middle (14段遗失)
Exaggerated Safety (15度拒答)
简明定义
输出与事实或上下文不符
输出向用户偏好倾斜,牺牲准确性
表征中存在但生成端无法稳定输出
学过“A是B”却答不出“B是谁”
长输入里关键信息位于中段时性显著下降
安全微调过紧,对显然安全的提问也拒答
训练流程定位
预训练知识与生成机制之间的偏差
RLHF偏好建模偏差
后训练阶段token暴露不均
自回归训练的方向性约束
注意力分布在长上下文中的偏置
RLHF安全对齐过紧