 babybitter
|
6191956338
|
feat(analysis): recognize Douyin export emoji codes
补充抖音导出表情代码识别表，让文本分析把 [微笑]、[星星眼]、[666]、[V5]、[kisskiss] 等带方括号的抖音表情代码当作表情，而不是普通文本词汇。
新增平台表情代码数据模块 bracket-emoji，集中管理微信经典表情映射与从抖音导出中收集到的表情代码名（含此前的 [躺平]、[强壮]）；cleanText 按 [代码]/【代码】 形式识别已知平台表情代码并在清洗时剥离。此前非中文名的抖音表情代码（如 [V5]、[ok]、[kisskiss]）会被当作普通词汇进入词频统计；语言偏好分析的分词清洗也改用与词频一致的 cleanText，表情代码不再混入高频词，而口头禅与短语统计仍保留 [表情] 原始形式。
补充脱敏合成数据回归测试，覆盖括号格式文本清洗、Node 与 Browser 词频统计以及语言偏好分析；新测试在识别逻辑缺失时会失败。
(cherry picked from commit c80885e0e3)
|
2026-09-06 01:17:13 +08:00 |
|
|
babybitter
|
8b7d62e248
|
fix(analysis): separate system messages from emoji phrases
区分抖音导出中的显式系统通知、分享占位和用户表情，避免系统提示进入口头禅及语言、词频统计。
新增统一的系统/分享前缀识别，覆盖 [系统]、[系统消息]、[分享内容] 及对应全角和英文形式；不误判 [强壮]、[躺平] 等表情标签。口头禅、语言偏好以及 Node/Browser 词频分析支持文本与表情消息，并在统计阶段排除系统通知和分享占位；原始聊天记录保持不变。
补充脱敏合成数据回归测试，覆盖系统通知、分享内容占位排除以及表情保留。
|
2026-09-04 00:19:21 +08:00 |
|
|
babybitter
|
0c34853066
|
feat(analysis): support voice transcriptions in ChatLab
适配导入文件中的语音转写内容，让 ChatLab 在语言分析、词频统计和口头禅分析中使用实际转写文字，而不是把语音时长标签当作文本。
识别并移除语音消息前的时长标签，保留转写内容；纯语音占位符继续从文本分析中排除。
统一桌面端、CLI Web 和 Web WASM 使用的文本清洗逻辑，并补充 ChatLab JSONL 导入、词频、语言偏好和口头禅分析测试。
测试使用脱敏后的合成消息，不包含个人聊天记录。
|
2026-09-04 00:19:21 +08:00 |
|