AI 赋能传统工作流 · MHCI 毕业设计

Goodwill Agent

拿着衣服说出商品信息，标签就在工位打印出来。

等待确认的语音条：转写为 ‘Womens long sleeve blouse, medium, better’，已填入女装、长袖衬衫、M 码及示例价格档位。绿色 Confirm 按钮等待处理员核对后提交。

我们设计的语音条，浮在 Goodwill 原有的 POS 上 · 静态预览，商品与价格为示例

点击放大 试用交互原型

我们设计的语音条

左右滑动或滚动，查看完整语音条。

横向语音条：左侧是聆听状态，中间是识别出的商品字段与转写，右侧是 Clear 和 Confirm。所有控件保留原有位置。
我的角色
产品设计 + 技术指导主导用户研究、产品设计与工程开发
合作方
Goodwill
团队
5 名 CMU MHCI 研究生
职责
情境访谈 · 数据分析 · 语音交互流程设计 · Windows 自动化工程
设计稿
在 Figma 中查看（英文） 团队的布局探索和语音条草稿
大约十一个人站或蹲在写着 Goodwill Southwestern Pennsylvania、Job Training、Life Changing 的墙面标识前合影。
我们团队与 Goodwill 管理层合影。

项目成果

+112%一周门店试点中，处理员每小时处理的服饰类商品数（约 39 → 83 件）
3位研究生同学成立了 ReLay 有限责任公司，继续与 Goodwill 合作，把工具部署到更多门店
32 家门店后来都推广了这个工具，覆盖 Goodwill 宾州西南部和西弗吉尼亚地区
首个Goodwill 内部 AI 工作流工具
0 → 1现场调研 → 设计 → 交付代码
01

挑战

处理得慢，衣服就卡在后仓

捐赠衣物在后仓处理得越慢，能上架销售的商品就越少。我们要找出服饰纺织品（softlines）处理的瓶颈，让处理员更快、更省力地完成打签。

2400 万美元宾州西南部 Goodwill 32 家门店服饰纺织品业务的年销售额
~50%处理员年流失率，新流程必须好上手
Goodwill 门店后仓：托盘上堆着封好的纸箱，敞口的大纸箱和蓝色周转箱里塞满捐赠的衣物和杂物，后方是卸货门、空衣架和成摞的纸板。
等待处理的捐赠衣物堆在后仓，尚不能上架。
02

方案落地前

动手设计之前，先从四个角度研究这份工作

我们观察处理员工作、做访谈、请他们边做边说出想法，也亲手处理捐赠衣物。几种方法合在一起，才看清时间真正花在哪里：反复走动、记住价格、一直赶进度。

一位穿红色 Carnegie Mellon 卫衣、戴蓝色手套的人在门店工位上操作 Solutions POS 触摸屏，旁边放着标签打印机。
亲手操作门店的 POS 系统，体验商品录入和打签流程。
4次门店走访
8次处理员访谈
8次出声思维测试
36+件我们亲手处理的捐赠衣物

现有流程的五处耗时

一架衣服挂满后，要推去共用 POS 台排队、录入、打签。

现有流程示意图 后仓平面示意：下方是三个处理工位，上方是共用 POS 台（一台可用的电脑和一台打印机），左上角的出口通往卖场。一架衣服从 3 号工位出发，推到 POS 台录入、打签，再推去卖场。编号 1 到 5 标出五处耗时。 卖场 共用 POS 台 工位 1 工位 2 工位 3 1 2 3 4 5
观察门店的后仓示意图：衣架须经过共用 POS 台才能去卖场。
  1. 认知负担

    价格在衣架旁已经想好，却要记到稍后录入。

  2. 共用电脑要排队

    最多 4 位处理员共用一台可用的电脑，需要排队。

  3. 推车往返

    挂满一架就推去 POS 台，来回占用时间和通道。

  4. POS 系统难用

    录入一件衣服，需要逐级点选多个菜单。

  5. 同一件衣服拿三次

    分拣、录入、贴标分开做，同一件衣服被拿起三次。

Goodwill 原有的 POS 系统（Solutions）

没有语音条的 Solutions DGR POS 界面：顶部菜单依次是 Pull、Reconcile、Save、Switch Buttons、Print Labels、Print Tags、More Menu 和 Back；左侧是一件已录入的商品 Red M Shorts，尺码 M，$7.45，数量 1；右侧是商品菜单，有 Back、Forward 两个按钮和从 Coat (Heavy) 到 Tank Tops 的品类方块。
加上语音条之前的 POS 系统，编号对应下方说明。
  1. 价格记在脑子里

    衣架旁想好的价格，要一直记到这里才录入。

  2. 逐级点选

    每件衣服都要在商品菜单里一级级点下去。

调研结论

  1. 问题定义在减轻处理员脑力和体力负担的同时，让打签更快、更准。
  2. 方向设计一个解放双手的流程，让处理员不离开衣架就能录入商品信息。
03

方案落地后

语音驱动、由人把关的 AI 系统

语音负责输入。屏幕显示转写和识别出的字段。触控在出错和失败时兜底，也负责确认和修改，最终决定权留在处理员手里。

Goodwill Agent 语音条停靠在 Solutions DGR POS 界面上：左侧是暂停键和“Listening”聆听状态；中间依次是部门 Womens、品类 Long Sleeve Blouses、尺码 2XL+、价格档 Better $6.40；右侧是数量、当日计数 256、Clear 和 Confirm 按钮；底部一行是实时转写。
最终的语音条，编号对应下方说明。
  1. 聆听状态 · 暂停

    声波显示收音状态；按键或说口令即可暂停、继续。

  2. 听到了什么

    原始转写单独显示，帮助分清没听清还是理解错。

  3. 理解成了什么

    部门、品类、尺码和价格档逐项回显，点开即可改。

  4. 确认 · 清空

    四项齐了才能确认；Logged 表示成功，Clear 可重来。

  5. 数量 · 当日计数

    数量可调整，成功录入后累计当日计数。

  6. 背后的 Solutions

    Agent 的每一步点选都可见，处理员能跟踪进度。

交互原型

点下方示例或输入英文描述，核对商品信息后点 Confirm，观察 Agent 完成录入。

这个原型需要 JavaScript 才能运行。可以在“方案落地后”一章观看门店试点实拍，了解同一个流程的真实使用情况。

Goodwill Agent 把一句描述变成一张标签

每个工位配一台平板、一副耳麦和一台标签打印机，衣服在衣架旁录入、打签，挂满的衣架直接推去卖场。

Goodwill Impact Lab 里完成的工位：支架上的麦克风、显示 Solutions 和 Agent 的显示器、平板、键盘，以及正在出标签的标签打印机。一人在讲解，另一人坐在键盘前。
Goodwill Impact Lab 里完成的工位：麦克风、屏幕上的 Agent 和标签打印机。
新流程示意图 同一张后仓平面：每个工位都有平板、打印机，处理员戴着耳麦，共用 POS 台不再需要。一架衣服从 3 号工位直接推去卖场。编号 1 到 4 标出新流程的四个要点。 卖场 共用 POS 台 不用再去 工位 1 工位 2 工位 3 1 2 3 4
同一后仓的新流程：衣架从工位直接去卖场。
  1. 平板就在工位上

    平板和打印机放在衣架旁，省去推车和排队。

  2. 解放双手的语音输入

    描述衣服时，双手仍可拿着衣物。

  3. 替人操作 Solutions

    沿用原有系统，由 Agent 代为逐级点选。

  4. 边处理边贴标

    录入、打印、贴好，一件衣服一次做完。

门店试点实拍（有声音）：处理员在衣架旁完成录入和打签。
04

我们怎么做到的

三个选择，决定最终形态

测试集中在三个选择上。

  1. 怎么录入信息选语音，放弃智能眼镜和平板点选。
  2. 界面放在哪里选始终置顶的语音条，放弃全屏界面和独立应用。
  3. 逐件还是批量选逐件贴标，放弃批量处理。
休息室里，一位穿卡内基梅隆大学人机交互研究所 T 恤的人指着打印的故事板讲解，一位 Goodwill 员工在旁边看。
用打印的故事板比较三种输入方案。
9次门店走访
15项研究实验
18版原型迭代
23 小时门店试点测试

为什么选语音？让手留在衣物上

故事板比较中，处理员认为语音最省脑力，也比点选省体力，智能眼镜评价最低。后续语音与触控计时测试中，多数人用语音更快，也更喜欢语音。

我们在有回声的篮球馆里交叉测试麦克风与转写工具，验证它能否应付嘈杂环境。

97–98%嘈杂环境中，夹式麦克风的语音转写准确率
12种麦克风与转写工具的组合
3种输入方案，请 4 位处理员用故事板比较
5位处理员参加语音 vs. 触控计时测试
补充：语音模型对比

团队成员朗读 Goodwill 定价类别词汇，比较云端与本地模型。最终选择准确率较高的 Deepgram，搭配断网时接手的 Vosk。

97.6%Deepgram（云端，选用）：63 个词平均错 1.5 个
95.2%Azure（云端）：63 个词平均错 3.0 个
90.8%Vosk（本地，选用）：73 个词平均错 6.75 个
53.4%Sherpa（本地）：73 个词平均错 34.0 个

为什么做成语音条？

我们从全屏界面、独立应用到浮层，探索了几种形态。Solutions 还承担库存、收银和生产管理，既不能替换，也没有 API。浏览器概念验证跑通了自动点选，接下来要让两套界面共用一块屏幕。

早期全屏线框：左侧是商品列表，右侧展开品类网格，顶部选择部门和尺码，底部有语音和打印按钮。
全屏线框重新组织品类、尺码和商品列表，但录入仍须通过原有 Solutions 完成。
独立平板应用：左侧显示已录入商品，价格已模糊；中间是商品字段和转写，右侧是操作按钮。
独立平板应用集中展示语音和商品信息，但切换应用会打断 Solutions 的自动化。
最终语音条浮在 Solutions 界面底部，原有商品按钮仍完整显示。
浮动语音条让 Solutions 保持全屏，把输入、核对和确认放在同一个浮层。

全屏线框来自团队 Figma 设计稿；后两张为原型画面。点击图片可查看大图。

更多设计稿：布局与语音条的展开、收起

全屏线框比较了展开全部品类与收拢当前选项的布局。语音条又探索了展开和收起两种形态，设计记录还讨论了按钮位置、聆听状态和转写字号。

另一版全屏线框：保留左侧列表，右侧收拢为当前品类 Jacket，并展开 Good、Better、Best、Open 选项。
全屏布局另一案：收拢品类，把当前选择放大。
展开的语音条草稿：暂停状态、商品字段、数量、计数和确认按钮横向排列。
展开方案：商品字段和操作同时显示。
收起的语音条草稿：只保留恢复按钮和收音状态的小浮窗。
收起方案：缩成只显示收音控制的小浮窗。
查看团队的 Figma 原设计稿试用当时的独立平板原型（英文）

为什么逐件贴标？一次做完更快

每件衣服当场完成录入和贴标，减少了重复经手。

−25%20 件衣服对比测试的处理用时，约 10 → 7.5 分钟
3 → 1每件商品的经手次数

让处理员保留控制权

我把 Agent 做成在工位电脑上运行的 Windows 应用。只有核对通过才继续操作；界面一旦和预期不符，就停下来交给人处理。

补充：工程实现与部署验证

Agent 沿用处理员自己登录的会话，不接触 Solutions 账号凭据。指令是幂等的，一次只执行一条。每一步都按“核对、操作、再核对”的状态机执行，界面一旦和预期不符，就立刻停下来交给人处理。

我们对 131 名 Goodwill 员工做过问卷，只有 8% 信任 AI 建议。在这样的组织里，这些看不见的约束和屏幕上的确认同样重要。系统没把握的时候，控制权一定交回给人。

Goodwill IT 两次上门支持之后，Agent 在 Goodwill 的受控测试环境里，用真实的 Solutions 系统（DGR.exe）跑通了完整的打签流程，最后以可自动更新的安装包交付。

Goodwill Agent：一个 Windows 应用始终置顶的语音条 · 在 POS 电脑本地运行 · 无需服务器、无需配对
语音与指令管线有人说话才收音 · 可切换识别引擎（离线或云端）· 服装词表 + 模糊 / 音近匹配 · 幂等的顺序队列 · “核对、操作、再核对”的 UI 自动化状态机
SolutionsGoodwill 原有的 POS 系统，负责录入商品和打印标签
05

结果与下一步

试点中，每小时处理量翻了一倍多

这是一人、一周的试点，提升幅度只能算方向性证据。工具后来推广到 Goodwill 宾州西南部和西弗吉尼亚地区的全部 32 家门店。

“我很喜欢。这个太好了，会让我们更快。”

试点处理员
+112%一周门店试点中，处理员每小时处理的服饰类商品数
39 → 83件／小时，对比这位处理员过去半年的平均水平
补充：推广成本与收益测算（预测）

这是收益预测，尚未实现。按效率提升 50%–112% 与不同售罄率组合，四种情景的年新增收入约为 470 万–2650 万美元。最保守情景假设效率提升 50%、售罄率为 45%。

年运行成本计入平板、耳麦和打印机的三年摊销、语音模型用量、IT 维护，以及 10% 应急预算。

+470 万美元最保守情景下每年新增的收入（预测）
8.98 万美元全地区每年的运行成本（估算）
0.38%运行成本占目前服饰纺织品年销售额的比例
7 天最保守情景下收回一年运行成本所需的时间

下一步要验证的四件事

  1. 01在全部门店衡量效果

    工具已进入全部 32 家门店，下一步用更多处理员的数据验证效率提升。

  2. 02更多口音和语言

    覆盖更多口音，测试西班牙语等语言的输入与翻译。

  3. 03适配更多品类

    让商品品类和价格可以配置。

  4. 04反馈要跟上信任

    试点中，处理员很快信任系统并不再回头核对。下一步要让错误仍能及时被发现。

下一个案例

个人上线应用 · 移动端交互设计 闪卡词典根据单词记忆分数安排复习顺序的英语学习应用

粤ICP备2026155250号