AI Application Architect · 7—8 MIN

蔡平
AI应用架构师

面试官好,我叫蔡平。我有11年研发经验,职业经历覆盖企业应用开发、平台架构设计以及大模型与Agent应用落地。

阶段 01

后端研发

Java后端与企业应用开发,建立扎实的工程基础。

阶段 02

平台架构

微服务、支付平台与数据治理平台架构设计。

阶段 03

AI应用

大模型与Agent平台规划、架构、核心研发和团队建设。

Agent / RAGAI工程化Java / Python平台架构
本页口述稿

面试官好,我叫蔡平,到现在大概有11年的研发经验。

我最开始做的是Java后端和企业应用,后来慢慢开始负责微服务、支付平台和数据平台这些架构工作。最近几年,我的工作重点转到了大模型和Agent应用,主要负责技术规划、平台架构、核心功能开发,也会参与团队建设。

01 · OVERALL ARCHITECTURE

我在上家公司主要做了什么

2020年加入上家公司,担任AI应用架构师和主程,负责AI业务规划、技术架构、核心研发和团队建设。

业务Agent智能客服 · AI数字人 · 内容运营 · AI销售智能优化
智枢基础设施平台统一模型接入 · Agent Runtime · 知识与记忆 · 工具集成 · 评测与治理
文化天府数字化平台用户 · 内容 · 活动 · 课程 · 报名 · 运营数据
业务场景共享能力数据底座持续反馈闭环
本页口述稿

我是2020年加入公司的,担任AI应用架构师和主程。简单来说,我主要做了三层事情。

最底层是文化天府数字化平台,它负责用户、内容、活动这些真实业务,也沉淀了大量业务数据。中间是我主导建设的智枢基础设施平台,它把模型接入、知识库、Agent运行这些公共能力统一起来。最上层就是具体的AI应用,比如智能客服、内容运营和AI销售。

这样做的好处是,底层有真实数据,中间的技术能力可以重复使用,上层业务也能更快交付。

02 · AGENT INFRASTRUCTURE

智枢平台:把重复能力统一起来

LLM Gateway

统一协议、动态路由、热切换、Token统计与成本管理。

Agent Runtime

Planning、Tool Calling、状态管理、异常恢复与运行时治理。

知识与记忆

多租户知识库、短期会话记忆、长期用户画像。

7模型平台 / 供应商
50+模型服务
9类多模态能力
2万日均调用
统一接入动态路由能力复用成本治理持续演进
本页口述稿

第一个项目是智枢基础设施平台。

当时公司做的AI应用越来越多,但每个项目都要重新接模型、做知识库、管理Prompt、开发工具调用,重复工作比较多。所以我就主导做了这个公共平台。

可以把它理解成公司内部的AI技术底座。不同厂商的模型先统一接到模型网关,再根据场景选择合适的模型;Agent运行、知识库、上下文记忆、工具调用这些能力,也都由平台统一提供。业务团队开发新Agent时,就不用每次都从头开始。

目前我们接入了DeepSeek、智谱、阿里百炼、火山方舟、月之暗面、硅基流动和OpenAI,一共7个平台、50多个模型服务,基本覆盖了文字、推理、图片、视频和音频这些能力。

平台现在日均调用大约2万次。新Agent的交付时间从原来的4周左右缩短到2周,Token成本也下降了大约25%。我觉得这个项目最大的价值,就是把原来比较零散的AI项目,整理成了一套大家都能复用的能力。

03 · BUSINESS EVOLUTION

从智能客服到AI销售优化

这几个项目是一步一步演进出来的:先让客服能够自动回答和实时交流,再用真实销售数据不断优化回答方式和转化效果。

ASRAgent推理Tool调用TTSWebRTC

Agent与实时交互

模型能力与业务工具双抽象;推理、工具选择、执行、观察、再规划;FEC和自适应Jitter Buffer改善弱网体验。

知识与业务工具

语义切片、Metadata、混合检索;商品、库存、订单、营销策略封装为Agent Tool。

销售进化闭环

销售对话沉淀、Prompt/RAG、SFT与模型对齐、自动评测、能力发布。

4000人单日最高咨询
1.5万销售对话样本
72→86%回答准确率
+8~12%销售线索转化率
本页口述稿

第二个项目是智能客服、AI数字人和AI销售。其实这几个项目不是完全分开的,而是一步一步演进过来的。

第一步是先把客服做智能化。我主要负责Agent运行和实时语音这部分,让Agent不仅能回答问题,还能查询商品、库存和订单,也能调用营销工具。语音方面,我们把语音识别、Agent处理、语音合成和WebRTC实时通信整条链路打通了,在网络不太好的情况下也能尽量保证对话流畅。

第二步是补充知识和业务能力。我们把历史销售沟通记录整理成企业知识库,并把商品、库存和订单服务封装成Agent可以调用的工具。最后实现了文字、语音和数字人几种交互方式,最高一天承接了4000人咨询。

客服能回答问题以后,我们又继续做AI销售优化。因为“回答正确”和“会销售”其实是两件事,所以我们整理了大约1.5万条销售对话,其中3000组用于模型对齐,同时把产品知识、销售话术、异议处理和成交技巧沉淀下来。

为了知道优化有没有效果,我们还建立了一套评测题库,覆盖20类销售场景和300个常见问题。经过几轮优化,回答准确率从72%左右提升到86%,销售策略符合度从65%提升到87%,销售线索转化率提升了大约8%到12%。这样就形成了一个从真实对话中发现问题、再优化Prompt和模型、最后重新发布的循环。

04 · CONTENT AGENT

用Agent提升内容生产效率

把一篇内容从活动分析、策划、文案、配图到审核发布,拆成一条可以重复运行的AI工作流。

活动分析内容策划文案生成图片生成内容审核发布运营

LangGraph / SubGraph

支持不同文化馆复用通用流程,同时保留独立编排能力。

任务可靠性

PostgreSQL Checkpointer实现状态持久化、断点恢复与异常重试。

全链路可观测

接入LangSmith,追踪节点状态、Token消耗与响应时间。

16个文化馆及账号
2000篇月均辅助生成
2h→30m单篇制作时间
+60%内容生产效率
本页口述稿

第三个项目是文化内容运营Agent,主要是帮助文化馆提高公众号和新媒体的内容生产效率。

以前运营人员做一篇内容,要自己整理活动信息、想选题、写文案、找图片、审核和发布,整个过程比较花时间。我们就把这些步骤拆成了一条AI工作流,让不同的Agent分别负责分析、策划、文案、图片和审核。

技术上我使用了LangGraph来编排流程,同时做了任务保存、失败重试和运行监控。这样即使一个比较长的任务中途出错,也不需要从头再来。

目前平台接入了16个文化馆和新媒体账号,每个月辅助生成大约2000篇图文。单篇内容的制作时间从原来的2小时左右缩短到30分钟,初次审核通过率大约80%,整体效率提升了60%左右。

05 · BUSINESS & DATA FOUNDATION

文化天府:业务和数据基础

我主导平台从单体应用Spring Cloud微服务SaaS架构升级,完成用户、新闻、活动、课程和报名等领域服务拆分。

通过Redis、分布式锁和消息队列解决高并发报名问题。更重要的是,平台沉淀了真实的用户、内容、活动和运营数据,为智能客服、内容运营和销售优化提供持续反馈的数据基础。

用户域内容域活动域课程域报名域
真实业务数据用户 · 内容 · 活动 · 运营 · 服务过程
AI能力演进知识沉淀 · 评估分析 · Prompt优化 · 模型对齐 · Agent发布
本页口述稿

前面这些AI项目之所以能真正落地,和文化天府数字化平台有很大关系,因为它提供了真实的业务场景和数据。

这个平台我也参与得比较深。我主导过它从原来的单体系统升级成Spring Cloud微服务架构,把用户、新闻、活动、课程和报名这些功能拆成独立服务。像热门活动集中报名这类高并发问题,我们通过Redis、分布式锁和消息队列来解决。

目前平台有200万以上用户,日活超过10万,覆盖成都16个区县文化馆。也正是因为有这些真实用户、内容和运营数据,后面的智能客服、内容运营和销售优化才不是单纯做一个演示,而是能在真实业务里不断验证和改进。

06 · CLOSING

最后简单总结一下

01

复合架构能力

传统企业架构经验 + Agent、RAG与大模型应用落地经验。

02

完整业务闭环

从业务问题出发,贯通数据、模型、平台、应用和反馈优化。

03

生产落地能力

既能做技术方案和核心研发,也能推动团队协作、技术评审和生产交付。

NEXT STEP

继续深耕AI应用架构和Agent平台方向,把模型能力转化为稳定、可评估、可持续优化的企业级产品能力。

本页口述稿

最后简单总结一下,我觉得自己主要有三个特点。

第一,我既做过传统的企业级系统,也做过Agent、知识库和大模型应用,所以在做AI项目时,我会比较关注系统怎么真正落地,而不只是模型效果。

第二,我习惯先看业务问题,再决定怎么使用数据、模型和技术,不会为了用AI而用AI。

第三,我不只是做方案,也会参与核心代码、技术评审和团队协作,能够把项目一直推动到正式上线。

下一阶段,我希望继续做AI应用架构和Agent平台方向的工作,参与更复杂、也更有实际业务价值的项目。

以上就是我的自我介绍,谢谢各位面试官。