讯飞AI云服务架构演进

龙明康

科大讯飞  云计算研究院  副院长

2011年加入讯飞,当前任云计算研究院副院长,深度参与了语音云从0到1的建设,主导了语音云从日均PV从百万到千亿的演进。并主导了AIUI(人机交互系统)、AIoT(智能物联网)平台的建设。擅长高性能高可用的基础组件和云平台系统架构,对AI/人机交互/即时通讯/智能物联网领域的平台化有深入的理解。

演讲概要

第一代AI平台主要构建了适合AI能力服务的系统架构,包括流式数据传输协议,流式服务框架,流式计算引擎框架。随着系统流量的爆增,很快出现了一系列的系统问题:响应慢、成功率低、故障率高,排障难。接下来就是系统优化之路,包括接入调度、接入协议优化(HTTP/WebSocket/HTTP2/QUIC),服务去状态化,计算引擎调度优化,trace系统的建设(APM),质量量化分析(大数据分析)等。
在度过稳定性难关后,随着AI应用场景的愈发复杂,AI能力的组合需求越来越多,导致了大量的定制研发工作,迫切需要一个更加通用的架构来支撑。架构之路,殊途同归。基于SOA思想的AI服务架构应运而生,AI能力单元化,引入编排调度(难点流式编排调度),配合扩展FaaS来做输入输出适配。由此演化出了由一系列AI能力组合出来的语音交互平台(AIUI)。当然AIUI作为一个语音交互系统,本身也遇到了一系列挑战。AIUI本身具备了Link具体场景的能力,我们会介绍AI Link 到 IoT智能家居场景上的一些实践。

听众收益

1.了解AI平台独特的流式计算架构
2.了解通用高可用系统的一些坑与优化经验,包括接入调度、接入协议优化(HTTP/WebSocket/HTTP2/QUIC),服务去状态化,计算引擎调度优化,trace系统的建设(APM),质量量化分析(大数据分析)等
3.了解一个能适配任意AI能力组合的通用架构以及产生的化学反应,如AIUI(语音交互系统,对标Amazon Alexa)
4.了解AI Link的一些应用场景案例,如IoT