可扩展性

为AI应用构建可扩展且对智能体友好的API

我们平时用AI模型聊天，其实底层就像在打电话，每次说话都要连着同一条线。普通网页聊天靠浏览器和服务器“黏”在一起还能凑合，但AI智能体可能短时间内发出几十个请求，中间还会跑去查资料、重试、出错，结果一旦服务器从一台扩到三台，请求被分到不同机器，就可能丢掉之前的对话，模型照样回复，却答得不对。文章用2014年微服务那套老办法来修：把对话历史从单台机器里拿出来，放到所有机器都能读写的共享存储里，这样任意一台机器都能接着聊。配套用Oracle AI Database Free做演示。对读者来说，这解释了为什么AI API不能直接照搬普通网页后端，并给出了一个可落地的改造方向。