——出自步穹算力小镇

一个真实场景

一家小团队，看某渠道便宜，一口气充了几千块。上线第一周相安无事，第二周赶上业务高峰，API 延迟从 800ms 飙到 4 秒，客服机器人当场"痴呆"，用户投诉爆了。

事后一测：那家渠道高峰期并发一上来就排队。这个毛病，压一次十分钟就能暴露，但他们没压。

压测到底在看什么

别被"压测"两个字吓到，它不是大厂的专利。核心就看四个指标：

  • 首 token 延迟：你问完到它开口的时间。高峰期翻倍以上要警惕。
  • P99 延迟：最慢的 1% 请求有多慢。比均值高 3 倍以上说明不稳定。
  • 吞吐/并发：同时多少人问不排队。低于你业务峰值就是定时炸弹。
  • 输出一致性：同一 prompt 多次跑结果稳不稳。忽长忽短可能在偷截断。

关键不是测一次，而是分时段测——凌晨的数据漂亮没用，你的用户在晚上八点。

最常见的三个坑（都是实测见过的）

  1. 低谷期表演型选手：凌晨飞快，高峰瘫痪。便宜渠道的重灾区。
  2. 偷截断输出：你设置 max_tokens=4096，实际 2000 就断。账单好看，活没干完。
  3. 模型版本漂移：标称 A 模型，后端悄悄换成便宜的 B。不拿固定 prompt 集反复对，根本抓不到。

怎么压？两种路子

自己动手：拿你真实业务里 20~50 条有代表性的 prompt，写个简单脚本，分早中晚三个时段各跑几轮，记录上面四个指标。半天搞定，够用了。

找我们压：步穹有自己的压测系统，目前是线下人工帮你跑——你把业务场景和 prompt 集给我们，我们出一份实测报告：延迟曲线、并发上限、输出一致性，全是原始数据和方法论，结论你自己下。想约的到算力咖啡厅留个言。

最后说句实在的

算力这行，价格透明只是第一层，稳定性才是隐形的定价。两个渠道报价差 30%，跑完压测你可能发现贵的那家反而划算——因为不出事。

买之前压一遍，这个习惯值多少钱，踩过坑的人最清楚。

---

步穹算力小镇，做算力行业的直连管道：机房有肉无嘴、开发者嗷嗷待哺，我们做最短最纯净的那根吸管。