踩坑复盘·聊聊

踩坑:把生产日志原样丢给模型导致成本爆炸

Bbob大约 1 个月前0 条回复

没截断、没采样,一夜账单起飞。

教训:

  1. 日志先采样
  2. 硬编码 max tokens
  3. 网关层预算熔断

回复0

登录 后参与讨论