Botika 如何在 Modal 上运行全栈生成式 AI

Botika 把全栈生成式 AI 运行在 Modal 上：自研数十亿参数基础模型、100TB 图像数据管道，并在生产环境同时服务约 15 个模型。该管道用数千个并发容器处理 100TB 数据，错误率低于 1%；单个研究员的实验量从每天一两个提升到 50 个。生产推理覆盖 L4、L40S、A100 和 H100，队列、自动扩缩容与冷启动由 Modal 承担。