Hacker News· amrrs·· 9 小时前精选AI 评分31
自托管 LLM 代理：跑自己的代理才能掌握调用情况
If you don't run your own LLM proxy, how do you know whats going on?
AI 导读
文章以反问标题提出，如果不自己运行 LLM 代理，就无法了解模型调用的真实情况，主张部署自有代理来获得对请求路由和流量的可见性。
推荐理由
以反问立论提醒团队，自托管 LLM 代理是看清模型调用与路由的必要前提。
来源：Hacker News · jrdsgl.com