[RFC] 093 - Anthropic Context Caching

[arvinxx]

背景

#6595 做了 Claude 3.7 搜索之后效果真的很好，但是需要 context cache 支持来降低成本。目前已经完成前置准备工作（ #6699 ） ， 支持了 token 的展示。

之前也有社区的讨论 issue：

• [Request] 支持提示词缓存Prompt caching #4561

本 RFC 将完成 Anthropic Context Caching 的接入集成。

设计思路

参考 Anthropic 的官方文档 ，目前做 Context Caching 已经非常容易了。

在 https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching#continuing-a-multi-turn-conversation 这一章节， Anthropic 给了一个很好的示例，介绍了多轮对话中如何添加 cache control：

import Anthropic from '@anthropic-ai/sdk';

const client = new Anthropic();

const response = await client.messages.create({
    model: "claude-3-7-sonnet-20250219",
    max_tokens: 1024,
    system=[
        {
            "type": "text",
            "text": "...long system prompt",
            "cache_control": {"type": "ephemeral"}
        }
    ],
    messages=[
        // ...long conversation so far
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Hello, can you tell me more about the solar system?",
                }
            ]
        },
        {
            "role": "assistant",
            "content": "Certainly! The solar system is the collection of celestial bodies that orbit our Sun. It consists of eight planets, numerous moons, asteroids, comets, and other objects. The planets, in order from closest to farthest from the Sun, are: Mercury, Venus, Earth, Mars, Jupiter, Saturn, Uranus, and Neptune. Each planet has its own unique characteristics and features. Is there a specific aspect of the solar system you'd like to know more about?"
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Tell me more about Mars.",
                    "cache_control": {"type": "ephemeral"}
                }
            ]
        }
    ]
});
console.log(response);

其实非常简单，只需要在 systems 和最后一条 message 中添加 "cache_control": {"type": "ephemeral"} 即可。

然后由于这个配置是 claude 专属，因此会新增一个模型级别的配置参数，用于对这个 context caching 进行控制。

进展

• ✨ feat: support Anthropic Context Caching #6704

[Aloxaf]

请问 tools 定义要不要考虑也加上缓存呢？ https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching#caching-tool-definitions

[arvinxx]

有道理，我加一下吧

[AnoyiX]

aws bedrock 的 claude 模型支持么？

[arvinxx]

这一版实现还没加，主要是我没测试账号

[arvinxx]

又实际跑了下，5w token 下，这个节省的成本力度是非常爽了：

如果按缓存前原价： 186750，缓存后 33590，缓存后价格是缓存前的 17%

[HarukaB]

能不能支持openrouter的Claude模型呢？

[arvinxx]

看了下应该支持不了。统一 OpenAI 接口规范的做法开始出现反噬了

[HarukaB]

好吧，那目前看来只能通过将Anthropic-style的API请求转回openai-style，然后改设置里的BASE URL来实现访问

[Aloxaf]

openrouter 只支持 text 部分的缓存，agent 模式下函数调用返回的 token 才是大头，这部分没办法缓存，非常蛋疼。

[HarukaB]

openrouter 只支持 text 部分的缓存，agent 模式下函数调用返回的 token 才是大头，这部分没办法缓存，非常蛋疼。

是吗？我只知道openrouter不会直接返回缓存的token数

[arvinxx]

一个完整的演示视频：

Thinking+.CoT.mp4

[m0eak]

https://xueqiu.com/9926299616/318735746 好像这个网页一直会卡住，从而导致不输出

cpu占用也很高

别的模型也不行，而且cpu占用高了之后lobe直接失联了

[arvinxx]

似乎 fetch 会导致 node 有这个问题… 要不把雪球放jina里

[m0eak]

似乎 fetch 会导致 node 有这个问题… 要不把雪球放jina里

听不懂，这个需要我操作吗😂

[arvinxx]

不用，但欢迎贡献 pr ~ https://github.com/lobehub/lobe-chat/blob/main/packages/web-crawler/README.zh-CN.md