cloudflare AI gateway实战代理任意第三方大模型服务提供商

cloudflare AI gateway实战代理任意第三方大模型服务提供商

大纲

cloudflare AI gateway能做什么

创建网关并添加自定义大模型服务商

实战对接自定义服务商

正文

cloudflare AI gateway能做什么

1、提供日志分析

2、缓存

也可以跳过或者设置缓存有效期，有缓存后就不用每次请求大模型了，而是cloudflare返回缓存的内容，这样可以节省一些费用。

跳过或者设置缓存有效期的文档：https://developers.cloudflare.com/ai-gateway/features/caching/

3、限速

4、重试和模型回退

可以处理请求失败时的处理场景，如失败时请求另一个模型。

5、代理自定义模型

这个是本文教程的核心。

创建网关并添加自定义大模型服务商

1、创建网关

https://dash.cloudflare.com/?to=/:account/ai/ai-gateway点击创建：

我们回到ai gateway的首页： https://dash.cloudflare.com/?to=/:account/ai/ai-gateway 可以看到网关创建好了，我们点击配置自定义服务商：

我这里以某个newapi开发的大模型分发站为例做演示，我这里用的是https://www.dmxapi.cn/，有免费的模型可供测试之用：先注册一个账号并添加一个令牌：创建好后我们打开cloudflare的配置自定义服务商页面，点击添加：api地址见各大模型厂商文档：创建好了。

我们进到网关，点击设置，创建身份验证令牌：记下生成的令牌，通过cloudflare AI gateway请求自定义大模型的curl：

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/compat/{endpoint} \\ -H "Authorization: Bearer $PROVIDER_API_KEY" \\ -H "cf-aig-authorization: Bearer $CF_AIG_TOKEN" \\ -H "Content-Type: application/json" \\ -d '{ "model": "custom-some-provider/model-name", "messages": [{"role": "user", "content": "Hello!"}] }'

上面有6个字段要获取，我们一个个来：

1、account_id

2、gateway_id

3、$PROVIDER_API_KEY

这个是在dmxapi添加的令牌

4、$CF_AIG_TOKEN

5、custom-some-provider

我们创建的自定义服务商的名称，我之前创建的名称为：拼接起来就是：

custom-dmxapi

6、model-name

这个就是自定义服务商支持的模型名称了，比如dmxapi有这些免费模型：我这里任选一个：qwen-flash

7、endpoint

某些大模型厂商是：

v1/chat/completions

这个需要简单测试一下即可。

最后我的curl就是（其他参数需要自己拼接起来）：

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/compat/v1/chat/completions \\ -H "Authorization: Bearer $PROVIDER_API_KEY" \\ -H "cf-aig-authorization: Bearer $CF_AIG_TOKEN" \\ -H "Content-Type: application/json" \\ -d '{ "model": "custom-dmxapi/qwen-flash", "messages": [{"role": "user", "content": "Hello!"}] }'

发起请求，拿到结果：查看日志：

这样的话，我们只需要配置一下就能代理请求某个自定义的大模型，我们可能配置多个custom-、每个custom可以有多个模型，这样的话对接就简单很多，还能看到每次自己请求的内容和ai返回的内容是啥。

ok，大家有啥疑问的也可以在评论区留言，喜欢的朋友可以帮我分享一下谢谢~