Featured image of post 支持 100 多个 LLM 的 AI 网关:多模态、负载均衡、超时重试 | 开源日报 No.414

支持 100 多个 LLM 的 AI 网关:多模态、负载均衡、超时重试 | 开源日报 No.414

快速友好的 AI 网关 gateway,支持负载均衡、多模态路由,安装仅约 45kb,适用于企业级部署,安全可靠,让 AI 服务更高效!

Portkey-AI/gateway

Github Repo Stars License: `MIT` Language: `Unknown`

demo-picture-of-gateway

gateway 是一个快速的 AI 网关,可以通过一个快速友好的 API 路由到 100 多个 LLM。

  • 快速且轻量级(安装后约 45kb)
  • 支持负载均衡、回退和重试
  • 可配置请求超时处理无响应的 LLM 请求
  • 多模态支持视觉、TTS、STT 等模型之间的路由
  • 适用于企业级部署,具备增强安全性和可定制化部署能力

microsoft/lida

Github Repo Stars License: `MIT` Language: `Unknown`

demo-picture-of-lida

lida 是使用大型语言模型自动生成可视化和信息图表的库。

  • 将可视化看作代码,提供清晰的 API 用于生成、执行、编辑、解释、评估和修复可视化代码。
  • 数据总结
  • 目标生成
  • 可视化生成
  • 可视化编辑
  • 可视化解释
  • 可视化评估和修复
  • 推荐可视化方案 优势:
  • 支持多种大型语言模型提供商(OpenAI, Azure OpenAI, PaLM, Cohere, Huggingface)。
  • 兼容任何编程语言和数据可视化库(如 matplotlib,seaborn,altair,d3 等)。
  • 提供干净的 API 用于处理数据总结、目标设定以及信息图表生成。

haoheliu/AudioLDM2

Github Repo Stars License: `NOASSERTION` Language: `Unknown`

cover

AudioLDM2 是一个支持文本转音频(包括音乐)和文本转语音生成的项目。

  • 支持高保真度的 48kHz AudioLDM 模型
  • 提供 16kHz 改进版的 AudioLDM 模型
  • 可以生成长于 10 秒的音频
  • 集成 Diffusers 库,支持风格迁移和修复代码
  • 提供 Web APP 和命令行使用方式

zongzibinbin/MallChat

Github Repo Stars License: `Apache-2.0` Language: `Unknown`

demo-picture-of-MallChat

MallChat 是一个既能购物又能聊天的电商系统,以互联网企业级开发规范要求实现。它包括购物车、订单、支付、推荐、搜索等电商必备功能,并持续更新中。 该项目具有以下特点和优势:

  • 支持微信扫描登录
  • 提供丰富的消息类型和实用小轮子(如 AOP 日志,分布式锁注解)
  • 使用 Spring Boot 作为后端框架
  • 使用 MyBatis 作为 ORM 框架
  • 支持 Redis 缓存加速和 Caffeine 本地缓存
  • 使用 Nginx 进行负载均衡和 WebSocket 升级等功能

microsoft/devhome

Github Repo Stars License: `MIT` Language: `Unknown`

cover

devhome 是为 Windows 设计的全新开发者主页体验。

  • 提供更多在 Windows 上使用权力的目标
  • 包含 Dev Home、Dev Home 核心小部件等源代码
  • 支持 Windows 11 version 21H2 或更新版本,或者 Windows 10 version 22H2 或更新版本
  • 可通过 Microsoft Store 安装,也可通过 GitHub 手动下载或使用 winget 进行安装
  • 提供仪表板显示 Windows 小部件、机器配置工具和热门应用列表功能
Licensed under CC BY-NC-SA 4.0