Featured image of post canal 增量数据处理 | 开源日报 0819

canal 增量数据处理 | 开源日报 0819

这篇文章总结了一些令人兴奋的开源项目,涵盖了各种领域。无论你是开发人员、设计师还是想要探索新技术的爱好者,这些项目都值得一看。从数据库解析到PDF生成,从计算机视觉到游戏开发,这些项目将为你提供实用工具和有趣的体验。无论你是想要优化工作流程,还是寻找新的创造灵感,都不要错过这个令人眼花缭乱的列表!

xxlllq/system_architect

Github Repo Stars License: `NOASSERTION` Language: `Unknown`

cover

该项目是一个系统架构设计师复习资料的开源项目。

  • 包含 2009-2022年全套真题及解析、无解析版真题、章节分类真题解析和其他真题书籍电子版。
  • 提供官网、报名入口、成绩查询入口等相关链接。

jiran214/GPT-vup

Github Repo Stars License: `NOASSERTION` Language: `Unknown`

cover

GPT-vup Live2D 数字人直播是一个基于生产者-消费者模型设计的项目,支持 BiliBili 和抖音直播。它使用了 openai 嵌入和 GPT3.5 api 来实现功能。主要功能包括回答弹幕和 SC、欢迎入场观众、感谢礼物等。该项目还提供了一些插件,如 speech 插件可以进行语音交互,schedule 插件可以隔一段时间触发某一事件 (例如讲故事、唱 rap),action 插件可以根据观众的行为匹配对应人物动作,并且还有 context 插件用于给问题补充上下文信息。

diegomura/react-pdf

Github Repo Stars License: `MIT` Language: `Unknown`

cover

React PDF 是一个用于在浏览器和服务器上创建 PDF 文件的 React 渲染器。

  • 可以使用 React 来创建 PDF 文件
  • 支持在 DOM 中进行渲染
  • 支持将生成的 PDF 保存为文件

getumbrel/llama-gpt

Github Repo Stars License: `MIT` Language: `Unknown`

cover

LlamaGPT 是一个自托管、离线的 ChatGPT 类聊天机器人,由 Llama 2 驱动。100%私密,没有数据离开您的设备。

  • 可以在 umbrelOS 家庭服务器上安装 LlamaGPT
  • 可以在任何 x86 或 arm64 系统上使用 Docker 运行 LlamaGPT
  • 提供不同规模的模型选择:7B、13B 和 70B Chat
  • 兼容 OpenAI API,并提供 API 文档
  • 在不同硬件上进行了基准测试

路线图和贡献: 我们计划为 LlamaGPT 添加更多功能。最高优先级包括将模型从 Docker 镜像中移出并放入单独卷中、增加 CUDA 和 Metal 支持 (正在进行)、允许加载自定义模型、允许用户在不同模型之间切换等。如果您是一名开发者,并希望对其中任何问题提供帮助,请打开一个 issue 来讨论解决挑战的最佳方法。

LorisYounger/VPet

Github Repo Stars License: `Apache-2.0` Language: `Unknown`

cover

虚拟桌宠模拟器是一个开源的桌宠软件,可以内置到任何 WPF 应用程序。该项目主要功能包括支持各种互动投喂等,并且免费、开源。其核心优势和特点如下:

  • 超多的互动和动画:提供多达 32 种不同状态和 3 种类型的动画。
  • 免费:完全免费使用,无需付费。
  • 开源:在 GitHub 上进行开源,欢迎用户提出自己的想法、创意或参与项目开发。
  • 支持创意工坊:用户可以制作并上传别的人物桌宠动画或者互动至创意工坊分享给更多人使用。

taojy123/KeymouseGo

Github Repo Stars License: `GPL-2.0` Language: `Unknown`

cover

KeymouseGo 是一个记录用户鼠标键盘操作并自动执行的开源项目。

  • 可以记录用户在计算机上进行的任意操作,如点击鼠标、键盘输入等。
  • 支持通过触发按钮来自动执行之前记录的操作,并可以设定执行次数。
  • 提供桌面模式和命令行模式两种基本操作方式。
  • 支持脚本语法说明,使用 json 格式表示每一次动作及其参数。
  • 具有自定义扩展功能,可根据需要添加新功能。

rany2/edge-tts

Github Repo Stars License: `GPL-3.0` Language: `Unknown`

cover

edge-tts 是一个 Python 模块,允许你在 Python 代码中使用 Microsoft Edge 的在线文本到语音服务,或者使用提供的 edge-ttsedge-playback 命令。它可以通过 pip 安装,并且支持以下功能和优势:

  • 可以使用命令行工具进行基本用法
  • 支持更改语言和声音
  • 可以调整生成语音的速率和音量
  • 提供了 Python 模块,可以直接从 Python 中调用

roboflow/supervision

Github Repo Stars License: `MIT` Language: `Unknown`

cover

这个项目是一个可重用的计算机视觉工具,主要功能包括从硬盘加载数据集、在图像或视频上绘制检测结果以及统计特定区域中的检测数量。该项目有以下核心优势和特点:

  • 可轻松切换支持的目标检测/实例分割模型之间的推理流程
  • 提供高级过滤功能
  • 支持图像注释
  • 能够加载多种格式的目标检测/实例分割数据集
  • 可循环遍历数据集条目
  • 能够将数据集拆分为训练、测试和验证部分,并合并多个数据集
  • 支持保存不同格式的目标检测/实例分割数据集,并进行标签转换等操作

此外,该项目还提供了对象检测任务下平均精度 (mAP) 等评估指标。

novuhq/novu

Github Repo Stars License: `MIT` Language: `Unknown`

demo-picture-of-novu

Novu 是一个开源的通知基础设施项目,它提供了统一的 API 来通过多个渠道发送通知,包括应用内、推送、电子邮件、短信和聊天。主要功能有:

  • 为所有消息提供商 (应用内、电子邮件、短信、推送和聊天) 提供单一 API
  • 管理多个渠道上的通知非常容易
  • 配备 CMS 进行高级布局和设计管理
  • 内置保护机制以防止变量丢失 (即将推出)
  • 安装和集成简单方便
  • 在单个仪表板中调试分析多渠道消息
  • 可嵌入式带实时更新的通知中心

此外,该项目还具有社区驱动特性,并支持各种编程语言。

Github Repo Stars License: `Apache-2.0` Language: `Unknown`

cover

CDC Connectors for Apache Flink® 是一组用于 Apache Flink® 的源连接器,使用变更数据捕获 (CDC) 从不同数据库中摄取变化。该项目集成了 Debezium 作为捕获数据变化的引擎,并完全利用 Debezium 的能力。支持多种数据库,包括 MongoDB、MySQL、Oracle 等。主要功能有:

  • 支持读取数据库快照并在发生故障时继续读取事务日志进行精确处理。
  • 提供 DataStream API 和 Table/SQL API 两种方式来消费多个数据库和表中的更改。
  • 可以使用 SQL DDL 创建一个 CDC source 来监视单个表上的更改。

alibaba/canal

Github Repo Stars License: `Apache-2.0` Language: `Unknown`

cover

canal 是一个开源项目,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。它可以实现多种业务需求,包括数据库镜像、数据库实时备份、索引构建和维护、业务缓存刷新以及带有业务逻辑的增量数据处理等功能。canal 模拟了 MySQL slave 的交互协议,并通过解析二进制日志对象来获取增量变更。其核心优势包括:

  • 整体性能测试与优化
  • 原生支持 prometheus 监控
  • 原生支持 kafka 消息投递
  • 原生支持 aliyun rds 的 binlog 订阅 (自动主备切换/oss binlog 离线解析)
  • 支持 docker 镜像

此外,canal 还特别设计了 client-server 模式,并使用 protobuf 3.0 作为交互协议,在不同语言中可采用不同客户端实现消费逻辑。同时也可以将变更记录投递到 MQ 系统中 (如 Kafka/RocketMQ),借助 MQ 的多语言能力。

bellard/quickjs

Github Repo Stars License: `NOASSERTION` Language: `Unknown`

cover

这个项目是一个名为 quickjs 的开源项目。

主要功能:

  • 提供了快速、轻量级的 JavaScript 引擎

关键特点和核心优势:

  • 快速:提供高性能的 JavaScript 解释器
  • 轻量级:具有小巧且可嵌入式的设计,适用于资源受限环境

ubicloud/ubicloud

Github Repo Stars License: `NOASSERTION` Language: `Unknown`

cover

Ubicloud 是一个开放、免费和便携的云平台,类似于 Linux 对专有操作系统的替代品。它在裸金属提供商 (如 Hetzner、OVH 和 AWS Bare Metal) 上提供 IaaS 云功能。您可以自己在这些提供商上设置它,也可以使用我们的托管服务。Ubicloud 目前处于公共 Alpha 测试阶段。

  • 提供了与传统云厂商相同的基础设施即服务 (IaaS) 特性
  • 可以通过托管平台或者自建方式来使用

Kotlin/kotlinx.serialization

Github Repo Stars License: `Apache-2.0` Language: `Unknown`

cover

这个项目是 Kotlin 的多平台/多格式无反射序列化工具。

  • 支持使用 @Serializable 标记的 Kotlin 类和标准集合。
  • 提供 JSON、Protobuf、CBOR、Hocon 和 Properties 等不同的序列化格式。
  • 完全支持 JVM、JS 和 Native 三种平台。

apple/ml-fastvit

Github Repo Stars License: `NOASSERTION` Language: `Unknown`

cover

FastViT 是一个使用结构重参数化的快速混合视觉 Transformer。该项目提供了在 ImageNet-1K 数据集上训练的多个模型,用于图像分类任务,并通过 iPhone 12 Pro 进行基准测试。以下是 FastViT 的一些核心优势和特点:

  • 快速:FastViT 模型具有较低的推理延迟。
  • 高性能:各种规模 (从小到大) 和知识蒸馏版本的 FastViT 模型都达到了很高的 Top-1 准确率。
  • 多样性选择:可以根据需求选择不同大小和复杂度级别 (如 SA、MA 等) 的预训练模型。

ill-inc/biomes-game

Github Repo Stars License: `MIT` Language: `Unknown`

cover

Biomes 是一个开源的基于 Web 技术构建的沙盒 MMORPG 游戏,使用了 Next.js、Typescript 和 WebAssembly 等 web 技术。它使用 React 和响应式编程范例进行游戏开发。

Licensed under CC BY-NC-SA 4.0