facebookresearch/xformers

xFormers 是一个加速 Transformer 研究的工具包，主要功能如下：

• 可自定义构建模块：无需样板代码即可使用的独立/可定制化构建模块。这些组件与领域无关，被视觉、NLP 等领域的研究人员广泛使用。
• 以研究为先导：xFormers 包含在 pytorch 等主流库中还不可用的尖端组件。
• 注重效率：因为迭代速度很重要，所以组件尽可能快速和内存高效。xFormers 包含了自己的 CUDA 核心，并在相关时候调用其他库。

stas00/ml-engineering

这个项目是一个开放的方法论集合，旨在帮助成功训练大型语言模型和多模态模型。

• 提供了调试软件和硬件故障、容错性、性能优化等方面的指导
• 支持多节点网络通信和模型并行计算
• 包含有关张量精度/数据类型、训练超参数和初始化以及可重现性等内容的信息

mlflow/mlflow

MLflow 是一个机器学习生命周期平台，主要功能包括跟踪实验、将代码打包成可复现的运行环境以及分享和部署模型。其核心优势和特点如下：

• MLflow Tracking：记录参数、代码和结果，并提供交互式 UI 进行比较。
• MLflow Projects：使用 Conda 和 Docker 对代码进行打包，实现可复现性，并与他人共享。
• MLflow Models：提供模型打包格式和工具，可以轻松地在批处理和实时评分等平台上部署相同的模型 (来自任何机器学习库)。
• MLflow Model Registry：集中管理 ML 流程中完整生命周期所需的模型存储、APIs 和用户界面。

facebookresearch/detectron2

Detectron2 是 Facebook AI Research 的下一代库，提供了最先进的检测和分割算法。它是 Detectron 和 maskrcnn-benchmark 的继任者，在 Facebook 中支持许多计算机视觉研究项目和生产应用程序。

• 包括全景分割、Densepose、级联 R-CNN、旋转边界框等新功能
• 作为一个库来支持构建在其之上的研究项目
• 模型可以导出到 TorchScript 格式或 Caffe2 格式进行部署
• 训练速度更快

google-research/tuning_playbook

Deep Learning Tuning Playbook 是一个旨在帮助工程师和研究人员最大化深度学习模型性能的项目。该项目提供了一系列指导，重点关注超参数调优过程，并涵盖了其他与深度学习训练相关的重要问题。其核心优势和主要功能包括：

• 提供选择合适模型架构、优化器和批次大小等方面的指南。
• 强调科学方法来改进模型性能。
• 探索与开发之间权衡 (exploration vs exploitation) 以及确定下一轮实验目标时需要考虑的因素。
• 设计下一轮实验并决定是否采用训练流水线变更或超参数配置变更。

huggingface/transformers

这个项目是一个名为 Transformers 的开源机器学习项目，它提供了数千种预训练模型，用于在文本、视觉和音频等不同领域执行任务。该项目主要功能包括：

• 文本处理：支持超过 100 种语言的文本分类、信息抽取、问答、摘要生成和翻译等任务。
• 图像处理：支持图像分类、目标检测和分割等任务。
• 音频处理：支持语音识别和音频分类等任务。 此外，Transformer 模型还可以对多个领域进行联合操作，例如表格问答、光学字符识别以及从扫描文件中提取信息等。该项目具有以下关键特点和核心优势：
• 提供 API 快速下载并使用预训练模型，可根据自己的数据集进行微调，并与社区共享。
• 支持 Jax，PyTorch 和 TensorFlow 三大流行深度学习库之间无缝集成，在加载推理前轻松地训练您的模型。