650 亿参数大模型的预训练方案，发布即开源。训练速度较传统方案提升 38%。
这就是由 colossal-ai 最新发布的类 llama 基础大模型预训练方案。
要知道，在“百模大战”背景下，谁拥有自家大模型，往往被视为核心竞争力。在这个节点下，愿意开源大模型的公司少之又少。但自己从头训练一个大模型，对技术、资金都有很高要求。
由此，colossal-ai 最新的开源动作，可以说是应时势所需了。并且它还不限制商业使用，开箱即用仅需 4 步。
具体项目有哪些内容？一起往下看~
32 张 a100 / a800 即可使用
实际上，自从 meta 开源 llama 后，掀起了一波微调项目热潮，如 alpaca、vicuna、colossalchat 等都是在其基础上打造的。
但是 llama 只开源了模型权重且限制商业使用，微调能够提升和注入的知识与能力也相对有限。
对于真正想要投身大模型浪潮的企业来说，训练自己的核心大模型非常重要。
开源社区也此前已献了一系列工作:
redpajama:开源可商用类 llama 数据集
openllama:开源可商用类 llama 7b / 13b 模型，使用 easylm 基于 jax 和 tpu 训练
falcon:开源可商用类 llama 7b / 40b 模型
但这些都还不够，因为对于最主流的 pytorch gpu 生态，仍缺乏高效、可靠、易用的类 llama 基础大模型预训练方案。
所以 colossal-ai 交出了最新的开源答卷。仅需 32 张 a100 / a800，即可搞定 650 亿参数类 llama 大模型预训练，训练速度提升 38%。
而像原生 pytorch、fsdp 等，则因显存溢出无法运行该任务。
hugging face accelerate、deepspeed、megatron-lm 也未对 llama 预训练进行官方支持。
开箱即用、4 步搞定
而这一项目真正上手起来也很简易。共有四步:
1、安装 colossal-ai
2、安装其他依赖项
3、数据集
4、运行命令
具体代码如下:
第一步、安装 colossal-ai。
第二步、安装其他依赖项。
cdexamples/language/llama#installotherdependenciespipinstall-rrequirements.txt#useflashattentionpipinstallxformers
第三步、数据集。
默认数据集 togethercomputer / redpajama-data-1t-sample 将在首次运行时自动下载，也可通过-d 或 —dataset 指定自定义数据集。
第四步、运行命令。
已提供 7b 和 65b 的测速脚本，仅需根据实际硬件环境设置所用多节点的 host name 即可运行性能测试。
cdbenchmark_65b/gemini_autobashbatch12_seq2048_flash_attn.sh
对于实际的预训练任务，使用与速度测试一致，启动相应命令即可，如使用 4 节点 * 8 卡训练 65b 的模型。
colossalairun--nproc_per_node8--hostfileyour_host_file--master_addryour_master_addrpretrain.py-c'65b'--plugin"gemini"-l2048-g-b8-a
如果使用 colossal-ai gemini_auto 并行策略，可便捷实现多机多卡并行训练，降低显存消耗的同时保持高速训练。
还可根据硬件环境或实际需求，选择流水并行 张量并行 zero1 等复杂并行策略组合。
其中，通过 colossal-ai 的 booster plugins，用户可以便捷自定义并行训练，如选择 low level zero、gemini、ddp 等并行策略。
gradient checkpointing 通过在反向传播时重新计算模型的 activation 来减少内存使用。
通过引入 flash attention 机制加速计算并节省显存。用户可以通过命令行参数便捷控制数十个类似的自定义参数，在保持高性能的同时为自定义开发保持了灵活性。
colossal-ai 最新的 shardformer 极大降低了使用多维并行训练 llm 的上手成本。
现已支持包括 llama 的多种等主流模型，且原生支持 huggingface / transformers 模型库。
无需改造模型，即可支持多维并行的各种配置组合，能够在各种硬件配置上都发挥卓越的性能。
colossal-ai:大模型系统基础设施
带来如上新工作的 colossal-ai，如今已是大模型趋势下的明星开发工具和社区了。
colossal-ai 上述皇冠登陆ip网址的解决方案已在某世界 500 强落地应用，在千卡集群性能优异，仅需数周即可完成千亿参数私有大模型预训练。
上海 ai lab 与商汤等新近发布的 internlm 也基于 colossal-ai 在千卡实现高效预训练。
自开源以来，colossal-ai 多次在 github 热榜位列世界第一，获得 github star 超 3 万颗，并成功入选 sc、aaai、ppopp、cvpr、isc 等国际 ai 与 hpc 顶级会议的官方教程，已有上百家企业参与共建 colossal-ai 生态。
它由加州伯克利大学杰出教授 james demmel 和新加坡国立大学校长青年教授尤洋领导开发。
colossal-ai 基于 pytorch，可通过高效多维并行、异构内存等，主打为 ai 大模型训练 / 微调 / 推理的开发与应用成本，降低 gpu 需求等。
其背后公司潞晨科技，近期获得数亿元 a 轮融资，已在成立 18 个月内已迅速连续完成三轮融资。
广告声明:文内含有的对外跳转链接，用于传递更多信息，节省甄选时间，结果仅供参考，it之家所有文章均包含本声明。
郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。
