跳到正文
原文
Hacker News· baraa_·· 2 小时前精选AI 评分32

用 TypeScript 从零构建大语言模型的分章节指南

Show HN: Building an LLM from Scratch in TypeScript

AI 导读

《Building an LLM from Scratch in TypeScript》是一份在 Node.js 与 TypeScript 中从零搭建大语言模型的分章节指南,逐章覆盖数据集与 dataloader、注意力机制、Transformer block、GPT 与训练循环。

推荐理由

原文逐章给出从注意力机制到训练循环的可运行实现路径,读者可以跟着把 Transformer 的每一层都搭起来。

正文 · AI 翻译

Building an LLM in NodeJS book cover

从零开始构建 NodeJS 和 TypeScript 大语言模型的指南。

从第二章开始

通过在 Node.js 和 TypeScript 中从零构建一个大语言模型,了解它实际是如何工作的。

无黑箱

我们将构建每一层,从注意力机制到训练循环。

从零开始

数据集、数据加载器、注意力、Transformer 块、GPT 以及训练循环,逐章搭建。

可运行

每一章都有一个可运行的入口点,位于 @node-llm/chapters 包中,全部托管在 GitHub 上。

交互式

即将推出

来自 @node-llm/playground 包的实时 WebGPU 演示贯穿全文。

来源:Hacker News · book.humanexperiences.io