TE
科技回声
首页24小时热榜最新最佳问答展示工作
GitHubTwitter
首页

科技回声

基于 Next.js 构建的科技新闻平台,提供全球科技新闻和讨论内容。

GitHubTwitter

首页

首页最新最佳问答展示工作

资源链接

HackerNews API原版 HackerNewsNext.js

© 2025 科技回声. 版权所有。

55x Speedup of Andrej Karpathy's Minbpe LLM Tokenizer with PyTorch/CUDA

19 点作者 kuprel大约 1 年前

3 条评论

kuprel大约 1 年前
This adds PyTorch/CUDA training support to Andrej Karpathy's minbpe. It takes 2min 28sec (148 seconds) on an RTX4090 to train the BasicTokenizer with a vocab_size of 512 on 307MB of Enron emails. The original code takes 2hrs 15min (8076 seconds) on an M2 Air with Python 3.11 to do this. That is a 55x speedup.
评论 #39481658 未加载
Havoc大约 1 年前
&gt; 307MB of Enron emails<p>Wait what?<p>Is that some sort of inside joke?
评论 #39475783 未加载
erichocean大约 1 年前
Now someone needs to do a Mojo version, and write up the blog post.