TE
科技回声
首页
24小时热榜
最新
最佳
问答
展示
工作
中文
GitHub
Twitter
首页
Tiktoken-rs: Batteries-included Rust library for working with GPT-4's tokenizer
2 点
作者
zurawiki
大约 2 年前
1 comment
zurawiki
大约 2 年前
In case others find this useful. Just updated for GPT-4, tiktoken-rs is a Rust crate you can use to tokenize text sent to and from OpenAI's LLM models