AI圈报
产品发布 / 更新精选

GigaToken 发布:语言模型分词速度最高提升约 1000 倍,可无缝替代 HuggingFace Tokenizers

信息来源:Hacker News 热门(buzzing.cc 中文翻译)·
原始标题:GigaToken:语言模型分词速度提升约1000倍

内容摘要

GigaToken 是一款新的语言模型分词器,在 AMD EPYC 9565 双路 144 核 CPU 上对 GPT-2 分词速度达 24.53 GB/s,比 HuggingFace Tokenizers 快 989 倍、比 tiktoken 快 681 倍。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hacker News 热门(buzzing.cc 中文翻译)
站内情报编号intel-2d62208469ac5a607130b42c