NLP领域中的token和tokenization到底指的是什么？ - 知乎
tokenization，也叫word segmentation,是一种操作，它按照特定需求，把文本切分成一个字符串序列(其元素一般称为token，或者叫词语)。
Deekseek r1本地部署，14b和32b最小需要多大显存吗？ - 知乎
如题，本地部署的话，14b的用16g显存显卡能用gpu跑吗，32b的用32g显存显卡能用gpu跑吗？
ChatGPT如何计算token数？ - 知乎
这导致一些汉字在 tokenization 过程中可能被拆分为多个 tokens。 关于你提到的收费方式：计算 token 的确与 OpenAI 的 API 调用费用有关，但是它不仅仅用来计算费用，他也是模型内部处理 …
在中文 NLP 等论文中，应该如何翻译 token 这个词？ - 知乎
Jun 22, 2021 · 想问一下，在中文 NLP 等论文中，应该如何翻译 token 这个词？现在有几种翻译方式：词例、词块。
大模型训练的性能指标：吞吐率 Throughput 是指什么？ - 知乎
Throughput_{tokens} = Throughput_{samples} * seq\_len \\ 假设GLM10B网络模型使用DGX A100（8x 80GB）训练的吞吐量为25 samples/s，max seq_len为1024，那么按照tokens来计 …
求问deepseek出现这种情况怎么办啊？ - 知乎
Jan 31, 2025 · Claude 3.5 Sonnect超过对话长度限制的错误提示. 所以这种情况在目前这个阶段是无法避免的，目前比较通用的办法就是让LLM自己对于这段对话生成一个摘要，然后把这段概 …
deepseek开始会员收费了吗？ - 知乎
如未指定 max_tokens，默认最大输出长度为 4K。请调整 max_tokens 以支持更长的输出。 关于上下文缓存的细节，请参考 DeepSeek 硬盘缓存 。 deepseek-reasoner的输出 token 数包含了 …
最新M4版本的Mac，尝试本地部署deepseek的话，32b的模型哪个 …
要知道，训练ai大模型和利用训练好的ai大模型进行推理完全是两码事！大模型训练很消耗算力不假，但是使用训练好的大模型推理，也就是回答用户的问题，其实对于算力要求就很低了。
o1、GPT4、GPT4o 这三个有什么区别？ - 知乎
从模型的基本特性来看，OpenAI o1于2024年上线，包含o1-preview和o1-mini两个版本。. o1-preview推理功能比较完整，在应对复杂任务时游刃有余；o1-mini经济高效，专注编码、数学 …
视觉Transformer中的token具体指什么，如何理解？ - 知乎
知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业 …