机器学习中Inference 和predict的区别是什么? - 知乎
深度学习中的inference更多时候和prediction通用，大概指的是前向传递的过程，即和training所相对的过程。下面是传统的定义，并不一定在DeepLearning中适用 Examples for prediction and …
请解释下variational inference？ - 知乎
automatic differentiation variational inference (ADVI) [9] 通过统一把variational distribution映射到 \mathbb{R}^n ，然后assume映射后的variable服从Normal distribution，继而使用repar。但这 …
什么是「推理」(Reasoning)? - 知乎
推断（inference）：可以理解成一种基于充分信息量的预测过程。通常指模型训练（learning）结束后，使用训练好的模型做预测（predict）的过程，比如online inference, variational …
神经网络中训练和推理有什么区别？ - 知乎
1. 推断（Inference）的网络权值已经固定下来，无后向传播过程，因此可以. 模型固定，可以对计算图进行优化，还可以输入输出大小固定，可以做memory优化（注意：有一个概念是fine …
如何看待 OpenAI 最新发布的 o3 模型？有多强大？ - 知乎
看到Frontiermath一下从2分提升到25分，我就知道这不是炒作，这是真正的智能爆炸，断崖式提升，有些人可能质疑其他Benchmark，或者质疑可能是故意刷分，但Frontiermath分数不太可能 …
因果推断会是下一个AI热潮吗？ - 知乎
发现书中的causal inference和AI论文里的有很大出入。Judea Pearl这本书是真的在试图挖掘数据中蕴含的因果关系，而当前AI论文中往往更多的是利用causal inference这么一套概念来编一 …
有没有模型推理服务化框架Triton保姆级教程？ - 知乎
这里triton指的是triton inference server而不是OpenAI的triton，注意区分 本篇也算是triton系列第二篇，接下里会借着triton这个库，一起讨论下什么是推理、什么是推理引擎、推理框架、服务 …
如何简单易懂地理解变分推断(variational inference)？ - 知乎
下面介绍平均场（mean-field）、蒙特卡洛、和黑盒变分推断 (Black Box Variational Inference) 的方法。 平均场变分族(mean-field variational family) 之前我们说我们选择一族合适的近似概率 …
大模型推理框架，SGLang和vLLM有哪些区别？ - 知乎
文章中的TODO有待补充，第一次认真写知乎，有任何问题欢迎大家在评论区指出. 官方vllm和sglang均已支持deepseek最新系列模型(V3,R)，对于已经支持vllm和sglang的特定硬件（ …
一文了解Transformer全貌（图解Transformer） - 知乎
Jan 21, 2025 · Transformer整体结构（输入两个单词的例子） 为了能够对Transformer的流程有个大致的了解，我们举一个简单的例子，还是以之前的为例，将法语"Je suis etudiant"翻译成英 …