机器学习中Inference 和predict的区别是什么? - 知乎
Inference: You want to understand how ozone levels are influenced by temperature, solar radiation, and wind. Since you assume that the residuals are normally distributed, you use a …
为什么 2024 年以后 MMDiT 模块成为了大规模文生视频或者文生 …
也可能是我的偏见。但是似乎SD3 paper发表以后很多开源工作/技术报告都不约而同的使用了这个架构，抛弃了…
LLM的pad策略，为啥训练时是right，预测是left？ - 知乎
Dec 10, 2024 · 上面这俩在训练时是等效的。 关键还是 padding 方向和 ignore_label 的设置方式要匹配。 position_ids 的影响也不大，目前像 Hugging Face 这种库可以自行处理。如下例中是 …
如何看待尤洋对 DeepSeek 成本文章的回应以及开团硅基流动？
20250301 DeepSeek：DeepSeek-V3 / R1 推理系统概览尤洋：关于DeepSeek MaaS成本尤洋：坑人的硅基流动随…
为什么AI Inference FPGA不流行？ - 知乎
inference不能只看单卡性能、也不能只看硬件好处，软件平台和高可用性才是更值得考虑的问题。 而FPGA在inference上还有很长的路要走，这可能也意味着会有更多的需求给到研究人员、养 …
有没有大佬帮我解释一下AI infra到底是干啥的？ - 知乎
三者共同构成 “计算 - 通信 - 存储” 一体化硬件体系，直接决定 AI Infra 的综合能力上限。 1.2 软件层 软件层是 AI Infra 的 “神经中枢”，借鉴云计算三层架构，不仅实现硬件资源管控，更重点解 …
什么是「推理」 (Reasoning)? - 知乎
在哲学逻辑学、心理学、认知科学、（通用）人工智能等领域，如何对推理进行定义？Reasoning和Inference有…
天才研究牲 的想法: KLASS新思路：加速掩码扩散模型推理 | 论文标 …
KLASS新思路：加速掩码扩散模型推理 | 📚 论文标题：KLASS: KL-Guided Fast Inference in Masked Diffusion Models 🔑 关键词：Masked diffusion models, iterative refinement, KL-Adaptive Stability …
如何看待Qwen推出的新Scaling Law ——Parallel Scaling？ - 知乎
代码： GitHub - QwenLM/ParScale: Parallel Scaling Law for Language Model — Beyond Parameter and Inference Time Scaling 我们都知道，除了拓展数据量以外，现在有两条主流的 …
2024年操作系统设计与实现研讨会（OSDI）有哪些值得关注的文 …
Mar 22, 2024 · From UC Berkeley ServerlessLLM: Locality-Enhanced Serverless Inference for Large Language Models. Yao Fu, Leyang Xue, Yeqi Huang, Andrei-Octavian Brabete, Dmitrii …