跳到正文

内容归档

共 98 篇(43 博客 + 55 阅读笔记)

2026 (58)

阅读笔记

The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge

作者研究了多智能体辩论中 token 级 log-probability 分布、LLM-as-judge 评分与最终任务准确率三者之间的关系。论文采用双智能体(构建者与审计者)辩论架构,结合 LLM 法官对推理过程进行细粒度评分。旨在通过内部置信度信号诊断外部评估的推理质量及任务正确性。

阅读笔记

PADD: Path-Aligned Decompression Distillation for Non-Router Teacher to Guide MoE Student Learning

作者提出路径对齐解压蒸馏(PADD)框架,旨在将无显式路由的稠密教师模型知识蒸馏至混合专家(MoE)学生模型。该方法通过教师神经元聚类初始化专家功能,并结合在线自适应蒸馏与路径细化策略优化,在固定计算预算下实现高效的知识迁移与路由学习。

阅读笔记

Dynamic Linear Attention

作者提出动态线性注意力(DLA)框架,通过信息感知动态状态合并和容量受限内存建模,解决现有线性注意力方法中固定状态合并策略无法适应动态 token 重要性的问题。该方法根据 token 级别的信息变化自适应确定状态边界,在语义转换处保留高分辨率表示,同时在稳定区域进行压缩。

2025 (17)

博客

视频生成与多模态理解领域前沿进展速递

本期汇总了视频生成、多模态理解及评估基准领域的最新研究,涵盖从指令引导视频编辑、科学实验视频理解到高效视频压缩与物理推理评估等多项前沿成果。

2023 (3)

2022 (11)

2021 (8)

2012 (1)