点赞 0 关注 galilai-group 50 视频分类 Transformer 自监督学习 jepa 视频 图像 特征提取 arxiv: 2608.27395 许可证：cc-by-nc-4.0 模型卡 文件 文件和版本 xet 社区 部署 复制到存储桶 使用此模型 使用 galilai-group/LeVJEPA-1.5-Large 的说明，包括库、推理提供商、notebook 和本地应用。请访问以下链接开始使用。 库 Transformers 如何使用 Transformers 使用 galilai-group/LeVJEPA-1.5-Large：

使用 pipeline 作为高层辅助工具

from transformers import pipeline pipe = pipeline("video-classification", model="galilai-group/LeVJEPA-1.5-Large")

pip install -U transformers accelerate

直接加载模型

from transformers import AutoModel model = AutoModel.from_pretrained("galilai-group/LeVJEPA-1.5-Large", device_map="auto") Notebook Google Colab Kaggle LeVJEPA 1.5 Large 训练预算 结果 图像 · 15 个数据集 视频 · 7 个数据集 总体 · 22 个数据集 使用 模型详情 引用 LeVJEPA 1.5 Large LeVJEPA 1.5 Large 是一个自监督视频编码器。它在 22 个图像和视频数据集上达到 78.76% 的平均分数，训练数据约为 5,300 个唯一视频小时，计算量为 151 exaflops。 作为对比，V-JEPA 1（79.77%）使用了 25.7 倍的数据和 5.6 倍的计算量，V-JEPA 2（81.63%）使用了 321 倍的数据和约 28.5 倍的计算量。 LeVJEPA 训练单个编码器，对片段的全局和局部视图施加不变性损失，并由 SIGReg（LeJEPA 的 Sketched Isotropic Gaussian Regularizer）进行正则化。它不使用 EMA 目标编码器、stop-gradient、predictor 或像素解码器。代码：MLO-lab/LeVJEPA · 论文：arXiv 2608.27395 · 项目页面：levjepa.github.io 训练预算 LeVJEPA 1.5 Large V-JEPA 1 V-JEPA 2 唯一视频小时 ~5,300 ~136,000 ~1,700,000 相对于 LeVJEPA 的数据量 1× 25.7× 321× 训练计算量（EF） 151 844 ~4,300* 相对于 LeVJEPA 的计算量 1× 5.6× ~28.5× 22 个数据集的平均分数 78.76 79.77 81.63

• V-JEPA 2 的训练计算量为估算值。 结果 所有三个编码器均以冻结方式配合注意力探测进行评估。粗体表示每行中的最高分。 图像 · 15 个数据集 数据集 LeVJEPA 1.5 Large V-JEPA 1 V-JEPA 2 ImageNet-1K 75.20 79.45 82.68 STL-10 90.30 93.49 99.05 Flowers102 88.23 92.28 95.37 Aircraft 61.75 55.30 67.78 Oxford Pets 82.47 82.31 90.92 DTD 65.85 67.02 72.55 EuroSAT 98.06 97.17 96.39 DermaMNIST 88.98 83.44 83.49 BloodMNIST 99.09 98.48 98.19 BreastMNIST 87.82 88.46 84.62 RetinaMNIST 62.25 64.00 69.25 PneumoniaMNIST 91.03 94.23 89.58 OrganCMNIST 88.22 87.03 85.15 OrganSMNIST 77.61 74.10 70.21 OrganAMNIST 93.31 88.66 88.27 平均 83.34 83.03 84.90 视频 · 7 个数据集 数据集 LeVJEPA 1.5 Large V-JEPA 1 V-JEPA 2 SSv2 60.10 69.55 70.00 Kinetics-710 68.23 75.27 77.01 Diving48 27.43 34.54 39.46 KTH 78.24 87.04 89.81 DynTex++ 99.03 98.33 98.33 YUP++ 75.28 79.63 82.50 COVID-BLUES 74.24 65.15 65.15 平均 68.94 72.79 74.61 总体 · 22 个数据集 LeVJEPA 1.5 Large V-JEPA 1 V-JEPA 2 平均 78.76 79.77 81.63 使用 该模型接收 ImageNet 归一化的 16 帧 224×224 片段，形状为 (B, C, T, H, W)，采样率约为 7.5 fps（16 帧约等于 2 秒）。它返回 [cls] token，随后是每一帧的 patch token。 import torch from transformers import AutoModel model = AutoModel.from_pretrained("galilai-group/LeVJEPA-1.5-Large", trust_remote_code=True).eval() video = torch.randn(1, 3, 16, 224, 224) # (B, C, T, H, W)，已做 ImageNet 归一化 with torch.no_grad(): out = model(pixel_values=video) out.last_hidden_state # (1, 3137, 1024)：[cls] + 16 * 14 * 14 个 patch token，按（帧、行、列）顺序排列 out["pooler_output"] # (1, 1024)：[cls] token 需要设置 trust_remote_code=True，因为建模代码（RoPE 和块因果注意力）随权重一起发布。请使用 ImageNet 统计值进行归一化：mean=[0.485, 0.456, 0.406]，std=[0.229, 0.224, 0.225]。 如果不使用 transformers，LeVJEPA 仓库可用其自有代码加载相同权重： from legacy.encoder import load_legacy_encoder encoder = load_legacy_encoder("galilai-group/LeVJEPA-1.5-Large", name="vit_large", num_frames=16) cls, patches, _ = encoder(clip) # clip (B, T, C, H, W) -> (B, 1024), (B, T, 196, 1024) 该仓库还包含注意力探测评估（python -m eval.eval model=levjepa_v1_vitl checkpoint=galilai-group/LeVJEPA-1.5-Large）以及一个可视化 patch 特征的 notebook。 模型详情 架构：ViT-L/16 视频编码器：24 层，宽度 1024，16 个注意力头。 每帧每个 16×16 patch 对应一个 token（tubelet 大小为 1），使用三维 RoPE 位置编码。 块因果注意力：帧内双向，帧间因果。每一帧的 token 仅依赖于当前帧和更早的帧。 一个 [cls] token 读取整个片段。 参数量：303M。 输入：16 帧 224×224（每帧 14×14 个 patch），采样率约 7.5 fps，ImageNet 归一化。RoPE 也接受其他分辨率和片段长度。 训练： 数据：约 5,300 个唯一视频小时（来自 Kinetics-710、Something-Something v2、Walking Tours 和 PE-Video 的 180 万个片段）。 计算量：151 exaflops。 目标：每个片段的一个全局视图和若干局部视图之间的不变性，加上 SIGReg，训练时随机丢弃 95% 的 patch token。 发布的权重是编码器的 EMA 副本。 评估协议：冻结编码器，并在其 patch token 上训练注意力探测。所有三个模型均使用相同的协议进行评估。 预期用途：冻结特征提取（注意力探测或线性探测、检索，或作为下游头的主干）。该模型没有分类头。 许可证：CC BY-NC 4.0（非商业性）。编码器代码改编自 Meta 的 V-JEPA。 引用 title={LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics}, author={Lukas Kuhn and Lucas Maes and Giuseppe Serra and Quentin Le Lidec and Yann LeCun and Randall Balestriero and Florian Buettner}, year={2026}, eprint={2608.27395}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2608.27395},

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）