库名称：transformers
标签：[]
任务类型：robotics
许可证：apache-2.0
基础模型：Qwen/Qwen2.5-3B-Instruct
数据集：

• homebrewltd/robot-hand-poses-train

Poseless-3B

简介

"PoseLess：基于VLM直接图像映射的无深度视觉到关节控制"（论文）提出了一种新颖的机器人手部控制框架，通过使用投影表示直接将2D图像映射到关节角度，无需显式姿态估计。我们的方法利用随机关节配置生成的合成训练数据，实现了对真实场景的零样本泛化以及从机器人手到人手的跨形态迁移。通过投影视觉输入并采用基于Transformer的解码器，PoseLess在解决深度模糊性和数据稀缺等挑战的同时，实现了鲁棒、低延迟的控制。实验结果表明，在不依赖任何人工标注数据集的情况下，该模型在关节角度预测精度上具有竞争力。

我们的主要贡献如下：

• 我们引入了一种新颖的框架，利用VLM（如Qwen 2.5 3B Instruct）直接将单目图像映射到机器人关节角度，完全绕过姿态估计。VLM“看到”并投影图像的能力实现了鲁棒的、与形态无关的特征提取，减少了传统两阶段流程中的误差传播。
• 我们引入了一种合成数据生成流程，通过随机化关节角度和视觉特征（如光照、纹理）生成无限训练样本。这消除了对昂贵标注数据集的依赖，同时确保了对真实世界变化的鲁棒性。
• 我们证明了模型的跨形态泛化能力，展示了其仅通过机器人手数据训练即可模仿人手运动的能力。这些发现标志着在理解和利用此类泛化能力方面迈出了重要一步。
• 我们证明了无深度控制是可行的，为后续采用不支持深度估计能力的相机铺平了道路，这种相机在机器人研究中经常使用。

模型详情

• 模型架构：Qwen 2.5 3B Instruct，微调用于手部姿态估计
• 数据集：
  • 训练：homebrewltd/robot-hand-poses-train
  • 评估：homebrewltd/robotic-hand-poses-eval
• 许可证：Apache-2.0许可证
• 开发团队：Alan Dao、Dinh Bach Vu、Tuan Le Duc Anh、Bui Quang Huy（Menlo Research）

快速开始

import torch  
from PIL import Image  
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration  
from qwen_vl_utils import process_vision_info  

# 1. 加载模型和处理器  
device = "cuda" if torch.cuda.is_available() else "cpu"  
model_path = "homebrewltd/Poseless-3B"  

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(  
    model_path,  
    trust_remote_code=True,  
    torch_dtype=torch.bfloat16  
).eval().to(device)  

processor = AutoProcessor.from_pretrained(  
    model_path,   
    min_pixels=256*28*28,   
    max_pixels=1280*28*28,  
    trust_remote_code=True  
)  

# 2. 准备图像  
image = Image.open("your_hand_image.png").convert("RGB")  

# 3. 创建消息  
SYSTEM_PROMPT = """你是一个专门用于从手部姿态图像中准确估计关节角度的视觉语言模型。你的任务是分析人类或机器人手的图像，并输出每个关节的精确角度测量值。输出关节角度以弧度为单位。  
输出格式：  
<lh_WRJ2>角度</lh_WRJ2><lh_WRJ1>角度</lh_WRJ1><lh_FFJ4>角度</lh_FFJ4><lh_FFJ3>角度</lh_FFJ3><lh_FFJ2>角度</lh_FFJ2><lh_FFJ1>角度</lh_FFJ1><lh_MFJ4>角度</lh_MFJ4><lh_MFJ3>角度</lh_MFJ3><lh_MFJ2>角度</lh_MFJ2><lh_MFJ1>角度</lh_MFJ1><lh_RFJ4>角度</lh_RFJ4><lh_RFJ3>角度</lh_RFJ3><lh_RFJ2>角度</lh_RFJ2><lh_RFJ1>角度</lh_RFJ1><lh_LFJ5>角度</lh_LFJ5><lh_LFJ4>角度</lh_LFJ4><lh_LFJ3>角度</lh_LFJ3><lh_LFJ2>角度</lh_LFJ2><lh_LFJ1>角度</lh_LFJ1><lh_THJ5>角度</lh_THJ5><lh_THJ4>角度</lh_THJ4><lh_THJ3>角度</lh_THJ3><lh_THJ2>角度</lh_THJ2><lh_THJ1>角度</lh_THJ1>  
"""  

messages = [  
    {"role": "system", "content": f"{SYSTEM_PROMPT}"},  
    {  
        "role": "user",  
        "content": [  
            {  
                "type": "image",  
                "image": image,  
                "min_pixels": 1003520,  
                "max_pixels": 1003520,  
            },  
            {"type": "text", "text": "<Pose>"},  
        ],  
    },  
]  

# 4. 处理并获取预测  
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)  
image_inputs, video_inputs = process_vision_info(messages)  
inputs = processor(text=[text], images=image_inputs, videos=video_inputs, padding=True, return_tensors="pt").to(device)  

# 5. 生成输出  
generated_ids = model.generate(**inputs, max_new_tokens=1024)  
generated_ids_trimmed = [out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]  
output_text = processor.batch_decode(generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]  

print(output_text)  # 输出XML格式的关节角度  

输出将是XML格式的关节角度（弧度）：

<lh_WRJ2>角度</lh_WRJ2><lh_WRJ1>角度</lh_WRJ1><lh_FFJ4>角度</lh_FFJ4>...  

引用

• arxiv.org/abs/2503.07111

更多信息

• 如需进一步详情，请联系作者：alan@menlo.ai、bach@menlo.ai、charles@menlo.ai、yuuki@menlo.ai