脸书涨播放量网站--facebook刷播放量平台
小扎宣传新的Meta Quest Pro的主控芯片依然是Meta与高通合作开发的Snapdragon芯片,这一代芯片比上一代要强大很多,AR+VR = MR 应用需要更强大的计算力,小扎称之为第二波人机计算浪潮。
用户可以通过‘透视显示器’看到增强的虚拟现实内容。
可以更好地实现个人的AI助理功能,比如在会议中显示图表,在购物中显示物品购买指导信息等等,体验更加‘沉浸式’。
而这一切都建立在新的更强大的硬件计算与传感平台上:
从camera的角度来说,AR眼镜包括了前视鱼眼、长焦相机,后视相机,眼动追踪相机,追踪与记录相机。
Facebook的智能传感器与系统设计专家介绍了这款产品的传感器与相机的需求。
1.global shutter
2.高速传输
3.低功耗
4.pixel/sensor的尺寸要小
5.pixel要有三次量化(Triple Quantization)设计
每个pixel都有3个ADC模式:
低光照 ---- High Gain PD ADC 模式
中光照 ---- Low Gain FD ADC 模式
高光照 ---- TTS(Time to Saturation) 模式
即每个pixel可以根据光照情况选择最优的模式
sensor的结构图如下:
这种设计是比较新的HDR技术,可以达到127dB的动态范围。
线性化之后可以看到,在不同动态范围拼接处的SNR下降小于10dB,可以说性能非常的好。
还公布了图像质量比较样张,可以看到普通sensor既无法捕获高亮的灯丝也无法捕获暗处的玩偶图像信息。
以下是该图像传感器的详细技术参数
这款sensor的功耗是真低。
除了上述的基本的图像传感器信息,meta设计的sensor还继承了AI功能,这也是为了适应元宇宙AR VR 这类高性能移动计算应用的需求。
从下面的架构信息可以看出系统由三部分组成:图像传感器,图像处理与云端处理
为了降低从设备到云的传送数据量,必然要求在‘端’和‘边’上做分布式计算,sensor的智能化是必然的选择。
sensor端集成NN加速器,有没有想起Sony前两年公布的AI sensor imx500,这种设计很适合这样的的应用场景。
把neural network的前若干级布置在sensor端,后面若干级布置在Aggregator端,这样可以更有效的分配workload,把合适的工作分配给合适的元件。
这种设计的好处是可以大大降低数据的搬移成本,可以降低传输带宽,进而降低系统功耗。
下图显示了功耗与各种数据传输的关系
Meta的这种分布式传感/计算设计模式,可以大大降低功耗。
如果设计的是普通的图像传感器,那么计算就都压在图像处理器上,在总线上传输的数据量也非常大。
采用分布式设计,由下图可见,系统功耗降低了34%。
即使不做AR眼镜,Facebook的这种分布式传感计算系统设计对于我们设计、开发产品也很有借鉴意义,元宇宙还处在婴儿阶段,未来还会集成很多新的技术,让我们拭目以待。