芯片采购,IC采购,芯片采购平台
芯片
每日新闻头条
新一代图片处理技术使富士X-Trans传感器如虎添翼
(2024年6月29日更新)

X-Trans 相机和市场上其他相机有什么区别,机器学习是如何颠覆的 raw 如何处理文件? DxO首席科学家 Wolf Hauser 探讨了 X-Trans 优缺点,以及 DxO 显著提高图像质量的处理方法。

芯片采购网专注于整合国内外授权IC代理商现货资源,芯片库存实时查询,行业价格合理,采购方便IC芯片,国内专业芯片采购平台

***

富士一直不怕另辟新路,他们在 2012 年推出了 X-Trans 传感器。 拜耳传感器在整个相机行业几乎都在使用,这是一个大胆的举措。在过去的十年里,关于 X-Trans 激烈的讨论层出不穷。它能给摄影师带来实际的好处,还是只是精心设计的营销技巧? 就像下一步要讨论一样,X-Trans 用来解释传感器的优缺点 raw 数据算法对获得理想结果至关重要。 长期以来,富士相机的粉丝们一直在寻找最好的软件来处理他们的图像,DxO PhotoLab 5 和 DxO PureRAW 2 现支持对 X-Trans raw 文件的处理使富士相机拍摄的清晰图像呈现出优秀的细节。

拜耳还是X-Trans,百事可乐还是可口可乐?

你可能已经注意到,讨论相机技术的小细节会激起千层浪,从 X-Trans 自推出以来,关于留言板和社交媒体的信息 X-Trans 争论优缺点如火如荼。 然而,滤色器阵列只是定义相机的众多功能之一,很少有客户在购买相机时把它放在首位。 使用富士相机的摄影师喜欢相机独特的外观和纹理,享受人体工程学设计和易用性,更不用说相机直接的惊人效果了。 富士的工程师是色彩专家 70 凭借多年的彩色摄影经验,品牌爱好者深爱富士依托公司悠久的胶片生产历史创造的胶片模拟效果。

Astia 和 Velvia 等名也给他们的相机一种逼真感。

拜耳与 X-Trans 的争论与 ARM 处理器与英特尔设计的处理器之间的对决非常相似。 苹果的营销部门声称他们 iPad 更好,因为它配备了他们的全新 ARM 芯片,微软说服公众 Surface 更好,因为它使用了最新的英特尔芯片。 两个品牌的爱好者会花无数个晚上在论坛上激烈争论,讨论 ARM 与英特尔、RISC 与 CISC 但实际上,哪个更好,哪个更坏—— 99% 用户不在乎。 他们选择平板电脑的标准是更喜欢其中一台的外观和质感,用户体验和品牌认可。

除了系统内部的一些技术差异外,对于大多数用户来说,富士、佳能、尼康和索尼的选择可能与百事可乐或可口可乐没有太大区别。

复杂性的后果

无论选择相机的标准是什么,尽可能发挥其传感器的最佳性能仍然很重要。此外,还需要将图像放大到 100% 或者更大的时候会发生什么。

我们需要记住,最终的图像不仅仅是传感器本身的结果。相机和软件都会经历各种各样的过程,尤其是去马赛克,即填补红、绿、蓝通道之间空白的算法。 在决定最终结果之前,这些算法与滤色器阵列相结合。

拜耳滤色器之所以一直占据一席之地,是因为工程师习惯于处理其数据。 研究人员花了四年时间为拜耳传感器找到了去马赛克的最佳方案,多年来开发的高度复杂的算法放宽了许多设计的基本限制。 即使是相当简单的算法,比如嵌入第一代数码相机的算法,也能产生很好的效果。

另一方面,X-Trans 模式的复杂性也带来了更复杂的去马赛克过程。 据说富士的工程师花了五年时间才赶上其他竞争产品,因为它的相机处理能力 2012 年在 X-Pro1 中引入 X-Trans。 与此同时,与拜耳相比,研究界发表了关于 X-Trans 去马赛克的论文要少得多。它不仅是一个更复杂的问题,而且对解决这个问题的研究也更少。 平心而论,现在 X-Trans 实现理论上最佳解决方案的马赛克算法还有一段距离。 这就是为什么富士的粉丝经常在不同的软件包之间徘徊寻找解决方案,以获得最佳结果的原因之一。

通过机器学习克服复杂性

今天,机器学习——特别是一种被称为卷积神经网络的技术——正在完全改变图像处理。 这种新算法在短短几年内使几十年的研究工作相形见绌。它不再由研究人员和工程师手工计算,而是由数百万个培训示例中的经验学习计算机获得。 例如,在拜耳的去马赛克技术中,神经网络现在可以轻松击败人类设计的最佳算法。

对于一生致力于马赛克算法的研究人员来说,这种变化是令人沮丧的,但它实际上是一个巨大的机会。 这不仅可以获得更好的结果,还可以提高生产力:计算机可以在几天或几周内找到最先进的马赛克算法,而不是几年或几十年。 当有准确的输入和预期的输入时MTK代理然而,当两者之间的映射过于复杂,无法用经典算法表达时,机器学习的优势尤为突出。 图像和语音识别是最早的例子。机器学习确实是一个非常强大的工具,在经典算法的有效领域(如去马赛克)仍然被证明是有用的。

X-Trans 去马赛克是机器学习的绝佳对象。 由于去马赛克的过程比拜耳更复杂,其机器学习应该比传统工程更有优势。 我们在 Adobe 的同行在 2020 当机器学习驱动的增强细节功能在年初推出时,就清楚地证明了这一点。 评估师得出结论,拜耳的图像只显示出微妙的差异,但 X-Trans 图像显著改善。

在 DxO,我们使用 DxO PhotoLab 机器学习解决了另一个高度复杂的任务:我们的 RAW 转换技术——DxO DeepPRIME。它使用单个巨大的卷积神经网络同时使用去马赛克和降噪。 经过 10 我们的计算机开发了一种高度复杂的算法,其性能优于我们的低 ISO 传统的去马赛克技术和我们的高水平 ISO 传统的去马赛克和降噪技术。

DxO PhotoLab5和DxO PureRAW2为X-Trans提供DxO DeepPRIME

拜耳传感器图像工作完成后,进行更改以适应 X-Trans 的 raw 文件不再是一项艰巨的任务,因为生成训练数据的过程只需要少量的修改。 克服仍有许多困难,因为我们必须从根本上改变网络形状,以适应复杂性 X-Trans 但它是可行的,前景光明, 最终的结果也令人兴奋。 让我们举个例子。

这张低光室的动态照片使用富士 X-T3 在 ISO 6400 下拍摄的。 原始照片曝光不足,在后期处理过程中将其推高了两档 — 相当于 ISO 25600(上图)。 JPEG 图像无法进行如此大的曝光调整,所以它不是与相机相比,而是与著名的相机相比 raw 具有增强细节功能的转换器- Adobe Lightroom(左下角)比较。 当我们放大人脸观察时,我们可以看到它 DxO DeepPRIME(右下,使用 DxO PhotoLab)图像明显更清晰。 因为 DeepPRIME 使用神经网络同时运行去马赛克和降噪,降噪性能更好,亮度和颜色保留更多细节。

不仅仅是机器学习

显然,像 DxO PhotoLab 和 DxO PureRAW 2 完全支持如此复杂的软件 X-Trans,不仅仅是 DxO DeepPRIME。 还必须调整许多用于校准每个相机机身颜色和噪声模型的内部工具。 还必须从头开始设计其他几个处理块,比如用户在调整时用来显示预览的去马赛克算法。

让你的照片也受益于技术的进步

经过一段时间的紧张研发,DxO PhotoLab 5 和 DxO PureRAW 2 现在准备就绪,可以为你准备 RAW 文件带来了显著的改进。 我们相信摄影师会爱上我们 DxO DeepPRIME 技术可以成功再现之前缺失的色彩细节,为老照片带来新的活力,提升高度 ISO 图像质量。 下载免费试用版,了解 DxO DeepPRIME 如何提高照片质量?

芯片采购网|IC采购|IC代理商 - 国内专业的芯片采购平台
芯片采购网专注整合国内外授权IC代理商的现货资源,轻松采购IC芯片,是国内专业的芯片采购平台