基于影像结构线特征的建筑规则化(2016)

摘要

基于立体相机的建筑三维重建不可避免的要遭受噪声的影响,使得其缺乏规则性(表现在线特征是否平直,同质区域是否平滑)。本文1利用线特征构建了一种新的表面脚手架结构,用于模型规则化。规则化由两个迭代步骤组成:(1) 线特征是在影像上根据亮度和几何信息半自动提取的;(2) 脚手架的空间拓扑结构根据数据忠诚度和拓扑规则进行优化,之后Mesh网通过向脚手架调整达到优化。我们的方法有两个优点:首先,提出的脚手架结构能够准确的描述建筑结构的语义信息。其次,脚手架结构是嵌入在Mesh网中的,能够保留Mesh的连通性,避免表面的畸变和相交现象。

贡献

  • 一种新型的脚手架(scaffold)结构,能准确地描述建筑结构,保持模型的规则

  • 一种噪声不敏感的支架结构加固方法(通过推导三维线性特征之间的正确空间关系),并根据推导出的拓扑结构优化表面形状

  • 自动/交互式的直线提取,同时利用亮度,几何,城市先验知识

相关工作

  • 自动化方法
  • 交互式方法
  • 基于拓扑约束的方法

方法概述

Scaffolding

Surface Scaffold Structure

输入Mesh网,\(\mathcal{M}=\left(\mathcal{V}_{m}, \mathcal{E}_{m}\right)\)\(\mathcal{V}_{m}\) 为点集,\(\mathcal{E}_{m}\) 为边集,引入surface scaffold structure 进行规则化。表面脚手架结构包括:

  • 3D线特征集合 \(\mathcal{F}=\left\{F_{i}\right\}, i \in[1, N]\)\(F_i\) 为Mesh网上的一条直线,由一系列相连的边组成。每个\(F_i\) 都是由影像直线 \(l_i\) 反投影得来。
  • 脚手架 \(\mathcal{S}\) ,由一系列的脚手架直线 \(\mathcal{L_s}=\{L_i\},i\in[1,N]\) 组成。定义脚手架图,表示其拓扑结构。

我们将Mesh网上的顶点投影至它们对应的脚手架直线上,并对Mesh网的其他部分进行平滑,这样就达到了规则化的效果。

Scaffold Topology

由于脚手架直线是由2D线反投影而来,由于噪声不可避免的会出现错误。因此,我们对脚手架的拓扑结构进行优化。

通常,如果两个3D线的端点足够近,它们则为 incident lines(相交)。但是,由于点位置不一定准确,一些距离较近的平行线会被错误定义为 incident lines。因此,仅用端点的邻近度来衡量线是否 incident 是不足够的。所以,我们需要精准的定义邻近端点的空间关系,以便进行脚手架拓扑结构优化。

Local point-wise(LPW) relation 考虑到位置邻近的先决条件,我们对距离小于阈值 \(\epsilon_{d}\) 的两个端点 \(P_{z}^{i}\) and \(P_{z^{\prime}}^{j}\) 引入 LPW 关系 \(r=\left(P_{z}^{i}, P_{z^{\prime}}^{j}\right)\)。LPW关系定义为以下四种类型(Fig.2):

  • Contiguous,两端点属于同一条线
  • Incident,两端点属于不同的直线但是位置相同
  • Parallel,两平行线中距离最近的端点对
  • Other,不是以上三种类型

Scaffold graph \(\mathcal{G_s}=\left(\mathcal{V}_{s}, \mathcal{E}_{s}\right)\),用于表示和优化脚手架的拓扑结构,包含所有的LPW关系。一开始,LPW关系类型是未知的,我们的目标是准确的提取出它们的LPW关系。

Relation clique 由于incidence或parallel存在传播性,即若{a, b}和{b, c}为LPW中的Incident,则{a, c}也为Incident,Parallel同理。这样 \(\mathcal{G_s}\) 中有 Incident or Parallel 关系的组件就形成了一个relation clique (关系圈),如{a, b, c}。同时,原始的边集并没有包含所有的关系,比如{a, c},我们把这种由传播关系得到的边作为补充边加入 \(\mathcal{G_s}\) 中,如Fig.3a。

Relation clique graph 我们用关系圈图 \(\mathcal{G}_{c}=\left(\mathcal{C}_{I} \bigcup \mathcal{C}_{P}, \mathcal{E}_{c}\right)\) 来解决拓扑矛盾,\(\mathcal{C}_{I}\)\(\mathcal{C}_{P}\) 表示提取出的 incident clique set 和 parallel clique set。在 \(\mathcal{G}_{c}\) 中,两个clique的关系通过边来连接,Fig.3b表示了从Fig.3a中推理的来的 relation clique graph。

Workflow

预处理阶段,我们通过2中的方法检测小洞,并用平面修复。

Automatic phase 绿色部分,首先选出具有正确几何信息的相机最小集,通过简化一个 view redundancy graph,参考3。其次,我们自动提取尽可能多的脚手架线,组成脚手架图,优化脚手架拓扑关系(非线性最小二乘问题),将Mesh网上的边投影至优化后的脚手架线。

Interactive phase 黄色部分,脚手架线通过人工干预不断变多。随着 interactive stage 和 scaffold consolidation 的不断迭代,脚手架不断完善,Mesh网逐渐规则化。

Automatic Joint 2D-3D Line Proposal

View Selection

减少影像冗余,提高线特征提取效率。参考4,我们挑选了一系列的影像,具有最精准的标定,在满足完全覆盖条件下数量最小。该问题可以通过在满足覆盖条件下贪婪的删除标定最不准的影像解决。

Accurate and Coherent 2D Line Extraction

首先,我们通过影像金字塔,在不同尺度的影像上提取2D直线。这些在不同尺度下提取的线倾向于共线和重叠,即描述同一条线。我们将这些倾向于共线的线段收集成组,然后对每一组从对应的影像区域求得一个最终的直线。对于一个影像区域 \(\sigma\) ,我们找出使以下两项最大化的尺度。 \[ \begin{array}{l} A(s)=-\log \left(\frac{1}{|\sigma|} \sum_{l \in \mathcal{L}_{\sigma}(s)} \sum_{x \in l} \nabla_{\mathbf{v}_{l}} I(x)\right) \\ U(s)=-\sum_{l \in \mathcal{L}_{\sigma}(s)} P(l) \log P(l) \end{array} \] \(A(s)\) 为精度项,描述直线强度,\(U(s)\) 为连贯项,描述直线的分段状况也即直线的熵。Fig.6c 为提取的结果,相比于Canny 和 LSD 我们提取的线更干净,更连贯。Fig.5 是Fig.6 黑框区域的放大视图,其颜色代表不同的尺度。

Learning-Based Line Filtering

上述过程提取出的2D线存在很多纹理线而不是结构线,会导致后续的3D脚手架结构线出错,我们可以通过几何特性来滤除纹理线。我们构建了一个二元分类器,用 AdaBoost5 算法求解,它可以很好地综合多种弱分类器(weak classifiers)。Fig.6d中的不同颜色代表不同的View。

Surface Scaffold Structure Consolidation

Mesh Line Generation and Scaffold Line Initialization

\(F\) 来表示Mesh线,\(L\) 来表示脚手架线,\(l\) 来表示影像线。首先,将 \(l\) 反投影至 \(\mathcal{M}\),得到一系列被覆盖的顶点 \(\mathcal{P}_l\),如Fig.7a。然后,通过RANSAC从点集 \(\mathcal{P}_l\) 中拟合出 \(L\)。最终,\(F\) 为距离 \(L\) 最近的边的集合,通过建立有向图 \(\mathcal{G}_l\)求解,详见 Algorithm 1。

Scaffold Topology Optimization

拓扑优化时应该同时考虑数据忠诚度和拓扑约束,在不引入拓扑矛盾的情况下最小化labeling代价,详见Algorithm 2。

Energy Function Formulation
Energy Minimization

Global Shape Refinement

拓扑优化后,可以通过调整脚手架线的位置和方向进行Mesh网的优化。

Interactive Structure-Driven Scaffolding

User Interface

Symmetry-Based Scaffold Line Proposal

结果

参考文献


  1. Wang J, Fang T, Su Q, et al. Image-based building regularization using structural linear features[J]. IEEE transactions on visualization and computer graphics, 2015, 22(6): 1760-1772.、↩︎

  2. T. K. Dey, K. Li, and J. Sun, “On computing handle and tunnel loops,” in Proc. Int. Conf. Cyberworlds, 2007, pp. 357–366.↩︎

  3. S. Zhu, T. Fang, R. Zhang, and L. Quan, “Multi-view geometry compression,” in Proc. 12th Asian Conf. Comput. Vis., 2015, pp. 3–18.↩︎

  4. S. Zhu, T. Fang, R. Zhang, and L. Quan, “Multi-view geometry compression,” in Proc. 12th Asian Conf. Comput. Vis., 2015, pp. 3–18.↩︎

  5. R. Rojas, “Adaboost and the super bowl of classifiers a tutorial introduction to adaptive boosting,” Freie Univ., Berlin, Germany, 2009.↩︎