規格 EN 12150-1 の標準化された破砕試験における破片数は、強化ガラスの安全レベルを定義する方法であり、強化ガラスの応力と強度レベルについての指標を得る方法でもあります。
フラグメントの数をカウントする方法は、例によって規格に定義されていますが、実際の結果は常に検査者に依存します。検査および検査官間でカウントを一貫させるには、断片カウントの自動化プロセスが必要です。これにより、コンピュータは決して疲れたり客観性を失ったりすることがないため、コンピュータ ビジョン システムに最適なアプリケーションとなります。自動フラグメントカウントのシステムはすでに存在しますが、重大な制限があります

近年、最新のツールとテクノロジーがコンピューター ビジョンの分野に革命をもたらしました。これは主に、視覚画像からパターンや情報を抽出するのに特に適した畳み込みニューラル ネットワークの進歩によるものです。断片計数システムをより柔軟に、より速く、より安価にするために、コンピュータ ビジョンにおけるこれらの最近の進歩により、モバイル スマートフォンでも自動化されたコンピュータ ビジョン システムを実装できるようになりました。

導入
強化ガラスは、最初にガラス板が転移温度を超えて加熱され、その後急速に冷却されて厚さ方向に温度勾配が生じる熱処理プロセスによって製造されます。目的は、ガラスに温度勾配があるときにガラスを凍結させ、温度が均一になった後に残留状態がガラスの厚さ方向に放物線状の応力プロファイルになるようにすることです。強化ガラスは表面が圧縮され、ガラスの中心部が引っ張られています。

強化ガラスには、焼き鈍しフロートガラスと比較して 2 つの利点があります。第一に、表面の圧縮応力によって曲げや衝撃に対するガラスの強度が増加し、第二に、破損時には、高い誘導ひずみエネルギーによってガラスが小さな無害な粒子に砕けます。これらの利点により、強化ガラスは安全ガラスとも呼ばれます。

破壊試験と破損による断片化は、強化ガラスの応力と安全レベルを定義する方法です。断片化により、応力レベルや応力の均一性など、応力からいくつかのことがわかります。規格 EN 12150-1 [1] では、1100 x 360 mm² サイズの強化ガラスの最長エッジの中点に尖った工具を使用して衝撃を与えるパンチ テストを定義しています。

破壊パターンから、最小破片数の領域から50×50mm2の領域内の粒子の数をカウントします。この規格は、建築用ガラスの安全性を確保するために、さまざまなガラスの厚さに対する破片の最小レベルを定義しています。自動車ガラスには、安全な破片化のための同様の ECE R43 [2] 規格があります。EN 12150-1 規格と比較すると、ECE R43 規格のガラスはガラスの中央領域で衝撃を受けます。

ガラスの破片化と応力レベルとの関係は 1960 年代にすでに研究されており、その一例が明吉らのよく知られた結果です。[3]。彼らは、1.8 mm から 8.2 mm までのさまざまなガラス厚さに対する破片の数とミッドプレーンの引張応力レベルの間の関係を定義しました。

1968 年には、Barsom [4] も強化ガラスの中心張力と平均粒子重量の相関関係に関する結果を発表しました。最近、Pourmoghaddam & Schneider [5] および Pourmoghaddam et al. によって研究が発表されました。[6] では、応力レベルと破片化の関係が定義されており、応力レベルと衝撃点に基づいて破片の形状と分布も予測されます。

破片のカウントは基本的に視覚的な作業であり、人間のオペレーターは非常に効率的に頭を使って割れたガラスから個々の破片を分離します。人間にとって、この作業は非常に簡単に思えますが、そのような作業には非常に高度でよく発達したパターン認識能力が必要であること、そしてそれこそが私たちの脳が発達してきた目的そのものであることを忘れがちです。フラグメントの数をカウントする定義は簡単で、標準 EN 12150-1 [1] に例として示されています。

ただし、この作業は簡単そうに見えて、非常に手間と時間がかかります。また、数を数えるプロセスは非常に反復的であり、集中力の欠如や疲労により人的ミスが発生しやすくなります。そのため、計数結果は試験官によって異なる可能性があります。特に、フラグメント数が多い場合、フラグメントのサイズは小さく、人間の目では、カウントする最小のフラグメントと、カウント領域内にあるフラグメントを定義することが困難になる場合があります。

従来の自動プロセスでは、断片化パターンの写真が画像分析ツールで処理および分析されます [7]。SoftSolution 社の CulletScanner や Deltamax 社の FROG:Fragment Recognizer of glass など、画像解析に基づいて自動フラグメントカウントを行う装置があります。

最近、ディープ ニューラル ネットワークが基礎となるデータの非常に抽象的な表現を学習できるため、機械学習はコンピューター ビジョンの分野に革命をもたらしました。これにより、断片化パターンを分析するための新しいツールが提供されます。ただし、ディープ ニューラル ネットワークには、十分に注釈が付けられた大量のデータが必要です。これは、粒子計数のための適切なモデルを作成するのに時間のかかる部分です。

この論文では、機械学習の分野における最新の進歩を利用して、強化ガラス内の破片を数える新しい方法を提示することに焦点を当てています。また、深層学習におけるデータのアノテーションの重要性についても説明します。機械学習の章の前に、強化ガラスの破片数のカウントの問題をよりよく理解するために、ガラスの破損に関する背景が示されています。

ガラスの破砕理論
破損後のガラスの断片化は主に応力に依存します。破砕プロセスでは、亀裂の成長は 2 つの部分に分けられます。まず、ガラスには亀裂が自然に成長するのに十分な高い応力レベルが必要です。この応力レベルは、すべての亀裂が端まで成長するはずの熱強化ガラスからすでに必要とされています。第二に、強化ガラスでは、高い破片数を得るために亀裂の分岐が必要です。この分岐現象には、より高い誘導応力レベルが必要です。[8]

初期の破断点と外部の支持または力は、ガラスの破砕に影響を与えます。これらは亀裂先端の応力分布に影響を与え、それにより破砕パターンが変化します。[8,9] このため、初期破断点が規格で定義されています。EN 12150-1 規格では、破片の数をカウントする破損後の時間は 3 ～ 5 分に設定されています [1]。初期亀裂の伝播後に二次亀裂が形成されるため、これを考慮することも重要です。これらの二次亀裂は通常、初期亀裂エッジに対して垂直であり、その数は初期応力状態にも依存します。

薄いガラスと厚いガラスの断片化は同様です。ただし、厚いガラスの場合、亀裂のエッジは薄いガラスの場合よりも粗くなります。また、厚いガラスの場合、破断面が傾斜する場合があります。公称厚さ 4 mm および 10 mm のガラスの典型的な破壊パターンを、それぞれ図 9 および図 10 に例として示します。亀裂のエッジが粗くなると亀裂の線が広くなり、亀裂表面からの光の散乱反射が多くなるため、傾斜した亀裂表面が白い領域として見えます。これらは両方ともフラグメントのカウントに影響を与える可能性があります。

破片数に対する 1 つのアプローチは、ガラスの残留応力レベルと破片数の関係を定義することです。これは、強化ガラスの品質検査に光学応力測定装置を使用する場合に重要です。散乱光偏光器 (SCALP-05) [10] で測定された中央面引張応力とカウントされた破片数の関係を図 1 に示します。試験は 1100 x 360 mm² のガラス サイズで行われます。実験データを明吉らのデータと比較する。[3]。著者らによる実験結果は、明吉らによるデータと比較して、ガラスの破片化レベルが高いことを示しています。[3]。

図 1. 中央面引張応力と 50 x 50 mm2 領域内の破片数の関係。公称ガラス厚さ 4 mm、6 mm、8 mm、10 mm の実験結果 (ドット) と明吉らの比較データ。[3] ガラス厚さ 1.8 mm、3.0 mm、3.4 mm、4.9 mm、および 8.2 mm の場合。
図 1. 中央面引張応力と 50 x 50 mm2 領域内の破片数の関係。公称ガラス厚さ 4 mm、6 mm、8 mm、10 mm の実験結果 (ドット) と明吉らの比較データ。[3] ガラス厚さ 1.8 mm、3.0 mm、3.4 mm、4.9 mm、および 8.2 mm の場合。

マシンビジョンによる破片のカウントの自動化
畳み込みニューラル ネットワーク (CNN) は、長い間、画像分類と物体認識の分野を支配してきました。2012 年、ディープ畳み込みニューラル ネットワーク (DCNN) は、ImageNet 大規模視覚認識コンペティション (ILSVRC) で初めて最先端のパフォーマンスに到達しました [11]。DCNN がもたらした画期的な点は、入力空間の洗練された手作りの機能が必要なくなったことです。

ディープ ラーニング以前は、一般的な画像分類パイプラインは、手作りの特徴を使用してトレーニングされた分類器で構成されていました。人間は入力クラスを最もよく区別する特徴を定義するのに必ずしも効率的であるとは限らないため、これにはいくつかの問題があります。深層学習の利点は、タスク固有の特徴がネットワークによって自動的に抽出され、入力画像から出力クラスまでエンドツーエンドで直接トレーニングできることです。

ただし、ガラス片のセグメンテーションは、単なる画像分類の問題ではありません。むしろ、これはピクセル分類の問題です。入力画像内の各ピクセルを特定のクラスに分類するプロセスは、セマンティック セグメンテーションと呼ばれます。深層学習の画期的な進歩の後、新しいテクノロジーが画像分類からセマンティック セグメンテーションに移行できるようになるまで、それほど時間はかかりませんでした。

問題は、出力が単にクラス確率のベクトルとして定義されているため、分類ネットワークの出力解像度が非常に低いことです。ただし、セマンティック セグメンテーションでは、出力解像度は入力画像解像度と同じくらい高くなければなりません。Longらによる研究。[12] は、既存の分類ネットワークをセマンティック セグメンテーション ネットワークに移行できることを示しました。これは、ネットワーク内のアップサンプリングとピクセル単位の損失を追加することにより、分類を完全接続ニューラル ネットワーク (FCNN) にキャストすることで行われました。

Longらによる研究。これはまだ、高性能セマンティック セグメンテーションへの第一歩にすぎません。それ以来、より洗練されたネットワークが最先端のパフォーマンスを継続的に推進してきました。2018 年の時点で、最もパフォーマンスの高いセマンティック セグメンテーション ネットワークは Google の DeepLab v3+ です [13]。これは、この研究でもガラス片セグメンテーションのタスクに採用されています。

理論
この作業で使用されるフラグメント カウンティング パイプラインの背後にある理論を図 2 に示します。パイプラインは、セグメンテーションを実行する Google の DeepLab v3+ システムと、実際のカウントを実行する後処理アルゴリズムで構成されます。

図 2. フラグメントカウントパイプライン。
図 2. フラグメントカウントパイプライン。
図 2 の DCNN、ASPP、および DECODER ブロックは、DeepLab v3+ システムの一部です。エンコーダは、ネットワークの特徴抽出部分として使用される標準の深層畳み込みニューラル ネットワークです。特に、この作業では残留ネットワーク アーキテクチャ [14] が使用されます。エンコーダーの出力は、異なる受容野 (視野) で特徴マップをサンプリングしてマルチスケール コンテキストをキャプチャする、Atrous 空間ピラミッド プーリング (ASPP) モジュールに送られます。

デコーダは、入力画像の空間解像度を復元するために使用されます。デコーダは基本的に、ASPP モジュールからの低解像度の豊富なセマンティック情報と、エンコーダ モジュールからの高解像度の空間情報を組み合わせます。その結果、元の生の入力イメージの高解像度セグメンテーション マスクが得られます。

DeepLab システムによって与えられたセグメンテーション マスクはさらに後処理されて、フラグメント数が取得されます。各フラグメント インスタンスは、隣接するシャード間の小さな接続が削除されるようにしきい値処理されます。この後、バイナリ セグメンテーション マスク内のすべての接続領域をカウントすることで、フラグメント数を自明に取得できます。

データの注釈
最新の深層学習ニューラル ネットワークは、トレーニング中に利用できるデータの量に大きく依存しています。データセットを複数回反復処理することで、問題の内部表現を調整します。データが非常にまばらな場合、非常に特定のデータ セットのみを学習したモデルが過学習される可能性があります。この種のモデルは通常、問題の領域全体に一般化することができないため、より広範囲のアプリケーションでは使用できなくなります。

このケースも例外ではありません。ただし、ガラス片のセグメンテーションの場合、データセットは、たとえばインターネットから収集された一般的な画像よりもはるかに単純です。ガラスのセグメンテーションでは、オブジェクトのクラスは 1 つだけ、つまりフラグメント自体が表示されます。ニューラル ネットワーク モデルは、フラグメント領域と非フラグメント領域を区別する方法を学習する必要があります。広く使用されているより複雑なデータセットの例は、ImageNet です。これには、約 22,000 の異なるカテゴリに属する​​ 1,500 万を超える画像が含まれています [15]。画像はインターネットから収集され、人間によって注釈が付けられます。最新のニューラル ネットワークは、ImageNet などの非常に困難なデータセットでも人間レベルのパフォーマンスを示しています [16]。

データの注釈付けには人手が必要なため、非常に時間と費用がかかります。通常、データ量がモデルのパフォーマンスのボトルネックになります。特に、特定のタスクに適用され、自由に利用できるデータセットを利用できない場合に顕著です。ガラスの破片化はそのような問題の一例です。モデルがフラグメントをセグメント化する方法を学習するには、正しいセグメント化、またはグランド トゥルースのセグメント化の多数の例を示す必要があります。

アノテーションのプロセス
図 3 に、グラウンド トゥルース セグメンテーションの例を示します。これらのサンプルは人間によって作成されており、アノテーターの経験に応じて、各サンプルには約 10 ～ 30 分の時間がかかります。注釈のプロセスは非常に簡単です。頂点を定義することで、各フラグメントにポリゴンのラベルが付けられます。

サンプルからわかるように、このプロセスは非常に主観的なものでもあります。人によってセグメンテーションの方法は多少異なります。ただし、隣接するポリゴン間に十分な幅のギャップが残るように注釈を付ける必要があります。これにより、モデルは隣接するシャードを確実に分離するようになり、シャード数などの数量を取得するために重要になります。未処理の画像では、破片のエッジの幅が数ピクセルしかなく、背景と実質的に区別できない場合があります。このような場合、ラベル ポリゴン間には広いギャップが残ります。

図 3. さまざまなガラス カテゴリの生画像と対応するグラウンド トゥルース アノテーションのサンプル。
図 3. さまざまなガラス カテゴリの生画像と対応するグラウンド トゥルース アノテーションのサンプル。

フラグメントカウントの主観性に関する実験
断片を数える作業は、その性質上、非常に主観的なものです。割れたガラスのどの部分を個々の破片として数えられるかは明確ではないことが多く、規格でも明確な指示が示されていません。したがって、断片化テストを実際に行う人は、たとえ同じ領域から断片が数えられたとしても、断片数に大きな影響を与える可能性があります。さらに、個人が最も断片の少ない領域を選択する必要がある場合には、バリエーションが導入されます。図 4 に、EN 12150-1 規格 [1] で定義された断片化テストの対象領域を示します。

図 4. 断片化解析の対象領域。破線内のすべての領域を分析に含める必要があります。
図 4. 断片化解析の対象領域。破線内のすべての領域を分析に含める必要があります。
断片計数の主観的な性質が実験的に調査されました。実験の目的は、複数の人間の検査官による断片数の変動を調査することでした。試験は、厚さ 4 mm と 10 mm の 2 つの試験サンプルで構成されました。薄いガラスと厚いガラスでは断片化パターンが大きく異なるため、2 つのガラスの厚さが選択されました。厚さは、破断パターンと破片の外観に大きな影響を与えます。一般に、薄いガラスの破片を数えるのは簡単です。テストは次のように構成されました。厚さ 4 mm と 10 mm の標準サイズ (1100 x 360 mm²) の強化ガラス 2 枚が破損しました。各個人は、2 つの別々の 50 x 50 mm² 領域からの破片を数えました。1 つはガラスの中心からで、もう 1 つは破片が最も少ない自由に選択した領域 (図 4 の破線の内側) からでした。自由に選択した領域の座標も報告され、各個人がガラスからカレットの最も少ない領域をどのように見つけるかを比較しました。

4 mm と 10 mm のテストガラスの破片パターンをそれぞれ図 5 と図 6 に示し、両方のガラスの破片計数結果を表 1 に示します。また、両方のサンプルの破片分布のヒートマップを図 1 に示します。各ヒートマップの上に、自由に選択した領域を指定する長方形が描画されます。

図 5. 4 mm 試験サンプルの断片化パターン。
図 5. 4 mm 試験サンプルの断片化パターン。
図 6. 10 mm テストサンプルの断片化パターン。
図 6. 10 mm テストサンプルの断片化パターン。
ヒートマップでは、青色は断片の密度が低いことを示し、黄色は断片の密度が高いことを示します。どちらの場合も、ほとんどの検査官は右上の領域を選択しました。これは実際、図 4 で説明されている許容対象領域内でフラグメント密度が最も低い領域です。ただし、一部の検査官は最終的に異なる領域を選択しました。サンプルの最終フラグメント数のさらなる変動。

表 1. フラグメントカウントの実験結果
表 1. フラグメント計数の実験的テストの結果。
結果は、全員がまったく同じ領域からの断片を数えた場合でも、人間の検査者によって断片数に大きなばらつきがあることを示しています。検査官がカレットが最も少ない領域を自由に選択した場合、差はさらに大きくなります。

4 mm ガラスの場合、AI モデルのカウントは人間の平均カウントの 1 標準偏差以内です。10mmガラスの場合は少し離れます。ただし、タスクは非常に主観的なものであるため、これは AI モデルが間違っていることを意味するものではありません。テストサンプルの中央領域の画像を図 7 と 8 に示し、AI セグメンテーションの対応するオーバーレイ画像を図 9 と 10 に示します。

図 7. 4 mm サンプルのフラグメント分布のヒートマップと、実験で自由に選択された領域を示す赤い四角形。
図 7. 4 mm サンプルのフラグメント分布のヒートマップと、実験で自由に選択された領域を示す赤い四角形。
図 8. 10 mm サンプルのフラグメント分布のヒートマップと、実験で自由に選択された領域を示す赤い四角形。
図 8. 10 mm サンプルのフラグメント分布のヒートマップと、実験で自由に選択された領域を示す赤い四角形。
4 mm および 10 mm サンプルの AI モデルの対応するフラグメント数は、それぞれ 98 および 68 でした。これらの画像は、断片カウントの難しさを示しています。画像には、AI システムが個々の断片として数えた、人間には数えられない小さな断片が多数あります。これは、10 mm のサンプルの場合に特に当てはまります。10 mm サンプルのセグメンテーション画像では、AI システムが最終的なカウントに多くの小さな破片を含めていることがわかります。これは間違いではありませんが、平均的な人間の検査官よりも高い数値が得られます。自動化システムの利点の 1 つは、その決定に一貫性があり、人間の検査官に影響を与える疲労、集中力の欠如、その他の条件によって結果が変動しないことです。

まとめ
断片計数の難しさを実験的に調査し、その結果をこの論文に示します。その結果、断片の計数は簡単な作業ではなく、規格にはプロセスに関する明確な指示がないため、計数結果は検査官によって大きく異なる可能性があることが示されました。4 mm および 10 mm サンプルの中心領域の断片の相対標準偏差は、それぞれ 4.9% および 6.4% でした。

さらに、最終的なフラグメント数に影響を与えるのは、カウントの違いだけではありません。検査者は、より多くのばらつきをもたらす、最も低い断片密度の領域も決定する必要があります。4 mm および 10 mm サンプルの自由に選択した領域では、それぞれの相対標準偏差は 8.0% および 9.9% でした。

この論文では、フラグメントカウントに対する機械学習ベースのアプローチも紹介します。最新のディープラーニングとコンピュータービジョンテクノロジーは、割れたガラスの画像から破片を正確に数えることができることが示されました。自動化されたアプローチには、客観的で一貫した結果が得られるという利点があります。ただし、この種のアプローチは入手可能なデータに大きく依存しており、入手が面倒で費用もかかります。

参考文献
[1] EN 12150-1:2015、2015、建物のガラス – 熱強化ソーダ石灰酸塩安全ガラス – パート 1: 定義と説明、CEN。
[2] E/ECE、2017 年、自動車機器および部品の承認の統一条件の採用および承認の相互承認に関する協定。補遺 42、規則 No. 43、改訂 4: 安全ガラス材料の承認および車両への取り付けに関する統一規定、附属書 5、2017 年 4 月
[3] 明吉、金井、山本、島、1967 年、議員 Res.研究室、旭硝子、17、23ページ。
[4] Barsom、JM、1968 年、強化ガラスの破壊、J. Am。セラム。社会巻。51、75-78ページ。https://doi.org/10.1111/j.1151-2916.1968.tb11840.x
[5] Pourmoghaddam, N. & Schneider, J.、2018 年、強化ガラスの破片サイズに関する実験的調査、Glass Struct Eng、vol.3、pp.167-181。https://doi.org/10.1007/s40940-018-0062-0
[6] Pourmoghaddam、N.、Kraus、MA、Schneider、J.、Siebert、G.、2018 年、ガラスの 2D マクロスケール破砕の予測のための熱強化ガラスのひずみエネルギーと破壊パターン形態の関係、Glass Struct Eng 。https://doi.org/10.1007/s40940-018-00091-1
[7] Gordon、GG、1996 年、自動ガラス破砕分析、Proc.SPIE 2665、工業検査におけるマシン ビジョン アプリケーション IV。https://doi.org/10.1117/12.232245
[8] Gardon, R.、1980 年、ガラスの熱強化、『ガラスの科学と技術』第 1 巻。5 Elasticity and Strength in Glasses、DR Uhlmann および NJ Kreidl (編)、Academic Press、ニューヨーク、145-216 ページ。
[9] Aronen, A.、Kocer., C.、2015 年、強化ガラスの機械的破損。a Comparison of Testing Standards and In Service Catastrophic Failure (GPD Glass パフォーマンスデイ 2015 の議事録、388 ～ 391 ページ)。
[10] Anton, J.、Aben, H.、2003 年、A Compact Scattered Light Polariscope for Residual Stress Measurement in Glass Plates、Proceedings of Glass Proceedings Days 2003、pp. 86-88。
[11] Krizhevsky, A.、Sutskever, I.、Hinton, GE、2012 年、深層畳み込みニューラル ネットワークによる Imagenet 分類、神経情報処理システムの進歩、Curran Associates, Inc.、1097-1105 ページ。
[12] Long, J.、Shelhamer, E.、Darrell, T.、2015 年、セマンティック セグメンテーションのための完全畳み込みネットワーク、2015 IEEE Con​​ference on Computer Vision and Pattern Recognition (CVPR)、IEEE、3431-3440 ページ。
[13] Chen, L.、Zhu, Y.、Papandreou, G.、Schroff, F.、Adam, H.、2018、セマンティック画像セグメンテーションのための Atrous Separable Convolution を備えたエンコーダ-セコーダ、CoRR、2018 年、利用可能 (09 月 5 日にアクセス) .2018）。https://arxiv.org/abs/1802.02611。
[14] He, K.、Zhang, X.、Ren, S.、Sun, J.、2016 年、画像認識のための深層残差学習、2016 年のコンピューター ビジョンとパターン認識 (CVPR) に関する IEEE 会議、IEEE、770 ページ-778。
[15] Russakovsky, 0.、Deng, J.、Su, H.、Krause, J.、Satheesh, S.、Ma, S.、Huang, Z.、Karpathy, A.、Khosla, A.、バーンスタイン、 M.、2015 年、Imagenet Large Scale Visual Recognition Challenge、International Journal of Computer Vision、Vol.115、211-252ページ。
[16] Russakovsky、O.、Deng、J.、Su、H.、Krause、J.、Satheesh、S.、Ma、S.、Huang、Z.、Karpathy、A.、Khosla、A.、バーンスタイン、 M.、ILSVRC 2017、ImageNet、Web ページ。利用可能 (2018 年 9 月 5 日にアクセス)。https://image-net.org/challenges/LSVRC/2017/results。