XSIG 2019: THE 3RD CROSS-DISCIPLINARY WORKSHOP ON COMPUTING SYSTEMS, INFRASTRUCTURES, AND PROGRAMMING
PROGRAM FOR WEDNESDAY, MAY 29TH
Days:
previous day
all days

View: session overviewtalk overview

10:00-11:30 Session 9: チュートリアル2
10:00
Basics of deep learning compilers and their recent trends
13:00-14:30 Session 10A: メモリ
13:00
Switching Different Prefetchers Dinamically using Phase Detection and Prior Learning

ABSTRACT. 高性能なプロセッサでは,あらかじめ必要なデータを予測してキャッシュに挿入しておくために,プリフェッチャというハードウエアが設けられている.プリフェッチャはキャッシュの有効利用を促進することでプロセッサの性能向上に寄与するが,一方でキャッシュ・ポリューションや主記憶へのアクセスの帯域幅の占領といった,プロセッサの性能を低下させる事象を引き起こすことがある.この対策として,プリフェッチャを動的に制御するさまざまな手法が提案されている.本論文では,プリフェッチャを動的に制御する手法で用いられている指標からプリフェッチャの精度とカバレッジを取り上げ,これらがプリフェッチャを動的に制御するうえで必ずしも有用とはいえないことを示した.また,フェーズ検出を用いてプロファイルを作成し,それを利用してプリフェッチャの組み合わせを動的に切り替えるプリフェッチ制御手法を提案した.提案手法はSPEC CPU2006のベンチマークのうちいくつかのベンチマークにおいて有意にプリフェッチャの組み合わせを切り替えることができた.

13:30
トランザクショナルメモリにおけるメモリアクセスパターンを考慮したポリシー動的切り替え手法

ABSTRACT. ハードウェアトランザクショナルメモリ(Hardware Transactional Memory: HTM)における競合検出・バージョン管理の機構には,それぞれ2つの実現方式が存在し,それらの方式を組み合わせることにより,HTMには3つのポリシーが存在する.これら3つのポリシーはそれぞれアクセス競合の解決方式に違いがあり,これがプログラムの実行時間に影響を与えると考えられる.この仮説を検証するために,各プログラムをそれぞれ3つのポリシーで実行し,実行時間を調査した.その結果,プログラム毎に高い性能を発揮することができるポリシーが異なることを確認した.しかし,一般的なHTMでは単一のポリシーを使用することが多く,全てのプログラムで高い性能を発揮することは困難である.そこで,本論文では,トランザクションのメモリアクセスパターンを解析して得た指標を基に,プログラムの実行中にポリシーを最適なものに動的に切り替える手法を提案した.その手法を評価した結果,評価に用いた全てのプログラムにおいて最適なポリシーを選択可能であることを確認した.

14:00
Virtual Prefetch Buffer using Surplus Area by Cache Compression

ABSTRACT. キャッシュ圧縮技術はキャッシュの容量を擬似的に数倍に増大させる手法だが, キャッシュ置換アルゴリズムと競合し得る. そこで, キャッシュ圧縮によって生じる余剰領域を, 追い出された後のキャッシュ・ラインを一時的に格納するビクティム・キャッシュとして利用し, 正規のキャッシュ置換アルゴリズムに干渉させない手法が提案されている. しかし, キャッシュ置換アルゴリズムによるキャッシュ・ラインの評価が正しければ, 余剰領域のキャッシュ・ラインが参照される可能性は低い. 一方, プリフェッチ技術は予測精度が高いと有効的な手法だが, キャッシュ・ポリューションを起こすことが知られている. そこで, 本研究ではキャッシュ圧縮によって生じる余剰領域を用いて, キャッシュ・ポリューションを防ぐ仮想的なプリフェッチ・バッファを実現する手法を提案する. RISC-V プロセッサ上に提案手法を実装してSPEC CPU2017をシミュレートした結果,非圧縮キャッシュに対して幾何平均でMPKIを約12%削減し, IPCを約15%向上することを示した. また, SPEC CPU2017でのプリフェッチによるキャッシュ・ポリューションを調査し, 約18%削減することを示した.

13:00-14:30 Session 10B: 機械学習
13:00
A Study on Machine Leaning-based Action Recognition with Estimated Pose

ABSTRACT. お年寄りや子供を見守るサービスや防犯カメラなどによるライフログの利用が普及し,多様に活用される ようになってきているが,動画像解析に要する通信量や計算量,プライバシーに関する問題が介在している.また, ディープラーニング技術が画像認識や音声認識を始めとする様々な分野に応用されているが,正確な認識処理を行う ためには大量のデータの収集,処理が必要となるため,リアルタイムに解析するのは非常に困難である.本研究で は,動画像をリアルタイムに解析し,動作の識別を行うことを目標として,姿勢推定ライブラリ OpenPose とディー プラーニングフレームワーク Keras を用いた機械学習手法について考察した.画像 1 枚から抽出した特徴量のみを使 用して学習を行うことで,約 80%の精度で動作を識別することが可能であることがわかった.次に,同じ動画から取 得した 10 枚の画像の時系列を考慮した特徴量データを使用して動作の識別精度を測定したところ,画像 1 枚の識別と 比較して識別精度は低下した.実験結果をもとに,その原因と識別精度を向上させる手法について考察する.

13:30
Pre-trained Neural Network Model Selection Method for Efficient Fine-Tuning in Image Recognition
PRESENTER: Yosuke Ueno

ABSTRACT. 来るべき超スマート社会の実現に向け,我々は,個々の環境に特化した推論エンジンを構築するためのクラウドエッジ協調型学習手法について研究を行っている. 近年、画像認識は畳み込みニューラルネットワーク(CNN)を始めとする深層学習技術によって著しく改善しているが,CNNの学習には大量のラベル付きデータおよび膨大な計算リソースを必要とするため,非常にコストが高い. 転移学習の1つであるfine-tuningは,予め大きなラベル付きデータセットを使用して学習済みのCNNを特定のタスクに対して適応させる方法であり,これを用いることで学習データが少ない場合でも,低い学習コストで高精度のCNNが学習できることが知られている. しかし,効率的なfine-tuningのために対象のタスクに適した学習済みモデルを選択する方法はまだ確立されていない.

本論文では,分類対象の画像が入力されたときの学習済みモデルの内部状態を用いて,その対象に対するその学習済みモデルの親和性を定量化する方法を提案する.

提案手法の評価としてAlexNet, VGG16, ResNet18を42種類の異なるデータセットで学習したモデルを用意し,それらを6つのクラス分類タスクに対してfine-tuningを行い,提案した選択指標と各モデルをもとにしたときのfine-tuning後の精度の相関を評価した.その結果,いくつかの選択指標はfine-tuning後の精度と強い相関があることがわかった. さらに,学習済みCNNの出力に近い側の層は,転移後の画像識別には有効でない場合があることもわかった. 提案した選択指標を用いることで,学習済みモデルのうち転移後の識別に最適な層を判断し,その層以前の部分のみを用いてfine-tuningを行うことで,通常の場合に比べて精度が向上し,学習及び推論にかかる計算量が削減できることも示した. AlexNetの場合には転移後の精度を平均して1%向上させつつ,畳み込み層での計算量を約34%削減できた.また,ResNet18の場合には精度が平均4%向上し,畳み込み層での計算量を6%削減できることがわかった. 一方で,VGG16の場合には畳み込み層での計算量を19%削減できたが,精度が平均4%低下することもわかった.

14:00
Investigation of Smoothing in Natural Gradient Method for Large Mini-batch Training

ABSTRACT. 深層学習では極めて冗長な数のパラメータを持つ深層ニューラルネットワーク(DNN)を膨大な学習データを用いて学習することで画像認識や自然言語処理の分野で従来の機械学習手法を圧倒する高い性能を発揮している.一方で,DNNの学習には膨大な計算時間がかかるため,大規模並列化によって学習時間を短縮するのが喫緊の課題である.DNNの学習は訓練データとの誤差を表す関数の最小化問題に帰結するが,単純に大規模並列化を用いただけでは,その最適化の収束性や訓練データ以外のデータに対する汎化性能が低下することが知られている.自然勾配法はリーマン計量を用いることでパラメータ空間の歪みを補正することで勾配降下法の収束性を向上させることが可能である.しかし,学習に用いるフィッシャー情報行列の計算に膨大な時間がかかるため,これまで深層学習では用いられることは少なかったが,高速な近似手法が近年開発され注目を集めている.本研究で扱うラージバッチ学習では,バッチごとのデータが統計的に安定しており,パラメータ空間の曲率を考慮する効果が従来よりも大きい.また,ラージバッチ学習ではより少ない反復数で収束する必要があるため,一回の更新ベクトルの方向がより正しく計算される必要がある.そのため,自然勾配法はラージバッチ学習に有効であると考えられるが,実際のラージバッチ学習において自然勾配法を適用した結果,SGDに比べ有意な結果とならなかった.そのため,損失関数にSmoothingの処理を行った結果,自然勾配法はSGDと同じ精度をより少ない反復数で得ることを確認した.