3d ResNets

Bu çalışmada, videolardan uzamsal temsili öğrenebilen eylem tanıma için 3D Artık Dikkat Ağları (3D RAN) öneriyoruz. Önerilen ağ, dikkat mekanizması ve 3D ResNets mimarisinden oluşur ve mekansal-zamana bağlı bilgileri uçtan uca yakalayabilir. Özellikle, dikkat mekanizmasını 3D ResNet'lerin her bloğuna kanal ve uzaysal alan boyunca ayrı ayrı ekliyoruz. Bir ara özellik haritasının dilimlenmiş her tensörü için, her bir kalan birim bloğundaki kanal ve mekansal dikkat mekanizması alt modüllerine göre kanal ve mekansal dikkat haritalarını sırayla çıkarırız ve dikkat haritaları, temel özellikleri yeniden ağırlaştırmak için giriş özellik haritasına çarpılır. Ağımızı UCF-101, HMDB-51 ve Kinetics veri setlerindeki kapsamlı deneylerle doğrularız. Deneylerimiz, önerilen 3D RAN'ların eylem tanıma için en gelişmiş yaklaşımlardan üstün olduğunu ve ağlarımızın etkinliğini gösterdiğini göstermektedir.