Image Features Extraction

The use of Deep Neural Network (DNN) models for Visual Speech Recognition (VSR) has recently been gaining traction. The use of more complex DNN models have greatly increased accuracy performance but have the downside of very poor explainability. There is still much room for improvement in using DNN models for VSR in comparison to audio-only speech recognition. Being able to explain the model and its predictions would be beneficial for improving its performance, and the explainability of predictions are important in VSR in order to further improve the model design and handling of real-world data. This paper highlights various deep learning techniques for visual speech recognition and reports on experiments using feature visualisation techniques for these models, successfully demonstrating that CNNs are self-learning features consistent with what we would expect.

This article presents a survey of the latest methods of violence detection in video sequences. Although many studies have described the approaches taken to detect violence, there are few surveys providing exhaustive review of the available methods. We expose the main challenges in this area and we classify the methods into five broad categories. We discuss each category and present the main techniques that proposed improvements as well as some performance measures using public datasets to evaluate the different existing techniques of violence detection.

Due to sharp increases in data dimensions, working on every data mining or machine learning (ML) task requires more efficient techniques to get the desired results. Therefore, in recent years, researchers have proposed and developed many methods and techniques to reduce the high dimensions of data and to attain the required accuracy. To ameliorate the accuracy of learning features as well as to decrease the training time dimensionality reduction is used as a pre-processing step, which can eliminate irrelevant data, noise, and redundant features. Dimensionality reduction (DR) has been performed based on two main methods, which are feature selection (FS) and feature extraction (FE). FS is considered an important method because data is generated continuously at an ever-increasing rate; some serious dimensionality problems can be reduced with this method, such as decreasing redundancy effectively, eliminating irrelevant data, and ameliorating result comprehensibility. Moreover, FE transacts with the problem of finding the most distinctive, informative, and decreased set of features to ameliorate the efficiency of both the processing and storage of data. This paper offers a comprehensive approach to FS and FE in the scope of DR. Moreover, the details of each paper, such as used algorithms/approaches, datasets, classifiers, and achieved results are comprehensively analyzed and summarized. Besides, a systematic discussion of all of the reviewed methods to highlight authors' trends, determining the method(s) has been done, which significantly reduced computational time, and selecting the most accurate classifiers. As a result, the different types of both methods have been discussed and analyzed the findings.

In this paper, we propose an eXtended Center-Symmetric Local Binary Pattern (XCS-LBP) descriptor for
background modeling and subtraction in videos. By combining the strengths of the original LBP and the
similar CS ones, it appears to be robust to illumination changes and noise, and produces short histograms,
too. The experiments conducted on both synthetic and real videos (from the Background Models Challenge)
of outdoor urban scenes under various conditions show that the proposed XCS-LBP outperforms its direct
competitors for the background subtraction task.

Türkiye’nin Karadeniz’e olan kıyı kesiminde en savunmasız kısmı Sakarya ili içerisinde yer almaktadır. 50km uzunluğundaki kıyı şeridi bu havzada milyonlarca yıldır Sakarya Nehri’nin taşıdığı çökelti ile oluşmuştur (Kutoğlu vd. 2010). 1996 yılında Sakarya nehri yakınındaki Karasu ilçesinde, nehrin 1km doğusuna balıkçı limanı kurulmuştur. Projenin ilerleyen aşamalarında bu liman 1.5km uzunluğunda dalgakıranı olan bir limana dönüştürülmüş ve inşaatı 2008 yılında tamamlanmıştır. İnşaat sırasında, kıyı şeridi çizgisinin kıyı kesiminde bulunan evlere doğru yaklaştığı gözlemlenmiştir. Daha sonra şiddetini giderek arttıran kıyı erozyonu, 2010 yılının Ocak ayında kıyı kesiminin ön plandaki evlere zarar vermiştir.
Bu çalışmada Karasu kıyı şeridindeki değişikliklerin, nesne tabanlı görüntü analizi yaklaşımları kullanılarak elde edilen sınıflandırma sonuçlarının zamansal analiz çalışmalarına yer verilmiştir. Bu amaçla, test alanı için 1987, 2001, 2006 ve 2010 yıllarına ait Landsat 5 ve Landsat 7 uydu görüntüleri kullanılmıştır. Bu görüntüler, eCognition yazılımın ana adımları olan segmentasyon ve sınıflandırma aşamalarından geçirilerek işlenmiştir. Diğer yandan, nesne tabanlı sınıflandırma sonuçları, piksel tabanlı sınıflandırma sonuçları, referans vektör haritaları ve ekran üzerinden manuel vektörleştirme sonuçları ile karşılaştırılmıştır. Belirtilen sınıflandırma sonuçlarının doğruluk analizleri sunulmuş ve yorumlanmıştır.
Bu sonuçlara göre; Landsat görüntülerinin zamansal analiz için uygun veri kaynağı olmalarının yanında, yüksek doğruluk isteyen analizlerde kullanılamadığı, nesne-tabanlı sınıflandırma tekniği ile kıyı şeridinin yarı-otomatik olarak çıkarımının hızlı bir şekilde yapılabildiği ve bu çıkarımların ekran üzerinden manuel vektörleştirme sonuçlarına benzer olduğu görülmüştür. Çalışmada kıyı şeridine dik oluşturulan üç kesitin değerlendirilmesi sonucunda, nesne-tabanlı sınıflandırma yaklaşımı ile 2006 ve 2010 Landsat görüntüleri kullanılarak kıyı erozyonunun çıkarılamadığı, diğer görüntülerde ise, karşılaştırılan tüm yaklaşımların birbirlerine yakın sonuçlar verdiği belirlenmiştir. Çıkarılan sonuçlar doğrultusunda, bu tür kıyı erozyonu çalışmalarında yüksek çözünürlüklü görüntülerin kullanılması ile zamansal analizin başarı ile yapılabileceği ve Coğrafi Bilgi Sistemi (CBS) ortamına entegre edilebileceği görülmüştür.

Action recognition " in the wild " is extremely challenging, particularly when complex 3D actions are projected down to the image plane, losing a great deal of information. The recent growth of 3D data in broadcast content and commercial depth sensors, makes it possible to overcome this. However, there is little work examining the best way to exploit this new modality. In this paper we introduce the Hollywood 3D benchmark , which is the first dataset containing " in the wild " action footage including 3D data. This dataset consists of 650 stereo video clips across 14 action classes, taken from Hollywood movies. We provide stereo calibrations and depth reconstructions for each clip. We also provide an action recognition pipeline, and propose a number of specialised depth-aware techniques including five interest point detectors and three feature descriptors. Extensive tests allow evaluation of different appearance and depth encoding schemes. Our novel techniques exploiting this depth allow us to reach performance levels more than triple those of the best baseline algorithm using only appearance information. The benchmark data, code and calibrations are all made available to the community .