The task of "Face Recognition", whe

The task of "Face Recognition", where you want a computer to figure out who a person is from a photo of them, is a very difficult function to do well. But in some cases such as robotics, it may not be so important to figure out exactly who it is, you might just want to get an idea of where the people are, or to notice when the camera sees the same person again after the camera has moved around in the room. These are cases when Shirt Detection can be used as a simple method to keep track of who is in the room. For example, a robot could just keep track that there is a person wearing a red shirt to its left, a person wearing a blue shirt in front, and a person wearing a yellow shirt on its right side, so that it can track where these people are when they move around or when the robot moves around.

Shirt Detection can be performed quite easily compared to Face Recognition, by using OpenCV's very reliable Face Detection. Once the program knows where a person's face is, it can look in a small region below the face (where a person's shirt would be), and determine the approximate color of their shirt in that shirt region. This can be performed even without a complex method of determining the exact contour region of a person's shirt, since all you need to know is the color of a region below their face, as opposed to the color of their entire shirt or body.

Here you can find a program I have created (named "ShirtDetection") that detects the shirt color of multiple people in a photo. As a demo, here is the input photo:

The program will convert each pixel into an approximate color type (eg: Green or Orange or Purple or Black, etc), based on its HSV color components. In the image below, you can see that some pixels are converted to red, some to orange, some to green, etc.

It will then perform Face Detection to find where the faces are within the original image. For each face that it finds, it will look at the approximate color types in a small rectangle region below the detected face. It will then see if there is a certain color type that is most dominant in that small region, such as if 60% of the pixels in the shirt rectangle are detected as purple pixels, then it will classify the person's shirt as Purple, with a 60% confidence rating. You can see the final image below, where the detected shirt colors are overlayed on top of the person's shirt.


In most photos, it is reliable enough for simple uses such as Human-Robot-Interaction, where a false detection is not such a problem. Note that even though it appears as if image segmentation was performed, there was no segmentation or contour detection being done. It is simply the result of converting each pixel into an approximate color type.

Note that if the person is so close to the camera that the shirt region goes below the bottom of the image, you should either ignore that face or try a smaller region (with less confidence) in the hope of atleast seeing the top of the shirt. Remember that this program is trying to do shirt color detection, on the assumption that most of their shirt is in the photo, so don't expect good results if only a tiny part of their shirt is visible, and since the shirt color is converted to just a few possible colors, don't expect good results with more than 3 or 4 people!

Update on 30th Aug 2010:
ShirtDetection v1.1 does try a smaller region (with less confidence) if most of the shirt is cut from the image. For example, if only the collar of the shirt is visible in the image, then instead of looking for the region in the chest area, it will look in the lower-neck area.

Results (Indonesian) 2:

Tugas "Face Recognition", di mana Anda ingin komputer untuk mencari tahu siapa orang adalah dari foto mereka, adalah fungsi yang sangat sulit untuk melakukannya dengan baik. Namun dalam beberapa kasus seperti robotika, hal itu mungkin tidak begitu penting untuk mencari tahu persis siapa itu, Anda mungkin hanya ingin mendapatkan ide dari mana orang-orang, atau untuk melihat ketika kamera melihat orang yang sama lagi setelah kamera telah bergerak di dalam ruangan. Ini adalah kasus ketika Kaos Deteksi dapat digunakan sebagai metode sederhana untuk melacak siapa yang di dalam ruangan. Misalnya, robot hanya bisa melacak bahwa ada orang yang mengenakan kemeja merah untuk kiri, seseorang mengenakan kemeja biru di depan, dan orang yang mengenakan kemeja kuning di sisi kanan, sehingga bisa melacak di mana ini orang ketika mereka bergerak di sekitar atau ketika robot bergerak di sekitar. Baju Deteksi dapat dilakukan dengan mudah dibandingkan dengan Face Recognition, dengan menggunakan OpenCV sangat handal Face Detection. Setelah program yang tahu di mana wajah seseorang, itu dapat melihat di daerah kecil di bawah wajah (di mana kemeja seseorang akan), dan menentukan warna perkiraan baju mereka di wilayah itu kemeja. Hal ini dapat dilakukan bahkan tanpa metode yang kompleks menentukan daerah kontur yang tepat kemeja seseorang, karena semua yang perlu Anda ketahui adalah warna dari daerah bawah wajah mereka, yang bertentangan dengan warna seluruh baju atau tubuh mereka. Di sini Anda dapat menemukan program saya telah menciptakan (bernama "ShirtDetection") yang mendeteksi warna baju dari beberapa orang dalam foto. Sebagai demo, di sini adalah foto masukan: Program ini akan mengkonversi setiap pixel menjadi jenis warna perkiraan (misalnya: Hijau atau jeruk atau Purple atau Black, dll), berdasarkan komponen warna HSV-nya. Pada gambar di bawah, Anda dapat melihat bahwa beberapa piksel dikonversi ke merah, sebagian untuk jeruk, beberapa hijau, dll Hal ini kemudian akan melakukan Face Detection untuk menemukan di mana wajah berada dalam gambar asli. Untuk setiap menghadapi yang ditemukan, itu akan melihat jenis warna perkiraan di daerah persegi panjang kecil di bawah wajah terdeteksi. Hal ini kemudian akan melihat apakah ada jenis warna tertentu yang paling dominan di wilayah itu kecil, seperti jika 60% dari piksel dalam persegi panjang kemeja terdeteksi sebagai piksel ungu, maka akan mengklasifikasikan kemeja seseorang sebagai Purple, dengan 60% Peringkat keyakinan. Anda dapat melihat gambar akhir di bawah ini, di mana warna kemeja yang terdeteksi overlayed di atas kemeja seseorang. Dalam sebagian besar foto, itu sudah cukup handal untuk keperluan sederhana seperti Manusia-Robot-Interaksi, di mana deteksi palsu tidak seperti masalah . Perhatikan bahwa meskipun tampak seolah-olah segmentasi citra dilakukan, tidak ada segmentasi atau kontur deteksi yang dilakukan. Ini hanyalah hasil dari mengkonversi setiap pixel menjadi jenis warna perkiraan. Catatan bahwa jika orang tersebut begitu dekat dengan kamera yang wilayah kemeja berjalan di bawah bagian bawah gambar, Anda harus baik mengabaikan wajah itu atau mencoba suatu daerah yang lebih kecil ( dengan kurang percaya diri) dengan harapan minimal melihat bagian atas kemeja. Ingat bahwa program ini sedang mencoba untuk melakukan deteksi warna kemeja, dengan asumsi bahwa sebagian besar baju mereka adalah di foto, jadi jangan berharap hasil yang baik jika hanya sebagian kecil dari baju mereka terlihat, dan karena warna baju diubah hanya beberapa warna mungkin, jangan mengharapkan hasil yang baik dengan lebih dari 3 atau 4 orang! Perbarui pada 30 Agustus 2010: ShirtDetection v1.1 tidak mencoba daerah yang lebih kecil (dengan kurang percaya diri) jika sebagian besar kemeja dipotong dari gambar. Misalnya, jika hanya kerah kemeja yang terlihat dalam gambar, maka bukan mencari wilayah di daerah dada, yang akan tampak di bagian bawah leher.