SlideShare a Scribd company logo
Kariyer.net için İş İlanı Öneri
Sistemi Tasarımı ve
Gerçekleştirimi
Kemal Can Kara
kemalcankara@gmail.com
Neşe Kahyalar
sarikayanese@gmail.com
Aşkın Karakaş
askin.karakas@kariyer.net
Samet Esen
sametesen86@gmail.com
Tevfik Aytekin
tevfik.aytekin@eng.bau.edu.tr
Proje Destekçileri
Kariyer.net
TUBİTAK
• Türkiye'nin en büyük aday veritabanına sahip
öncü İnsan Kaynakları sitesidir.
• Türkiye Bilimsel ve Teknolojik Araştırma Kurumu
Proje Numarası: 3160012
Gündem
• Kariyer.net
• Projenin Amacı
• Uygulanan Yöntemler
– Komşuluk bazlı işbirlikçi filtreleme
• Sonuçlar
• Gelecek Çalışmalar
Kariyer.net
• İş arayan adaylarla personel arayan işverenleri internet
ortamında bir araya getiren Kariyer.net, sadece iş ilanı
yayınlamak için bir platform değil, iş arayanların başvurularını
en hızlı ve etkin şekilde gerçekleştirmesini, işverenlerin de en
doğru adaya en kısa sürede ulaşmasını sağlayan hizmetleri
sunar.
• Faaliyete geçtiği 1999 yılından bu yana elektronik İnsan Kaynakları
teknolojilerini yaygınlaştırma misyonu doğrultusunda öncü konumdadır.
Kariyer.net
• 18 milyon farklı kullanıcı
• 1,5 milyon iş ilanı
• 24 milyon özgeçmiş
• 75 bin aktif işveren
Problem
• Nitelikli iş gücü için yayınlanan ilanların %65 i Kariyer.net üzerinde bulunmaktadır
• Bu ilanlar ile iş arayanların en uygun şekilde buluşturulması gerekiyor
• İçerik bazlı ilan önerileri yeterli değil, uzun analiz ve farklı segmentlere özel çözümler
gerektiriyor
Projenin Amacı
İşbirlikçi filtreleme yöntemi ile modeller oluşturarak, adayın incelediği ilanlara göre yeni ilanlar
önermek
• Yeterince görüntülenemeyen ve başvuru alamayan ilanları ilgili adaylara daha fazla göstermek.
• Öneri yapılırken ilan çeşitliliğine dikkat etmek.
• Çok-amaçlı eniyileme yöntemlerinin kullanmak.
• İlan gösterim sayılarında entropi ölçümü yapılarak gösterim dağılımındaki dengesizliği azaltmak.
UYGULANAN YÖNTEMLER
Uygulanan Yöntemler
• Veri Toplanması ve Analizi
 Adayların iş ilanlarını görüntüleme sayıları
 Adayların başvurdukları iş ilanları
• Yöntem Seçimi ve Uygulanması
 Öğe Tabanlı İşbirlikçi Filtreleme
 Değişimli En Küçük Kareler Yöntemi
• Performans ve Kalite Ölçümü
Uygulanan Yöntemler
Veri Toplanması
• 50 bin aktif iş ilanı
• 700 bin kullanıcı
• 10 milyon ilan görüntülemesi
Veri Analizi
• İlan sayısı kullanıcı sayısından düşük - Öğe tabanlı işbirlikçi filtreleme (IBCF)
• Örtük geribildirimler - Değişimli en küçük kareler yöntemi (ALS)
Uygulanan Yöntemler
Yöntem Seçimi
• 5 deney ortalaması
• IBCF – Kosinüs benzerliği(80 komşu)
• ALS - Faktör sayısı çapraz doğrulamayla 50
Uygulanan Yöntemler
IBCF – Kosinüs Benzerliği
Sistem Mimarisi
Sonuçlar
Performans Ölçümü
• Başvuruya dönüşüm oranı
• Gerçek zamanlı başarı oranı
Öneri Kalitesi Ölçümü
• Uzun kuyruk problemi
• Öneri çeşitliliği
Sonuçlar
Web’de Başvuruya Dönüşüm Oranı
0
10
20
30
40
50
60
70
Kasım Aralık Ocak Şubat Mart Nisan
35.89 35.18 35.2 34.63 34.55 34.38
64.24
49.47 49.15 48.96 49.27 49.4
İlan Detay > Başvuru Seçim İlan Detay > Başvuru Seçim (4B)
70
75
80
85
90
95
Kasım Aralık Ocak Şubat Mart Nisan
89.16 88.53 88.8 88.37 88.08 88.37
93.08
91.52 91.41 91.15 90.55 91.12
Başvuru Seçim > Başvuru Tamamlama Başvuru Seçim > Başvuru Tamamlama (4B)
%43
%3,11
Sonuçlar
Mobil Platformda Başvuruya Dönüşüm Oranı
İlan
listeleme
159,467
İlan
detay
113,380 İlan
Başvuru
42,557
İlan Sonuç
39,254
İlan
listeleme
1,261
İlan
detay
1,261
İlan
Başvuru
708
İlan
Sonuç
656
• İlan Detay >
Başvuru Seçim akışı
%49,6 daha iyi
• Başvuru dönüşüm
oranı %111,3 daha
iyi
Sonuçlar
Gerçek zamanlı başarı oranı
Sonuçlar
İlan öneri dağılımı
Gini=0,50
İlan görüntüleme dağılımı
Gini=0,55
Sonuçlar
999203 no'lu İlan Yakınlıklarının Zamana Bağlı Değişimi
1 2
3 4
Sonuçlar ve Gelecek Çalışmalar
• Geliştirilen ilan öneri sistemi şu an Kariyer.net’te başarıyla
kullanılmaktadır.
• Kullanıcılara önerilen ilanların, öneri kalitesine en az zarar vererek,
daha dengeli dağılması için çeşitliliği artırıcı tekniklerin kullanılması
planlanmaktadır.
• Çizge tabanlı benzerlik yöntemleriyle ilanlar arasındaki geçişkenlikler
hesaplanarak farklı zamanlarda çıkmış ilanlar arasında benzerlik
hesaplamayı planlamaktayız.
• İş ilanlarına uygun aday önerme sistemini de geliştirmeyi
planlamaktayız.
TEŞEKKÜR EDERİZ..

More Related Content

Similar to UBMK'17 - Kariyer.net

Netaş Servis Sanallaştırma Platformu
Netaş Servis Sanallaştırma PlatformuNetaş Servis Sanallaştırma Platformu
Netaş Servis Sanallaştırma Platformu
Netaş
 
Rulesimple Hizmetlerimiz
Rulesimple HizmetlerimizRulesimple Hizmetlerimiz
Rulesimple Hizmetlerimiz
Can Taner
 
Wopsy - Intelligently Application Performance Monitoring
Wopsy - Intelligently Application Performance MonitoringWopsy - Intelligently Application Performance Monitoring
Wopsy - Intelligently Application Performance Monitoring
wopsy
 
Türkiye'de Internet ve Internet Ekonomisi
Türkiye'de Internet ve Internet EkonomisiTürkiye'de Internet ve Internet Ekonomisi
Türkiye'de Internet ve Internet Ekonomisi
M. Yalcin Parmaksiz
 
Programatik 101 - Programatik Satın Alma
Programatik 101 - Programatik Satın AlmaProgramatik 101 - Programatik Satın Alma
Programatik 101 - Programatik Satın Alma
Berk Kuşaksız
 
Seo teknigi
Seo teknigiSeo teknigi
Seo teknigisersld29
 
Stratejik insan kaynakları bolum 56
Stratejik insan kaynakları bolum 56Stratejik insan kaynakları bolum 56
Stratejik insan kaynakları bolum 56
Sinan Basaran
 
Uygulama Geliştiricilere Başarı İpuçları
Uygulama Geliştiricilere Başarı İpuçlarıUygulama Geliştiricilere Başarı İpuçları
Uygulama Geliştiricilere Başarı İpuçları
R. Caner Yıldırım
 
Sap2000 egitimi-sisli
Sap2000 egitimi-sisliSap2000 egitimi-sisli
Sap2000 egitimi-sisliserpilscd64
 
Sap2000 egitimi-sisli
Sap2000 egitimi-sisliSap2000 egitimi-sisli
Sap2000 egitimi-sisliserpilscd65
 
GrowthLab - Dijital İş Geliştirme ve Yönetim Sistemleri
GrowthLab - Dijital İş Geliştirme ve Yönetim Sistemleri GrowthLab - Dijital İş Geliştirme ve Yönetim Sistemleri
GrowthLab - Dijital İş Geliştirme ve Yönetim Sistemleri
Inveon Information Technologies
 
Atif Unaldi - Commerce (Bilisim)
Atif Unaldi - Commerce (Bilisim)Atif Unaldi - Commerce (Bilisim)
Atif Unaldi - Commerce (Bilisim)Atıf ÜNALDI
 
PHP Günleri 2013 Emlak Jet Sunumu
PHP Günleri 2013 Emlak Jet SunumuPHP Günleri 2013 Emlak Jet Sunumu
PHP Günleri 2013 Emlak Jet Sunumu
emlakjet
 
Insights Quarterly - Ekim 2017
Insights Quarterly - Ekim 2017Insights Quarterly - Ekim 2017
Insights Quarterly - Ekim 2017
Keytorc Software Testing Services
 

Similar to UBMK'17 - Kariyer.net (17)

Netaş Servis Sanallaştırma Platformu
Netaş Servis Sanallaştırma PlatformuNetaş Servis Sanallaştırma Platformu
Netaş Servis Sanallaştırma Platformu
 
Rulesimple Hizmetlerimiz
Rulesimple HizmetlerimizRulesimple Hizmetlerimiz
Rulesimple Hizmetlerimiz
 
Wopsy - Intelligently Application Performance Monitoring
Wopsy - Intelligently Application Performance MonitoringWopsy - Intelligently Application Performance Monitoring
Wopsy - Intelligently Application Performance Monitoring
 
Türkiye'de Internet ve Internet Ekonomisi
Türkiye'de Internet ve Internet EkonomisiTürkiye'de Internet ve Internet Ekonomisi
Türkiye'de Internet ve Internet Ekonomisi
 
Oguz İlgen
Oguz İlgenOguz İlgen
Oguz İlgen
 
Seo ornek
Seo ornekSeo ornek
Seo ornek
 
Programatik 101 - Programatik Satın Alma
Programatik 101 - Programatik Satın AlmaProgramatik 101 - Programatik Satın Alma
Programatik 101 - Programatik Satın Alma
 
Seo proje
Seo projeSeo proje
Seo proje
 
Seo teknigi
Seo teknigiSeo teknigi
Seo teknigi
 
Stratejik insan kaynakları bolum 56
Stratejik insan kaynakları bolum 56Stratejik insan kaynakları bolum 56
Stratejik insan kaynakları bolum 56
 
Uygulama Geliştiricilere Başarı İpuçları
Uygulama Geliştiricilere Başarı İpuçlarıUygulama Geliştiricilere Başarı İpuçları
Uygulama Geliştiricilere Başarı İpuçları
 
Sap2000 egitimi-sisli
Sap2000 egitimi-sisliSap2000 egitimi-sisli
Sap2000 egitimi-sisli
 
Sap2000 egitimi-sisli
Sap2000 egitimi-sisliSap2000 egitimi-sisli
Sap2000 egitimi-sisli
 
GrowthLab - Dijital İş Geliştirme ve Yönetim Sistemleri
GrowthLab - Dijital İş Geliştirme ve Yönetim Sistemleri GrowthLab - Dijital İş Geliştirme ve Yönetim Sistemleri
GrowthLab - Dijital İş Geliştirme ve Yönetim Sistemleri
 
Atif Unaldi - Commerce (Bilisim)
Atif Unaldi - Commerce (Bilisim)Atif Unaldi - Commerce (Bilisim)
Atif Unaldi - Commerce (Bilisim)
 
PHP Günleri 2013 Emlak Jet Sunumu
PHP Günleri 2013 Emlak Jet SunumuPHP Günleri 2013 Emlak Jet Sunumu
PHP Günleri 2013 Emlak Jet Sunumu
 
Insights Quarterly - Ekim 2017
Insights Quarterly - Ekim 2017Insights Quarterly - Ekim 2017
Insights Quarterly - Ekim 2017
 

More from Kemal Can Kara

Determining Column Numbers in Rèsumè with Clustering
Determining Column Numbers in Rèsumè with ClusteringDetermining Column Numbers in Rèsumè with Clustering
Determining Column Numbers in Rèsumè with Clustering
Kemal Can Kara
 
Trai
TraiTrai
SparkDay 2017 - Kariyer.net
SparkDay 2017 - Kariyer.netSparkDay 2017 - Kariyer.net
SparkDay 2017 - Kariyer.net
Kemal Can Kara
 
Bağlam Temelli Kurumsal Raporlama Yönetici Asistanı
Bağlam Temelli Kurumsal Raporlama Yönetici AsistanıBağlam Temelli Kurumsal Raporlama Yönetici Asistanı
Bağlam Temelli Kurumsal Raporlama Yönetici Asistanı
Kemal Can Kara
 
Yapay Zeka Destekli İş Ön Mülakatı Sistemi
Yapay Zeka Destekli İş Ön Mülakatı SistemiYapay Zeka Destekli İş Ön Mülakatı Sistemi
Yapay Zeka Destekli İş Ön Mülakatı Sistemi
Kemal Can Kara
 
A Matching Approach Based on Term Clusters for eRecruitment
A Matching Approach Based on Term Clusters for eRecruitmentA Matching Approach Based on Term Clusters for eRecruitment
A Matching Approach Based on Term Clusters for eRecruitment
Kemal Can Kara
 

More from Kemal Can Kara (6)

Determining Column Numbers in Rèsumè with Clustering
Determining Column Numbers in Rèsumè with ClusteringDetermining Column Numbers in Rèsumè with Clustering
Determining Column Numbers in Rèsumè with Clustering
 
Trai
TraiTrai
Trai
 
SparkDay 2017 - Kariyer.net
SparkDay 2017 - Kariyer.netSparkDay 2017 - Kariyer.net
SparkDay 2017 - Kariyer.net
 
Bağlam Temelli Kurumsal Raporlama Yönetici Asistanı
Bağlam Temelli Kurumsal Raporlama Yönetici AsistanıBağlam Temelli Kurumsal Raporlama Yönetici Asistanı
Bağlam Temelli Kurumsal Raporlama Yönetici Asistanı
 
Yapay Zeka Destekli İş Ön Mülakatı Sistemi
Yapay Zeka Destekli İş Ön Mülakatı SistemiYapay Zeka Destekli İş Ön Mülakatı Sistemi
Yapay Zeka Destekli İş Ön Mülakatı Sistemi
 
A Matching Approach Based on Term Clusters for eRecruitment
A Matching Approach Based on Term Clusters for eRecruitmentA Matching Approach Based on Term Clusters for eRecruitment
A Matching Approach Based on Term Clusters for eRecruitment
 

UBMK'17 - Kariyer.net

  • 1. Kariyer.net için İş İlanı Öneri Sistemi Tasarımı ve Gerçekleştirimi Kemal Can Kara kemalcankara@gmail.com Neşe Kahyalar sarikayanese@gmail.com Aşkın Karakaş askin.karakas@kariyer.net Samet Esen sametesen86@gmail.com Tevfik Aytekin tevfik.aytekin@eng.bau.edu.tr
  • 2. Proje Destekçileri Kariyer.net TUBİTAK • Türkiye'nin en büyük aday veritabanına sahip öncü İnsan Kaynakları sitesidir. • Türkiye Bilimsel ve Teknolojik Araştırma Kurumu Proje Numarası: 3160012
  • 3. Gündem • Kariyer.net • Projenin Amacı • Uygulanan Yöntemler – Komşuluk bazlı işbirlikçi filtreleme • Sonuçlar • Gelecek Çalışmalar
  • 4. Kariyer.net • İş arayan adaylarla personel arayan işverenleri internet ortamında bir araya getiren Kariyer.net, sadece iş ilanı yayınlamak için bir platform değil, iş arayanların başvurularını en hızlı ve etkin şekilde gerçekleştirmesini, işverenlerin de en doğru adaya en kısa sürede ulaşmasını sağlayan hizmetleri sunar. • Faaliyete geçtiği 1999 yılından bu yana elektronik İnsan Kaynakları teknolojilerini yaygınlaştırma misyonu doğrultusunda öncü konumdadır.
  • 5. Kariyer.net • 18 milyon farklı kullanıcı • 1,5 milyon iş ilanı • 24 milyon özgeçmiş • 75 bin aktif işveren
  • 6. Problem • Nitelikli iş gücü için yayınlanan ilanların %65 i Kariyer.net üzerinde bulunmaktadır • Bu ilanlar ile iş arayanların en uygun şekilde buluşturulması gerekiyor • İçerik bazlı ilan önerileri yeterli değil, uzun analiz ve farklı segmentlere özel çözümler gerektiriyor
  • 7. Projenin Amacı İşbirlikçi filtreleme yöntemi ile modeller oluşturarak, adayın incelediği ilanlara göre yeni ilanlar önermek • Yeterince görüntülenemeyen ve başvuru alamayan ilanları ilgili adaylara daha fazla göstermek. • Öneri yapılırken ilan çeşitliliğine dikkat etmek. • Çok-amaçlı eniyileme yöntemlerinin kullanmak. • İlan gösterim sayılarında entropi ölçümü yapılarak gösterim dağılımındaki dengesizliği azaltmak.
  • 9. Uygulanan Yöntemler • Veri Toplanması ve Analizi  Adayların iş ilanlarını görüntüleme sayıları  Adayların başvurdukları iş ilanları • Yöntem Seçimi ve Uygulanması  Öğe Tabanlı İşbirlikçi Filtreleme  Değişimli En Küçük Kareler Yöntemi • Performans ve Kalite Ölçümü
  • 10. Uygulanan Yöntemler Veri Toplanması • 50 bin aktif iş ilanı • 700 bin kullanıcı • 10 milyon ilan görüntülemesi Veri Analizi • İlan sayısı kullanıcı sayısından düşük - Öğe tabanlı işbirlikçi filtreleme (IBCF) • Örtük geribildirimler - Değişimli en küçük kareler yöntemi (ALS)
  • 11. Uygulanan Yöntemler Yöntem Seçimi • 5 deney ortalaması • IBCF – Kosinüs benzerliği(80 komşu) • ALS - Faktör sayısı çapraz doğrulamayla 50
  • 12. Uygulanan Yöntemler IBCF – Kosinüs Benzerliği
  • 14.
  • 15.
  • 16. Sonuçlar Performans Ölçümü • Başvuruya dönüşüm oranı • Gerçek zamanlı başarı oranı Öneri Kalitesi Ölçümü • Uzun kuyruk problemi • Öneri çeşitliliği
  • 17. Sonuçlar Web’de Başvuruya Dönüşüm Oranı 0 10 20 30 40 50 60 70 Kasım Aralık Ocak Şubat Mart Nisan 35.89 35.18 35.2 34.63 34.55 34.38 64.24 49.47 49.15 48.96 49.27 49.4 İlan Detay > Başvuru Seçim İlan Detay > Başvuru Seçim (4B) 70 75 80 85 90 95 Kasım Aralık Ocak Şubat Mart Nisan 89.16 88.53 88.8 88.37 88.08 88.37 93.08 91.52 91.41 91.15 90.55 91.12 Başvuru Seçim > Başvuru Tamamlama Başvuru Seçim > Başvuru Tamamlama (4B) %43 %3,11
  • 18. Sonuçlar Mobil Platformda Başvuruya Dönüşüm Oranı İlan listeleme 159,467 İlan detay 113,380 İlan Başvuru 42,557 İlan Sonuç 39,254 İlan listeleme 1,261 İlan detay 1,261 İlan Başvuru 708 İlan Sonuç 656 • İlan Detay > Başvuru Seçim akışı %49,6 daha iyi • Başvuru dönüşüm oranı %111,3 daha iyi
  • 20. Sonuçlar İlan öneri dağılımı Gini=0,50 İlan görüntüleme dağılımı Gini=0,55
  • 21. Sonuçlar 999203 no'lu İlan Yakınlıklarının Zamana Bağlı Değişimi 1 2 3 4
  • 22. Sonuçlar ve Gelecek Çalışmalar • Geliştirilen ilan öneri sistemi şu an Kariyer.net’te başarıyla kullanılmaktadır. • Kullanıcılara önerilen ilanların, öneri kalitesine en az zarar vererek, daha dengeli dağılması için çeşitliliği artırıcı tekniklerin kullanılması planlanmaktadır. • Çizge tabanlı benzerlik yöntemleriyle ilanlar arasındaki geçişkenlikler hesaplanarak farklı zamanlarda çıkmış ilanlar arasında benzerlik hesaplamayı planlamaktayız. • İş ilanlarına uygun aday önerme sistemini de geliştirmeyi planlamaktayız.

Editor's Notes

  1. Veritabanında 18 milyon civarında farklı kullanıcı hesabı bulunmaktadır. Çeşitli sektör ve pozisyonlarda toplam 1 milyon 450 bin ilan yayınlanmış durumdadır Kurulduğu gündeçn bu yana 1.5 milyonun üzerinde kişinin istihdamına aracılık etmiştir. Web sitesi üzerinden 550 milyon başvuru yapılmıştır Türk iş dünyasının bilinirliği en yüksek markalarından biridir. 70 binin üzerinde firmaya hizmet sağlamıştır. Kariyer.net 11 bölge ofisiyle tüm Türkiye'ye hizmet vermektedir.
  2. Kariyer.net sürekli gelişen ve yenilenen bir sistemdir İş arayan adaylarla personel arayan işverenleri internet ortamında bir araya getiren Kariyer.net, sadece iş ilanı yayınlamak için bir platform değil, iş arayanların başvurularını en hızlı ve etkin şekilde gerçekleştirmesini, işverenlerin de en doğru adaya en kısa sürede ulaşmasını sağlayan hizmetleri sunar.
  3. İşbirlikçi filtreleme yöntemi ile adayların ilanları görüntüleme sayıları ve süreleri, ilanlara yaptıkları başvurular takip ettikleri firmalar gibi örtük (implicit) geri bildirimler üzerinden modeller kurulmaktadır. Örtük geribildirimlerin, açık (explicit) geribildirimlere göre toplaması hem daha kolay hem de daha güvenilirdir. Moduler bir tasarım yapılarak farklı öğeler (iş ilanı görüntüleme/başvuru, firma görüntüleme/takip vb.) kolayca öneri sistemine entegre edilebilecektir
  4. 785.253 kullanıcı, 14.196 iş ilanı ve 8.971.251 görüntüleme verisinden oluşan bir veri kümesi için iki yöntemin başarı sonuçları gösterilmiştir. Önerilerin başarısını ölçmek için kesinlik (precision, P), geriçatma (recall, R), normalize indirgenmiş kümülatif kazanç (normalized discounted cumulative gain, NDCG) ve ortalama kesinlik (mean average precision, MAP) kullanılmıştır. IBCF yönteminin ALS'den daha başarılı çıkmasının önemli bir nedeni geri bildirimi az olan kullanıcıların olmasıdır. Bu kullanıcılar ALS tarafından iyi modellenemediği için ALS yönteminin toplam başarısı daha düşük çıkmıştır. Yeterli veri olması durumunda ALS yönteminin IBCF'den daha başarılı sonuçlar ürettiği bilinmektedir. Ancak birçok başka uygulamada olduğu gibi Kariyer.net'te de az geri bildirim yapmış kullanıcılar hep olacaktır.