Menurut McCabe
(1997, p13) masalah yang terkait
dengan Sistem Verifikasi Tanda Tangan adalah:
Berapa jumlah fitur yang mencukupi?
- Apakah
fitur
yang
dipilih invariant terhadap
translasi,
rotasi dan
penskalaan?
- Berapa jumlah tanda tangan yang akan digunakan untuk sebagai tanda tangan referensi?
Menurut Nalwa (1997,p217 ) terdapat 2 kriteria untuk mengevaluasi
suatu sistem verifikasi, yaitu
- Kriteria pertama:
Ketika sistem ini dicoba secara individual
harus dapat berjalan
dengan baik
- Kriteria kedua:
Ketika sistem ditest pada suatu database yang besar, harus menunjukkan nilai statistic error rate yang rendah
Salah satu dari kedua kriteria ini saja tidak cukup, keduanya penting untuk dipenuhi. Jika hanya kriteria pertama yang dipenuhi, maka belum tentu sistem ini bisa dijalankan pada database yang besar walaupun dapat mengenali dirinya sendiri. Dan tidak cukup juga jika hanya kriteria ke-2 saja yang dipenuhi, pada evaluasi perfoma sistem verifikasi tidak sama dengan sistem recognition, sistem verifikasi harus dapat mengenali forgery ( pemalsu ) atau genuine ( user asli )yang mengakses sistem.
Salah satu dari kedua kriteria ini saja tidak cukup, keduanya penting untuk dipenuhi. Jika hanya kriteria pertama yang dipenuhi, maka belum tentu sistem ini bisa dijalankan pada database yang besar walaupun dapat mengenali dirinya sendiri. Dan tidak cukup juga jika hanya kriteria ke-2 saja yang dipenuhi, pada evaluasi perfoma sistem verifikasi tidak sama dengan sistem recognition, sistem verifikasi harus dapat mengenali forgery ( pemalsu ) atau genuine ( user asli )yang mengakses sistem.
Minimal terdapat tiga keadaan yang harus dipenuhi agar kriteria pertama yaitu sistem dapat berjalan secara individual dapat dipenuhi adalah
- Sistem harus dapat mengenali coretan (tanda tangan) yang mirip secara konsisten, meskipun ada sedikit ketidaksesuaian pada kecepatan selama menggoreskan coretan (tanda tangan) dan perbedaan yang minim dari bentuk.
- Tingkat kesulitan yang
tinggi
untuk
memalsukan
tanda tangan seseorang, walaupun pemalsu tanda tangan tersebut
melakukan segala macam cara seperti menjiplak tanda tangan, melatih tanda tangan terlebih dahulu, mencari
informasi
mengenai
cara membuat
tanda tangan tersebut, dll.
- Sistem
harus dapat menolak coretan dari genuine (user asli) yang sama sekali berbeda dengan tanda
tangannya.
Untuk memenuhi kriteria yang ke–2, dalam mengevaluasi sistem verifikasi tanda tangan
terdapat 2 faktor yang penting yaitu False Rejection Rate (FRR) dan False Acceptable Rate (FAR). FRR adalah persentase
ditolaknya tanda tangan asli yang
dimasukkan ke dalam sistem, sedangkan
FAR adalah
persentase diterimanya tanda
tangan palsu. Evaluasi perfoma merupakan bagian yang sangat penting
dalam suatu sistem untuk membuktikan
konsistensi dari sistem.
Menurut Griess (2000,p11) dalam mengevaluasi perfoma sistem verifikasi tanda tangan, perlu memperhatikan 2 faktor yang penting yaitu False Rejection Rate (FRR) dari tanda tangan asli dan False Acceptable Rate (FAR) dari tanda tangan pemalsu. Kedua faktor ini saling bertolak belakang, menurunkan salah satu factor biasanya akan mengakibatkan meningkatnya factor yang lain. Oleh karena itu, terdapat Equal Error Rate ( EER ) di mana nilai FAR sama dengan nilai FRR.
Menurut Griess (2000,p11) dalam mengevaluasi perfoma sistem verifikasi tanda tangan, perlu memperhatikan 2 faktor yang penting yaitu False Rejection Rate (FRR) dari tanda tangan asli dan False Acceptable Rate (FAR) dari tanda tangan pemalsu. Kedua faktor ini saling bertolak belakang, menurunkan salah satu factor biasanya akan mengakibatkan meningkatnya factor yang lain. Oleh karena itu, terdapat Equal Error Rate ( EER ) di mana nilai FAR sama dengan nilai FRR.
Jika threshold di tingkatkan maka untuk
mengurangi nilai FAR, maka akan
meningkatkan nilai sekuriti. Sebaliknya jika nilai threshold diturunkan maka akan meminimalkan nilai FRR dan
meningkatkan realibilitas sistem.
Menurut Kholmatov (2003,pp
18 – 19), dalam online
signature verification, nilai error rate sistem harus berkisar antara 0
% s/d 10 % untuk dapat
digunakan.
Untuk menyediakan
pemalsu yang sesungguhnya adalah suatu hal yang cukup
sulit. Pemalsu tanda tangan secara garis besar dapat dikelompokkan dalam 2 jenis pemalsu (
forgery ):
a. Skilled forgery
Skilled forgery adalah tanda tangan yang dibuat oleh pemalsu tanda tangan,
di mana orang tersebut memiliki referensi
bentuk tanda tangan aslinya untuk
dipalsukan dan telah memperlajarinya terlebih
dahulu.
b. Random or zero-effort forgery
Zero-effort forgery atau yang disebut
juga random forgery, adalah tanda
tangan dibuat oleh pemalsu tanpa mengetahui
tanda tangan aslinya sama sekali
atau bahkan tanpa mengetahui nama dari yang akan dipalsukan dan hanya diminta untuk membuat sembarangan tanda tangan tanpa mengetahui
bentuknya sama sekali.