मैं वर्ग असंतुलन मुद्दे से निपटने के लिए मॉडल आउटपुट को स्केल करना और इसे सामान्य बनाना चाहता हूं। उदाहरण के लिए, यदि मेरे पास 10-लेबल आउटपुट y_logits और उनके सॉफ्टमैक्स y_pred और पूर्व p हैं, तो नया आउटपुट होना चाहिए:

y_pred /= prior
y_pred /= sum(y_pred)

समस्या यह है कि टेंसरफ़्लो में softmax_cross_entropy_with_logits फ़ंक्शन लॉग्स y_logits लेता है और मुझे इसके बजाय y_pred पर यह स्केलिंग करने की आवश्यकता है। किसी भी विचार को क्रॉस-एन्ट्रॉपी नुकसान को लागू किए बिना इसे कैसे करना है?

0
Ehab AlBadawy 11 जिंदा 2018, 18:37

1 उत्तर

सबसे बढ़िया उत्तर

उन लोगों के लिए जो एक ही समस्या का सामना कर रहे हैं, मैंने सीई को संख्यात्मक रूप से स्थिर तरीके से पुन: कार्यान्वित करके इसका एक अच्छा समाधान ढूंढ लिया है। यदि आप जानना चाहते हैं कि आपको सीई को सीधे क्यों लागू नहीं करना चाहिए क्योंकि इसका समीकरण कहता है -∑ p_i log(q_i) इसे देखें ट्यूटोरियल.

मैं पुजारियों को लागू करने के लिए जिस कार्यान्वयन का उपयोग करता था वह इस प्रकार है:

def modified_CE(logits=None, labels=None, priors=None):
    # subtracting the maximum value to prevent inf results
    # you should change the shape of your logits based on your data
    scaled_logits = logits - tf.reshape(tf.reduce_max(logits,1),shape=(7500,1))
    # renormalize your logits as a finale step for the log softmax function
    normalized_logits = scaled_logits - tf.reshape(tf.reduce_logsumexp(scaled_logits,1),shape=(7500,1))

    # apply the priors
    normalized_logits -= tf.log(np.array(priors,dtype=np.float32))
    # renormalize 
    normalized_logits -= tf.reshape(tf.reduce_logsumexp(normalized_logits,1),shape=(7500,1))

    return tf.reduce_mean(-tf.reduce_sum(labels[0,:,:]*normalized_logits,1))
0
Ehab AlBadawy 24 फरवरी 2018, 03:27