जब Google क्लाउड बिल्ड मेरा मॉडल चलाता है, तो मैं चौकियों को सहेजने के लिए निम्न कोड का उपयोग कर रहा हूं:

 cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath = "gs://mybucket/checkpoints", 
                                                   verbose=0,
                                                   save_weights_only=True,
                                                   monitor='val_loss',
                                                   mode='min',
                                                   save_best_only=True)

मुझे अपने बिल्ड लॉग में कोई त्रुटि नहीं मिल रही है, लेकिन प्रत्येक रन के बाद बाल्टी में एकमात्र चीज स्रोत निर्देशिका सामग्री वाली tf_cloud_train_tar फ़ाइल है।

मैं मॉडल.फिट में कॉलबैक = [cp_callback] का उपयोग कर रहा हूं।

0
Adam Pelah 31 पद 2020, 01:09
1
कृपया, यह प्रश्न देखें, मुझे लगता है कि यह मददगार हो सकता है . मूल रूप से, मॉडल को स्थानीय रूप से सहेजें और फिर उसे GCS को लिखें। इस केरस मुद्दे में भी यही तरीका प्रस्तावित है।
 – 
jccampanero
31 पद 2020, 02:42
मुझे वास्तव में जीसीएस पर इसकी आवश्यकता नहीं है या नहीं चाहिए, मैं इसे स्थानीय रूप से लिखा जाना चाहता हूं, लेकिन जब इसे Google क्लाउड बिल्ड का उपयोग करके टेंसरफ़्लो क्लाउड के माध्यम से चलाया जाता है तो यह स्थानीय रूप से समान नहीं लगता है।
 – 
Adam Pelah
31 पद 2020, 03:46
क्या आप सही तरीके से रास्ता तय कर रहे हैं? यह कुछ इस तरह होना चाहिए '/home/jupyter/checkpoint/best_model_{epoch}.h5',
 – 
yudhiesh
31 पद 2020, 05:44
हां मैं हूं। इस गाइड पर वे कहते हैं कि चेकपॉइंट का उपयोग तब तक किया जा सकता है जब तक स्टोरेज डेस्टिनेशन गूगल बकेट में है। मैंने बाल्टी और स्थानीय के लिए पथ की कोशिश की है, कुछ भी संग्रहीत नहीं किया जा रहा है।
 – 
Adam Pelah
31 पद 2020, 18:39

2 जवाब

सबसे बढ़िया उत्तर

मुझे यह समस्या कई कारणों से हो रही थी:

  • डेटासेट स्टोरेज बकेट पर नहीं था, और इसलिए कोड की उस तक कोई पहुंच नहीं थी।
  • फ़ाइलों के बिना डेटासेट के लिए जनरेटर का उपयोग एक अनंत लूप बनाता है, लेकिन कोई क्रैश नहीं होता है।

मैंने एआई प्लेटफॉर्म पर स्विच किया और जीसीएस बकेट से अपना डेटा सोर्स किया और समस्या ठीक हो गई।

0
Adam Pelah 1 जिंदा 2021, 01:28

इसे यहां किसी के लिए भी छोड़ना, जिसे भी यही समस्या हो सकती है।

एआई प्लेटफॉर्म पर अपने मॉडल को प्रशिक्षित करते समय मुझे भी यही समस्या हो रही थी। कोई फर्क नहीं पड़ता कि मैंने क्या किया, मॉडलचेकपॉइंट कॉलबैक इसे सीधे जीसीएस में सहेजने में सक्षम नहीं था।

मैं कस्टम कॉलबैक बनाकर इसे हल करने में सक्षम था। हम tensorflow.keras.callbacks मॉड्यूल से कॉलबैक क्लास को इनहेरिट करके और आवश्यक फ़ंक्शंस को ओवरराइड करके, एक युग के दौरान कई उदाहरणों पर, कुछ भी करने के लिए कॉलबैक बना सकते हैं।

मैंने स्थानीय निर्देशिका में लिखने के लिए मॉडलचेकपॉइंट कॉलबैक बनाया और उन चेकपॉइंट फ़ाइलों को जीसीएस बाल्टी में कॉपी करने के लिए एक कस्टम कॉलबैक बनाया।

कार्यान्वयन यहां मेरे जीथब रेपो में उपलब्ध है -> rel="nofollow noreferrer">https://github.com/Subrahmanyajoshi/Cancer-Detection-using-GCP/blob/07845c1f0c86b727e5ce043a3db4d4cb0e5ed1df/detectors/tf_gcp/trainer/callbacks.py#L10

0
Subrahmanya Joshi 18 सितंबर 2021, 12:02