BILUO टैगिंग योजना का उपयोग करके NER मॉडल को प्रशिक्षित करने के लिए हम Spacy मिनीबैच और GoldParse का उपयोग कैसे कर सकते हैं?

स्पासी नेर मॉडल के लिए मेरा इनपुट डेटा BILUO टैगिंग स्कीम में है और मैं इसे कुछ आवश्यकता के हिस्से के रूप में उपयोग करना चाहता हूं। जब मैं बिना मिनीबैच के मॉडल को प्रशिक्षित करने का प्रयास करता हूं, तो यह ठीक काम करता है (टिप्पणी की गई भाग)। लेकिन मैं यह समझने में असमर्थ हूं कि मॉडल की सटीकता बढ़ाने के लिए यहां मिनीबैच और गोल्डपार्स का उपयोग कैसे किया जाए। क्या मेरी उम्मीदें यहां मान्य हैं क्योंकि मुझे इस तरह के संयोजन के साथ एक भी उदाहरण नहीं मिला? इसके अलावा, मैंने पहले ही मॉडल को स्टार्ट, एंड, लेबल फॉर्मेट के दृष्टिकोण से प्रशिक्षित किया है। कृपया इस खंड का पता लगाने में मेरी मदद करें। मेरा कोड नीचे जैसा है,

import spacy
from spacy.gold import offsets_from_biluo_tags
from spacy.gold import biluo_tags_from_offsets
import random
from spacy.util import minibatch, compounding
from os import path
from tqdm import tqdm


def train_spacy(data, iterations, model=None):
    TRAIN_DATA = data
    print(f"downloads = {model}")
    if model is not None and path.exists(model):
        print(f"training existing model")
        nlp = spacy.load(model)
        print("Model is Loaded '%s'" % model)
    else:
        print(f"Creating new model")

        nlp = spacy.blank('en')  # create blank Language class

    if 'ner' not in nlp.pipe_names:
        ner = nlp.create_pipe('ner')
        nlp.add_pipe(ner, last=True)
    else:
        ner = nlp.get_pipe('ner')

    # Based on template, get labels and save those for further training
    LABEL = ["Name", "ORG"]

    for i in LABEL:
        # print(i)
        ner.add_label(i)

    # get names of other pipes to disable them during training
    other_pipes = [pipe for pipe in nlp.pipe_names if pipe != 'ner']
    with nlp.disable_pipes(*other_pipes):  # only train NER
        if model is None:
            optimizer = nlp.begin_training()
        else:
            optimizer = nlp.entity.create_optimizer()
        tags = dict()
        for itn in range(iterations):
            print("Starting iteration " + str(itn))
            random.shuffle(TRAIN_DATA)
            losses = {}
            # for text, annotations in tqdm(TRAIN_DATA):
            #     print(f"text={text}, an={annotations}")
            #     tags['entities'] = offsets_from_biluo_tags(nlp(text), annotations)
            #     print(f"a={tags}")
            #     nlp.update([text],  # batch of texts
            #                [tags],  # batch of annotations
            #                drop=0.5,  # dropout - make it harder to memorise data
            #                sgd=optimizer,  # callable to update weights
            #                losses=losses)
            # print(losses)
            batches = minibatch(TRAIN_DATA, size=compounding(4.0, 16.0, 1.001))
            # type 2 with mini batch
            for batch in batches:
                texts, annotations = zip(*batch)
                print(texts)
                tags = {'entities': annotations}
                nlp.update(
                    texts,  # batch of texts
                    [tags],  # batch of annotations
                    drop=0.4,  # dropout - make it harder to memorise data
                    losses=losses,
                    sgd=optimizer
                )
            print(losses)
    return nlp

data_biluo = [
    ('I am Shah Khan, I work in MS Co', ['O', 'O', 'B-Name', 'L-Name', 'O', 'O', 'O', 'B-ORG', 'L-ORG']),
    ('I am Tom Tomb, I work in Telecom Networks', ['O', 'O', 'B-Name', 'L-Name', 'O', 'O', 'O', 'B-ORG', 'L-ORG'])
]


model = train_spacy(data_biluo, 10)
model.to_disk('./Vectors/')