ओपनएआई जिम - एक-हॉट ऑब्जर्वेशन स्पेस कैसे बनाएं?

लेखन के समय gym पैकेज द्वारा प्रदान किए गए gym.Spaces में से कोई भी एक गर्म एन्कोडिंग प्रतिनिधित्व को प्रतिबिंबित करने के लिए उपयोग नहीं किया जा सकता है।

सौभाग्य से हमारे लिए, हम gym.Spaces का चाइल्ड क्लास बनाकर अपने स्पेस को परिभाषित कर सकते हैं।

मैंने ऐसी कक्षा बनाई है, जिसकी आपको आवश्यकता हो सकती है:

import gym
import numpy as np


class OneHotEncoding(gym.Space):
    """
    {0,...,1,...,0}

    Example usage:
    self.observation_space = OneHotEncoding(size=4)
    """
    def __init__(self, size=None):
        assert isinstance(size, int) and size > 0
        self.size = size
        gym.Space.__init__(self, (), np.int64)

    def sample(self):
        one_hot_vector = np.zeros(self.size)
        one_hot_vector[np.random.randint(self.size)] = 1
        return one_hot_vector

    def contains(self, x):
        if isinstance(x, (list, tuple, np.ndarray)):
            number_of_zeros = list(x).contains(0)
            number_of_ones = list(x).contains(1)
            return (number_of_zeros == (self.size - 1)) and (number_of_ones == 1)
        else:
            return False

    def __repr__(self):
        return "OneHotEncoding(%d)" % self.size

    def __eq__(self, other):
        return self.size == other.size

आप इसे इस प्रकार उपयोग कर सकते हैं:

-> space = OneHotEncoding(size=3)
-> space.sample()
array([0., 1., 0.])
-> space.sample()
array([1., 0., 0.])
-> space.sample()
array([0., 0., 1.])

आशा है कि मैं मदद कर सकता हूँ