如何解决你能让这个更快吗？语句到 Numpy 数组映射
我有一串韩语。我需要将它映射到一个 numpy 数组中，其中每个字母都以一种热方式编码。
import numpy as np
import time
def embed_letter(x: str) -> np.array:
# input: one Korean letter
# maps the letter into ...
# output: one-hot encoded np.array of size - (72,)
time.sleep(0.0001) # to represent the time it takes to map ?
return np.zeros((72,)) # to represent the mapped letter
def embed_sentence(sentence: str,max_length: int) -> np.array:
embedded_char_list = []
append = embedded_char_list.append
end = len(sentence) if len(sentence) < max_length else max_length
for i in range(end):
append(embed_letter(sentence[i]))
stacked = np.stack(embedded_char_list,axis=0)
return stacked
# example usage
embed_sentence("11111111",500)
# will output a numpy array containing zeros of shape (8,72)
我想通过矢量化 embed_sentence 来使 embed_letter 更快。你能做到这一点，如果可以，怎么做？有没有其他方法可以加快速度？谢谢
解决方法
我希望您使用的是 Hangul_Jamo_Extended-B 字母集（72 个字符）。如果是这样，这应该可以完成工作：
# https://en.wikipedia.org/wiki/Hangul_Jamo_Extended-B
hangul_jamo_extended_b = [chr(a) for a in list(range(55216,55239)) + list(range(55243,55292))]
hangul_jamo_extended_b = np.array(hangul_jamo_extended_b)
print(hangul_jamo_extended_b)
>>> ['ힰ' 'ힱ' 'ힲ' 'ힳ' 'ힴ' 'ힵ' 'ힶ' 'ힷ' 'ힸ' 'ힹ' 'ힺ' 'ힻ' 'ힼ' 'ힽ' 'ힾ' 'ힿ' 'ퟀ' 'ퟁ'
'ퟂ' 'ퟃ' 'ퟄ' 'ퟅ' 'ퟆ' 'ퟋ' 'ퟌ' 'ퟍ' 'ퟎ' 'ퟏ' 'ퟐ' 'ퟑ' 'ퟒ' 'ퟓ' 'ퟔ' 'ퟕ' 'ퟖ' 'ퟗ'
'ퟘ' 'ퟙ' 'ퟚ' 'ퟛ' 'ퟜ' 'ퟝ' 'ퟞ' 'ퟟ' 'ퟠ' 'ퟡ' 'ퟢ' 'ퟣ' 'ퟤ' 'ퟥ' 'ퟦ' 'ퟧ' 'ퟨ' 'ퟩ'
'ퟪ' 'ퟫ' 'ퟬ' 'ퟭ' 'ퟮ' 'ퟯ' 'ퟰ' 'ퟱ' 'ퟲ' 'ퟳ' 'ퟴ' 'ퟵ' 'ퟶ' 'ퟷ' 'ퟸ' 'ퟹ' 'ퟺ' 'ퟻ']
def embed_sentence(i: str):
indices = np.searchsorted(hangul_jamo_extended_b,list(i))
table = np.zeros((len(i),72))
table[np.arange(len(i)),indices] = 1
return table
embed_sentence('ힰퟝힱퟺퟻ')
>>> ... np.array with one hot encoded chars
如果 np.searchsorted 对您不起作用，您应该以某种方式为您的映射找到索引。我建议制作字典并使用内置的 translate 函数。 https://www.w3schools.com/python/ref_string_translate.asp 找到索引（如 (3,4,12,72,...)）后，其余部分相同。
顺便说一句，对不起，我的韩语不好:)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。