1
2
3
4
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4")
print(len(enc.encode("你好呀")))
print(len(enc.encode("hello world")))