1. 한 개의 csv파일로 만들때 •
from datasets import load dataset
dataset = load_dataset('csv', data_files = 'my_file.csv')
-
2. 두 개 이상의 csv 파일로 만들때
dataset = load_dataset('csv', data_files = ['my_file_1.csv', 'my_file_2.csv', 'my_file_3.csv'])
3. Train, Test 나눠서 만들때
dataset = load_dataset('csv', data_files = {'train': ['my_train_file_1.csv', 'my_train_file_2.csv'], 'test': 'my_test_file_1.csv'})
from datasets import Features, Value, ClassLabel
from datasets import load_dataset
class_names = ["sadness", "joy", "love", "anger", "fear", "surprise"]
emotion_features = Features({'text': Value('string'), 'label': ClassLabel(names=class_names)})
dataset = load_dataset('csv', data_files=file_dict, delimiter=';', column_names=['text', 'label'], features=emotion_features)
dataset['train'].features
위 코드 실행하면 결과는
{'text': Value(dtype='string', id=None),
'label': ClassLabel(num_classes=6, names=['sadness', 'joy', 'love', 'anger', 'fear', 'surprise'], names_file=None, id = None)}
'공부' 카테고리의 다른 글
[Python] 문자열 나누기 / 합치기 (0) | 2022.01.14 |
---|---|
컴활 1급 필기 정리 (0) | 2021.08.09 |