Hỏi đáp
Chia sẻ kiến thức, cùng nhau phát triển
Tối ưu bộ nhớ khi xử lý dữ liệu trong C#
Chào mọi người, em đang phải xử lý 10 file chứa dữ liệu là text. Mỗi file chứa 500000 lines, mỗi line lại chứa 10 keyword được ngăn cách nhau bởi dấu ' ; '.
Công việc của em là phải đọc file và tìm kiếm Top 10 keyword xuất hiện nhiều nhất trong tất cả các file (Tức là top 10 keyword của 50 triệu keyword).
Yêu cầu bắt buộc là bộ nhớ chiếm không quá 1GB. Em đã thử sử dụng StreamReader để đọc file và đẩy vào Dictionary để ghi lại số lần xuất hiện của từng từ khoá. Nhưng cách này không đảm bảo yêu cầu về bộ nhớ. Có cách nào để giảm tải dung lượng bộ nhớ cần sử dụng
không ạ ? Em cảm ơn.