Một người đọc tài liệu có thể dễ dàng nhận ra rằng hai cách gọi khác nhau đôi khi đang đề cập đến cùng một sự vật.
Nhưng đối với máy tính, hai tên khác nhau thường được xem là hai chuỗi ký tự khác nhau.
Đây là một vấn đề tưởng như đơn giản nhưng lại có ảnh hưởng rất lớn đến việc xây dựng cơ sở tri thức.
Trong kho tư liệu Y học cổ truyền, cùng một đối tượng có thể xuất hiện dưới nhiều hình thức:
- Tên phổ biến
- Tên cổ
- Tên địa phương
- Tên đồng nghĩa
- Cách phiên âm khác nhau
- Cách viết khác nhau giữa các tài liệu
Nếu không xử lý vấn đề này, dữ liệu có thể trở nên phân mảnh.
Một thực thể thực tế có thể bị chia thành nhiều bản ghi khác nhau chỉ vì cách gọi không giống nhau.
Đó là lý do chuẩn hóa tri thức trở thành một bước quan trọng trong quá trình xây dựng dữ liệu Y học cổ truyền.
Chuẩn hóa không có nghĩa là xóa bỏ sự khác biệt
Khi nghe đến “chuẩn hóa”, nhiều người có thể nghĩ rằng tất cả thông tin phải được đưa về một cách gọi duy nhất.
Cách hiểu này chưa hoàn toàn chính xác.
Trong dữ liệu tri thức, chuẩn hóa không nhất thiết có nghĩa là loại bỏ các tên gọi khác.
Ngược lại, một hệ thống tốt cần vừa:
- Có một cách định danh thống nhất
- Vừa lưu giữ các cách gọi khác nhau
Ví dụ:
Thực thể chính
├── Tên ưu tiên
├── Tên đồng nghĩa
├── Tên cổ
├── Tên địa phương
└── Tên xuất hiện trong từng nguồn
Nhờ đó, hệ thống có thể thống nhất dữ liệu mà không làm mất dấu vết lịch sử.
Đây là sự khác biệt quan trọng giữa:
Chuẩn hóa để xóa bỏ
và:
Chuẩn hóa để kết nối.
Vì sao tên gọi trở thành vấn đề lớn?
Trong một cơ sở dữ liệu nhỏ, việc xử lý tên gọi có thể được thực hiện thủ công.
Nhưng khi số lượng tài liệu tăng lên, vấn đề trở nên phức tạp.
Ví dụ, một tên có thể khác nhau chỉ bởi:
- Dấu câu
- Khoảng trắng
- Cách viết hoa
- Biến thể chính tả
- Phiên âm
Ngoài ra còn có những trường hợp khó hơn:
Hai tên khác nhau nhưng cùng chỉ một đối tượng.
Hoặc ngược lại:
Một tên giống nhau nhưng trong hai ngữ cảnh lại chỉ hai đối tượng khác nhau.
Nếu chỉ sử dụng kỹ thuật so sánh chuỗi ký tự, hệ thống rất dễ mắc lỗi.
Vì vậy, chuẩn hóa cần kết hợp:
- Kiến thức chuyên ngành
- Ngữ cảnh
- Nguồn tư liệu
- Quy tắc dữ liệu
Đồng nghĩa không phải lúc nào cũng hoàn toàn giống nhau
Một thách thức quan trọng là xác định mức độ tương đương giữa các thuật ngữ.
Có những trường hợp:
Hai tên hoàn toàn đồng nghĩa.
Nhưng cũng có trường hợp:
Một tên là tên rộng hơn.
Hoặc:
Một tên chỉ được sử dụng trong một bối cảnh lịch sử cụ thể.
Do đó, không nên chỉ có một quan hệ chung là:
“giống nhau”.
Một hệ thống có thể cần phân biệt:
- Tên ưu tiên
- Tên đồng nghĩa
- Tên gần nghĩa
- Tên lịch sử
- Tên địa phương
- Biến thể chính tả
Việc phân biệt này giúp dữ liệu phản ánh chính xác hơn mức độ liên quan giữa các thuật ngữ.
Chuẩn hóa cần bắt đầu từ định danh
Tên gọi có thể thay đổi.
Nhưng một thực thể trong hệ thống cần có một định danh ổn định.
Ví dụ:
Entity ID: HERB-000123
Tên hiển thị có thể thay đổi hoặc được bổ sung theo thời gian.
Nhưng định danh bên trong vẫn giữ nguyên.
Có thể hình dung:
ID ổn định
↓
Thực thể
├── Tên hiện dùng
├── Tên khác
├── Tên lịch sử
└── Các biến thể
Cách tiếp cận này giúp hệ thống tránh phụ thuộc hoàn toàn vào tên.
Đây là một nguyên tắc quan trọng trong xây dựng dữ liệu dài hạn.
Chuẩn hóa dữ liệu không chỉ là chuẩn hóa tên
Ngoài tên gọi, nhiều loại thông tin khác cũng cần có quy ước.
Ví dụ:
Ngày tháng
Một nguồn có thể ghi:
12/03/2026
Một nguồn khác:
2026-03-12
Nếu không có quy ước, việc xử lý dữ liệu tự động có thể gặp khó khăn.
Địa danh
Một địa điểm có thể được ghi bằng:
- Tên hiện nay
- Tên lịch sử
- Tên hành chính cũ
Loại tài liệu
Một tài liệu có thể được mô tả là:
- Sách
- Y thư
- Tác phẩm
- Tư liệu cổ
Việc xác định hệ thống phân loại giúp dữ liệu dễ thống kê và truy vấn hơn.
Chuẩn hóa vì vậy là quá trình tạo ra một ngôn ngữ chung cho dữ liệu.
Chuẩn hóa thuật ngữ và khả năng tìm kiếm
Hãy tưởng tượng một người dùng tìm một thuật ngữ theo cách gọi hiện đại.
Nhưng tài liệu cổ chỉ sử dụng một tên khác.
Nếu hai tên không được liên kết, hệ thống có thể trả về:
Không tìm thấy kết quả.
Điều này không có nghĩa là thông tin không tồn tại.
Chỉ có nghĩa hệ thống chưa biết các tên đó có liên quan.
Khi thuật ngữ được chuẩn hóa, tìm kiếm có thể hoạt động theo hướng:
Từ người dùng nhập
↓
Nhận diện biến thể
↓
Liên kết thực thể
↓
Truy xuất tất cả nguồn liên quan
Nhờ đó, chuẩn hóa trực tiếp cải thiện khả năng tiếp cận tri thức.
Chuẩn hóa giúp giảm dữ liệu trùng lặp
Một vấn đề phổ biến trong các kho dữ liệu lớn là duplication – dữ liệu trùng lặp.
Ví dụ:
| Tên | Nguồn |
|---|---|
| Tên A | Tài liệu 1 |
| Tên A | Tài liệu 2 |
| tên a | Tài liệu 3 |
Nếu không có quy trình chuẩn hóa, hệ thống có thể coi đây là ba thực thể khác nhau.
Sau đó, các mối quan hệ cũng bị chia nhỏ.
Thay vì:
Một thực thể có ba nguồn
hệ thống lại lưu:
Ba thực thể, mỗi thực thể có một nguồn.
Điều này làm suy giảm khả năng phân tích.
Chuẩn hóa giúp phát hiện:
- Trùng hoàn toàn
- Trùng một phần
- Biến thể chính tả
- Khả năng cùng thực thể
Tuy nhiên, việc tự động gộp dữ liệu cần được kiểm tra cẩn thận.
Chuẩn hóa sai có thể nguy hiểm hơn không chuẩn hóa
Một hệ thống thiếu chuẩn hóa có thể gây khó khăn khi tìm kiếm.
Nhưng một hệ thống chuẩn hóa sai có thể tạo ra thông tin không chính xác.
Ví dụ, hai thuật ngữ có tên gần giống nhau nhưng thực tế chỉ hai đối tượng khác nhau.
Nếu hệ thống tự động gộp chúng, một lỗi có thể lan truyền đến:
- Kết quả tìm kiếm
- Knowledge graph
- Phân tích dữ liệu
- Hệ thống AI
Đây là lý do nguyên tắc:
“Có vẻ giống nhau”
không đủ để kết luận:
“Là cùng một thực thể”.
Trong các lĩnh vực chuyên ngành, quá trình chuẩn hóa cần có bằng chứng và mức độ tin cậy.
Nên lưu cả thông tin trước và sau chuẩn hóa
Một hệ thống minh bạch không nên chỉ giữ giá trị cuối cùng.
Ví dụ:
Dữ liệu gốc
Tên được ghi trong tài liệu
↓
Quy trình xử lý
Được ánh xạ sang thực thể chuẩn
↓
Dữ liệu chuẩn hóa
ID của thực thể
Việc lưu cả ba lớp giúp sau này có thể kiểm tra:
- Ban đầu nguồn viết gì?
- Hệ thống đã xử lý như thế nào?
- Ai hoặc quy tắc nào thực hiện ánh xạ?
Đây là một phần quan trọng của provenance – khả năng theo dõi nguồn gốc và lịch sử xử lý dữ liệu.
Chuẩn hóa là một quá trình liên tục
Không nên xem chuẩn hóa như một công việc chỉ thực hiện một lần.
Khi dữ liệu mới xuất hiện, có thể phát sinh:
- Tên mới
- Biến thể mới
- Thông tin mới
- Cách phân loại mới
Do đó, hệ thống cần có khả năng cập nhật.
Ví dụ:
Phiên bản 1
Một thuật ngữ được xem là độc lập.
Sau khi có thêm tài liệu:
Phiên bản 2
Phát hiện thuật ngữ đó là một biến thể của thực thể khác.
Điều quan trọng là không xóa hoàn toàn lịch sử.
Hệ thống nên có khả năng ghi nhận sự thay đổi trong quá trình quản trị dữ liệu.
Con người và AI có thể cùng tham gia chuẩn hóa
Với kho dữ liệu lớn, việc kiểm tra thủ công từng bản ghi có thể mất rất nhiều thời gian.
AI có thể hỗ trợ phát hiện:
- Tên gần giống
- Biến thể chính tả
- Thuật ngữ thường xuất hiện trong cùng ngữ cảnh
- Các bản ghi có khả năng trùng lặp
Ví dụ, AI có thể đưa ra:
Hai bản ghi này có mức độ tương đồng cao.
Nhưng quyết định cuối cùng không nên hoàn toàn tự động.
Một quy trình an toàn hơn là:
AI phát hiện
↓
Đề xuất khả năng
↓
Chuyên gia hoặc người quản trị kiểm tra
↓
Xác nhận hoặc từ chối
AI đặc biệt hữu ích trong việc giảm không gian tìm kiếm.
Thay vì phải kiểm tra hàng triệu cặp dữ liệu, con người có thể tập trung vào những trường hợp đáng nghi ngờ.
Chuẩn hóa giúp các hệ thống có thể nói chuyện với nhau
Một dữ liệu được tổ chức theo cách riêng có thể hoạt động tốt trong một website.
Nhưng khi muốn kết nối với hệ thống khác, sự khác biệt về tên gọi và cấu trúc có thể trở thành rào cản.
Ví dụ:
Hệ thống A gọi một loại thực thể theo cách A.
Trong khi:
Hệ thống B sử dụng tên và định dạng khác.
Nếu không có cơ chế ánh xạ, dữ liệu khó liên thông.
Chuẩn hóa tạo điều kiện để:
- Chia sẻ dữ liệu
- Kết nối cơ sở dữ liệu
- Tích hợp nhiều nguồn
- Phát triển ứng dụng mới
Đây là một trong những nền tảng của khả năng liên thông dữ liệu.
Không nên cố gắng chuẩn hóa tất cả ngay từ đầu
Một dự án lớn có thể có hàng nghìn loại dữ liệu khác nhau.
Nếu cố xây dựng một chuẩn hoàn hảo trước khi bắt đầu nhập dữ liệu, dự án có thể bị trì hoãn rất lâu.
Một cách tiếp cận thực tế hơn là:
Giai đoạn đầu
Chuẩn hóa các thực thể quan trọng nhất.
Giai đoạn tiếp theo
Phát hiện vấn đề trong dữ liệu thực tế.
Sau đó
Mở rộng và điều chỉnh mô hình.
Dữ liệu thực tế thường cho thấy những vấn đề mà thiết kế lý thuyết ban đầu chưa dự đoán được.
Do đó, chuẩn hóa cần có tính linh hoạt.
Chuẩn hóa và bảo tồn sự đa dạng tri thức
Một nghịch lý thú vị là:
Muốn kết nối sự đa dạng, đôi khi cần có một cấu trúc chung.
Nếu mỗi nguồn giữ hoàn toàn cấu trúc riêng, việc liên kết sẽ rất khó.
Nhưng nếu ép tất cả nguồn vào một khuôn mẫu duy nhất, có thể làm mất đi đặc điểm của từng nguồn.
Thách thức là tìm điểm cân bằng.
Một mô hình tốt có thể:
Giữ nguyên dữ liệu gốc
đồng thời:
Tạo một lớp chuẩn hóa để liên kết.
Như vậy, sự khác biệt không bị xóa bỏ.
Nó được mô tả và đặt trong một cấu trúc có thể khám phá.
Chuẩn hóa là nền móng của hệ tri thức
Nhiều công nghệ hấp dẫn thường được nhắc đến trong chuyển đổi số:
- AI
- Knowledge graph
- Semantic search
- Chatbot
- Hệ thống hỏi đáp
Nhưng chất lượng của những công nghệ này phụ thuộc rất lớn vào dữ liệu phía dưới.
Nếu dữ liệu:
- Trùng lặp
- Mâu thuẫn
- Không có định danh
- Không có quy ước
thì công nghệ phía trên khó có thể tạo ra kết quả đáng tin cậy.
Có thể hình dung:
Dữ liệu gốc
↓
Chuẩn hóa
↓
Liên kết
↓
Knowledge graph
↓
Tìm kiếm và AI
Chuẩn hóa có thể không phải là phần nổi bật nhất của một hệ thống.
Nhưng nó là một trong những phần quyết định khả năng phát triển lâu dài.
Kết luận
Tri thức Y học cổ truyền được hình thành và lưu truyền qua nhiều thời kỳ, nhiều vùng miền và nhiều hệ thống thuật ngữ.
Sự đa dạng này là một phần giá trị của di sản.
Nhưng trong môi trường số, sự đa dạng về tên gọi và cách biểu diễn cũng tạo ra những thách thức lớn cho việc tìm kiếm và liên kết dữ liệu.
Chuẩn hóa không nên được hiểu là làm cho mọi thứ trở nên giống nhau.
Mục tiêu quan trọng hơn là xây dựng một lớp kết nối chung, trong khi vẫn bảo tồn cách thông tin xuất hiện trong nguồn gốc của nó.
Khi mỗi thực thể có định danh rõ ràng, các tên gọi được liên kết có căn cứ và lịch sử xử lý được lưu giữ, dữ liệu có thể trở nên đáng tin cậy hơn.
Đó là nền tảng để những bước tiếp theo như tìm kiếm ngữ nghĩa, knowledge graph và AI có thể phát huy giá trị thực sự.
Lưu ý: Nội dung bài viết mang tính thông tin, nghiên cứu và tham khảo, không thay thế cho tư vấn, chẩn đoán hoặc điều trị y khoa.
Từ khóa: chuẩn hóa tri thức Y học cổ truyền, chuẩn hóa thuật ngữ YHCT, dữ liệu YHCT, tên đồng nghĩa dược liệu, chuẩn hóa dữ liệu, knowledge graph, định danh thực thể, quản trị dữ liệu tri thức, số hóa Y học cổ truyền, liên thông dữ liệu.