Chuyên mục "Xử lí dữ liệu"

Hiển thị các bài đăng có nhãn Xử lí dữ liệu. Hiển thị tất cả bài đăng

Minh họa thực hiện phân tích phân tách DA trên Stata


Hàm phân tách tuyến tính, chẳng hạn phân tích phân tách (discriminant analysis) được sử dụng để thực hiện một kiểm định đa biến về sự khác nhau giữa các nhóm. Ngoài ra, phân tích phân tích còn được sử dụng để xác định số nhóm tối thiểu cần thiết để mô tả các sự khác nhau này. Bài viết này sẽ minh họa thực hiện phân tích phân tách trên phần mềm Stata. Chi tiết: https://vietlod.com/phan-tich-phan-tach-stata

Hướng dẫn đọc kết quả phân tích CATPCA trên SPSS



Phân tích CATPCA hay còn gọi là phân tích thành phần chính dạng danh mục CATPCA (Categorical principal components analysis) là được sử dụng tinh giản dữ liệu khi các biến có dạng phân loại, với mục tiêu là xác định các thành phần chính của một tập biến có khả năng giải thích (đại diện) tốt nhất cho dữ liệu.

Tiếp tục phần trình bày ở bài minh họa thực hiện phân tích CATPCA trên SPSS, bài viết này sẽ đi sâu diễn giải kết quả phân tích CATPCA. Đầu tiên là phần giới thiệu về phiên bản của CATPCA, tiếp đến là thông tin thống kê sơ bộ về mô hình phân tích. Chi tiết: https://vietlod.com/doc-ket-qua-phan-tich-catpca-spss

Hướng dẫn thực hiện phân tích CATPCA trên SPSS



Phân tích CATPCA hay còn gọi là phân tích thành phần chính dạng danh mục CATPCA (Categorical principal components analysis) là được sử dụng tinh giản dữ liệu khi dữ liệu các biến có dạng phân loại, với mục tiêu là xác định các thành phần chính của một tập biến có khả năng giải thích (đại diện) tốt nhất cho dữ liệu. Chi tiết: https://vietlod.com/phan-tich-catpca-spss

Hướng dẫn đọc kết quả phân tích phân tách DA trên SPSS



Trong phương pháp phân tách chúng ta cố gắng phân nhóm dựa vào sự tách biệt trong mỗi đối tượng. Vì vậy, đầu tiên chúng ta cần xem liệu có sự khác biệt thống kê giữa các nhóm hay không bằng cách sử dụng kết quả phân tích trung bình các nhóm và ANOVA. Bảng Group Statistics và Tests of Equality of Group Means cho chúng ta thấy được điều này.

Chi tiết: https://vietlod.com/doc-ket-qua-phuong-phap-phan-tach-spss

Minh họa thực hiện phương pháp phân tách DA trên SPSS



Phương pháp phân tách sử dụng một tập hợp các biến độc lập dạng liên tục (khoảng, tỉ lệ) để giải thích cho một biến phụ thuộc dạng phân loại. Nguyên tắc của phương pháp phân tách là tìm kiếm một giải pháp kết hợp tuyến tính giữa những biến độc lập để tạo một sự tách biệt lớn nhất giữa các nhóm của biến phụ thuộc. Chi tiết: https://vietlod.com/phuong-phap-phan-tach-spss

Phương pháp phân tách (Discriminant analysis) là một phương pháp phân tích thống kê được dùng rất nhiều trong Data mining để phân loại các đối tượng (object) vào các nhóm dựa việc đo lường các đặc trưng của đối tượng. Chi tiết: https://vietlod.com/phuong-phap-phan-tach-discriminant-analysis


Không giống như phân tích cluster không đòi hỏi biết trước số nhóm và các đối tượng ở mỗi nhóm, phương pháp phân tách đòi hỏi phải biết trước số nhóm và các đối tượng trong mỗi nhóm trước khi tiến hành phân tích. Điều này có nghĩa, trong thiết kế nghiên cứu phương pháp phân tách người nghiên cứu phải xác định trước đặc điểm của các nhóm và tiến hành thu thập dữ liệu (đối tượng) cho mỗi nhóm.

Mục đích chính của phương pháp phân tách là:
- Tìm tập hợp những thuộc tính tốt nhất để mô tả đối tượng hay trích lọc thuộc tính (feature extraction) và trích chọn mẫu (sapmple extraction) nhằm làm giảm số chiều biểu diễn đối tượng;
- Tìm một mô hình tốt nhất để phân nhóm các đối tượng.

Tiếp tục bài viết phân tích cluster thứ bậc qua phương pháp Ward, và phân tích cluster không thứ bậc theo phương pháp K-Means, bài viết này sẽ trình bày một phương pháp khác có tính ưu việt hơn so với 2 phương pháp trước, gọi là phương pháp phân tích cluster 2 bước. Chi tiết: https://vietlod.com/phan-tich-cluster-2-buoc-spss



Phân tích cluster 2 bước là một thủ tục để thăm dò phân loại các nhóm tự nhiên (cluster) tiềm ẩn trong một tập hợp dữ liệu. Thủ tục này sử dụng các thuật toán tối ưu và hiệu quả hơn so với cách phân tích cluster truyền thống, cụ thể như sau:

- Khả năng tạo ra các cluster dựa trên cả các biến phân loại và biến liên tục.
- Tự động lựa chọn số cluster.
- Khả năng phân tích các tập dữ liệu lớn một cách hiệu quả.

Ngược lại với phân tích cluster thứ bậc, phương pháp phân tích cluster không thứ bậc (Non Hierarchical Cluster Analysis) không bao gồm quy trình phân nhóm hình cây mà thay vào đó là phân bổ các đối tượng vào số lượng các cluster đã xác định trước.



Phân tích cluster không thứ bậc bao gồm 3 phương pháp chủ yếu là: (i) phương pháp ngưỡng tuần tự (Sequential threshold); (ii) phương pháp ngưỡng song song (Parallel threshold); (iii) phương pháp phân chia tối ưu (Optimizing partitioning). Các phương pháp này còn được gọi chung là phương pháp K-Means.

Chi tiết: https://vietlod.com/phuong-phap-k-means-spss

Phân tích cluster được ứng dụng trong rất nhiều lĩnh vực từ vi mô như nghiên cứu hành vi xã hội, tâm lý, địa lý, kinh doanh… đến nghiên cứu vĩ mô ở cấp độ đầu tư của ngành chẳng hạn. Trong nghiên cứu Marketing, phân tích cluster giúp nhận diện các phân khúc thị trường, tìm hiểu hành vi khách hàng, nhận dạng các cơ hội cho sản phẩm mới hay lựa chọn thị trường để thử nghiệm các chiến lược khác nhau. Nội dung bài viết này sẽ trình bày phần hướng dẫn thực hành phân tích cluster thứ bậc https://vietlod.com/phan-tich-cluster-thu-bac-spss


Để chuyển dữ liệu thành thông tin, thành kiến thức thì chúng ta phải biết đơn giản hóa dữ liệu. Có 2 cách phổ biến để đơn giản hóa dữ liệu, đó là phân tích nhân tố (factor analysis) và phân tích cluster. Khác với phân tích nhân tố là gộp các biến (items) có liên quan thành các nhân tố (factor) thì ở phân tích Cluster là phân nhóm các đối tượng có liên quan vào một nhóm đại diện bởi một biến gọi là cluster. Phân tích Cluster sẽ có hiệu quả cao khi các đối tượng trong cùng một cluster có quan hệ mật thiết (đồng nhất - homogeneous) với nhau và có sự phân biệt (heterogeneous) với các cluster khác. Tham khảo: https://vietlod.com/phuong-phap-phan-tich-cluster


Phân tích cluster được ứng dụng trong rất nhiều lĩnh vực khác nhau như: nghiên cứu hành vi xã hội, tâm lý, địa lý, kinh doanh… Ứng dụng trong nghiên cứu Marketing, phân tích Cluster giúp nhận diện các phân khúc thị trường, tìm hiểu hành vi khách hàng, nhận dạng các cơ hội cho sản phẩm mới hay lựa chọn thị trường để thử nghiệm các chiến lược khác nhau…

Phân tích cluster bao gồm 2 phương pháp phân tích chủ yếu là phương pháp phân tích cluster thứ bậc (Hierarchical clustering) và phương pháp phân tích cluster không thứ bậc (nonhierarchical clustering).

Sự khác nhau giữa phân tích tương quan và hồi quy tuyến tính

Phân tích tương quan phân tích mối quan hệ giữa 2 biến. Giá trị của hệ số tương quan cho biết mức độ liên hệ mạnh giữa 2 biến. Yêu cầu của phương pháp là mẫu được chọn theo phương pháp chọn mẫu ngẫu nhiên. Trong nhiều trường hợp, phân tích tương quan có nhiều điểm tương đồng với hồi quy tuyến tính giản đơn. Chẳng hạn như cả hai đều cho thấy mối liên hệ giữa 2 biến. Hệ số ước lượng, cũng như hệ số tương quan giữa 2 biến càng lớn thì mức độ liên hệ giữa 2 biến càng chặt. Cả 2 đều cho giá trị p-value giống nhau trong các kiểm định giả thuyết.

Tuy nhiên, chúng ta không thể đồng nhất việc thực hiện phân tích tương quan và hồi quy tuyến tính giản đơn. Mỗi phương pháp đều có những đặc điểm riêng và phạm vi ứng dụng cụ thể. Bài viết sau sẽ phân biệt 2 phương pháp (tương quan và hồi quy tuyến tính giản đơn) này.

Tham khảo: https://vietlod.com/tuong-quan-va-hoi-quy-tuyen-tinh

Các loại khuyết tật của mô hình hồi quy tuyến tính

Để giải thích một mô hình hồi quy tuyến tính, dù là hồi quy tuyến tính giản đơn hay hồi quy tuyến tính đa biến thì đòi hỏi các giả định của mô hình phải thỏa mãn tính chất BLUE của ước lượng OLS. Mô hình có một hoặc một số các giả định bị vi phạm được gọi là mô hình tồn tại một số các khuyết tật. Tuy nhiên, mức độ ảnh hưởng của các khuyết tật này đến kết quả mô hình hồi quy là khác nhau. Có khuyết tật ảnh hưởng nghiêm trọng, thậm chí là rất nghiêm trọng đến kết quả, và cũng có loại khuyết tật ít nghiêm trọng đến kết quả hồi quy. Nguyên tắc đánh giá mức độ ảnh hưởng của các các khuyết tật liên quan đến mô hình hồi quy tuyến tính được thể hiện như sau:

  • Thứ nhất, kết quả hồi quy là sự thiên chệch trong giá trị thống kê F của mô hình. F thiên chệch sẽ làm mô hình không còn tin cậy.
  • Thứ hai, là sự thiên chệch trong hệ số ước lượng, khi đó các hệ số ước lượng không còn tin cậy. Do vậy, sự thiên chệch trong các sai số chuẩn và thống kê T không phải quá nghiêm trọng bởi những sự thiên chệch này chỉ tác động đến khoảng tin cậy của chúng ta mong muốn về sự thay đổi của một ước lượng, chứ không phải độ tin cậy về kết quả của chính ước lượng đó).


Tham khảo: https://vietlod.com/khuyet-tat-mo-hinh-hoi-quy

Phát hiện khuyết tật mô hình hồi quy.

Ưu điểm lớn nhất của hồi quy tuyến tính OLS là tính đơn giản và dễ giải thích. Sở dĩ như vậy là vì hồi quy OLS dựa trên khá nhiều ràng buộc về phân phối, mối quan hệ giữa các biến trong mô hình. Vì vậy, một mô hình chỉ có ý nghĩa giải thích khi các giả định của nó đã được thỏa mãn.

Trong nghiên cứu, rất cần thiết bạn phải kiểm tra các giả định trước khi diễn giải các kết quả của mô hình. Quá trình kiểm tra các giả định có thể được thực hiện thông qua việc “chẩn đoán” phát hiện khuyết tật có thể có của mô hình. Bài viết sau sẽ trình bày một số phương pháp (hoặc kiểm định) phổ biến và dễ dàng sử dụng để phát hiện khuyết tật này.

Tham khảo: https://vietlod.com/phat-hien-khuyet-tat-ols

Sai lầm loại 1 và sai lầm loại 2 trong nghiên cứu

Đối với bất kỳ một thủ tục kiểm định nào có thể xảy ra ba trường hợp sau: (1) quyết định đúng được thực hiện (nghĩa là chấp nhận giả thuyết đúng và bác bỏ giả thuyết sai), (2) giả thuyết đúng bị bác bỏ, (3) giả thuyết sai được chấp nhận.

Sai lầm bác bỏ giả thuyết H0 khi nó đúng được gọi là sai lầm loại I. Sai lầm không bác bỏ giả thuyết H0 khi nó sai được gọi là sai lầm loại II. Tương ứng với mỗi loại sai lầm này là một giá trị xác suất. Chúng được gọi là các xác suất sai lầm loại I – sai lầm loại II và được ký hiệu là α và β.

Tham khảo: https://vietlod.com/sai-lam-loai-i-sai-lam-loai-ii

Lựa chọn dạng hàm trong phân tích hồi quy

Để xác định mô hình hồi quy tuyến tính cổ điển CLRM, chúng ta phải lựa chọn một dạng hàm cụ thể. Chúng ta có thể chọn bất kì dạng hàm nào mà các tham số được ước lượng là tuyến tính. Nếu chúng ta chọn sai dạng hàm, thì mô hình được xác định nhầm và không phù hợp với dữ liệu.

Có nhiều dạng hàm tuyến tính trong tham số mà chúng ta có thể chọn. Để đơn giản, chúng ta giả sử mô hình chỉ có một biến độc lập (Y) và một biến giải thích (X). Với mô hình này, chúng ta có thể dễ dàng biểu diễn dạng hàm trên đồ thị. Tuy nhiên, những dạng hàm này vẫn có thể được mở rộng dễ dàng cho hai hay nhiều biến giải thích khác.

Các dạng hàm phổ biến thường gặp bao gồm:

  • Dạng hàm tuyến tính
  • Dạng hàm Log – Log
  • Dạng hàm Log – Lin
  • Dạng hàm Lin – Log
  • Dạng hàm toàn phương
  • Dạng hàm có độ trễ
  • Dạng hàm có tham số thay đổi.

Tham khảo: https://vietlod.com/lua-chon-dang-ham

Hướng dẫn đọc chi tiết kết quả hồi quy OLS

Hồi quy OLS là một trong những phương pháp hồi quy đơn giản và dễ hiểu nhất. Tuy nhiên, trước khi bắt đầu vào phân tích (đọc) kết quả thì cần thiết phải kiểm định tính phù hợp của mô hình. Bài viết này sẽ trình bày cách đánh giá độ tin cậy của mô hình và hướng dẫn đọc kết quả ước lượng OLS. Nội dung bao gồm 2 phần: đầu tiên là phần đánh giá độ tin cậy của mô hình hồi quy tuyến tính; tiếp đến là hướng dẫn đọc kết quả ước lượng OLS trên phần mềm Stata.

Tham khảo: https://vietlod.com/doc-ket-qua-uoc-luong-ols-stata

Đôi điều về tính chất BLUE của ước lượng

húng ta gần như rất quen thuộc với các khái niệm như kết hợp tuyến tính (linearity), độ tin cậy (consistent), tính không chệch (unbiased) hoặc tính nhất quán, hiệu quả (effective) của ước lượng. Đó chính là các tính chất BLUE của ước lượng. Vậy một ước lượng như thế nào được gọi là BLUE. Sau đây là đôi điều “tản mạn” về tính chất BLUE của ước lượng.

BLUE là viết tắt của Best Linear Unbiased Estimator, tạm dịch là ước lượng không chệch tuyến tính tốt nhất. Nội dung bên dưới sẽ lần lượt làm rõ ý nghĩa của từng tiêu chí.

Tham khảo: https://vietlod.com/doi-dieu-ve-tinh-chat-blue-cua-uoc-luong

Phân biệt độ lệch chuẩn, SD với sai số chuẩn, SE

Trong các tạp chí khoa học, chúng ta thường thấy những kí hiệu dạng x ± y, trong đó x là số trung bình, còn y thì có khi là độ lệch chuẩn (standard deviation – SD), đôi khi là sai số chuẩn (standard error – SE) hoặc SEM (standard error of the mean). Cách trình bày này thông dụng đến nỗi một số chuyên gia và các ban biên tập phải lên tiếng khuyến cáo (đưa ra quy ước chung). Theo đó:

  • Nếu biến tuân theo luật phân phối chuẩn các nhà nghiên cứu nên theo cách trình bày số trung bình và kèm độ lệch chuẩn (không phải sai số chuẩn;
  • Ngược lại, nếu biến không tuân theo luật phân phối chuẩn, nên trình bày số trung vị và số ở vị trí 25% và 75% (tức là interquartile range).

Để hiểu qui ước này, chúng ta cần phải tìm hiểu ý nghĩa của độ lệch chuẩn và sai số chuẩn. Đây là điều cần thiết, bởi hầu hết sách giáo khoa thống kê đều không giải rõ những khác biệt về ý nghĩa của hai chỉ số thống kê này.

Tham khảo: https://vietlod.com/phan-biet-do-lech-chuan-va-sai-so-chuan

Giải thích hệ số tương tác giữa 2 biến LIÊN TỤC

Chúng ta thường gặp trường hợp tương tác giữa một biến nhị phân với một biến liên tục. Trong trường hợp này, hệ số của biến tương tác sẽ cho biết sự chênh lệch về tác động trung bình của biến liên tục ở hai nhóm. Tuy nhiên, trong nhiều trường hợp vẫn có sự tương tác giữa 2 biến liên tục, chẳng hạn như sự tương tác giữa tuổi tác và cân nặng đến tình trạng sức khỏe. Trong trường hợp này, hệ số tương tác giữa 2 biến liên tục sẽ được giải thích như thế nào? Bài viết sau sẽ minh họa và giải thích sự tương tác giữa 2 biến liên tục trong hồi quy OLS (Interaction effects between continuous variables).

Tham khảo: https://vietlod.com/giai-thich-su-tuong-tac-giua-2-bien-lien-tuc

Lựa chọn mô hình theo AIC, BIC,HQ, BIC/SIC

Tương tự như thống kê độ phù hợp trong mô hình hồi quy, R2 thì các tiêu chuẩn thông tin cũng bao gồm thành phần độ phù hợp dựa trên giá trị log-likelihood và thành phần phức tạp dựa trên tham số được ước lượng của mô hình. Tiêu chuẩn thông tin như AIC, AICc, HQ, BIC/SIC cung cấp cho chúng ta công cụ so sánh các dạng mô tả khác nhau của mô hình và lựa chọn mô hình phù hợp giữa chúng. Mô hình đơn giản là mô hình được lựa chọn. Bài viết sẽ trình bày ý nghĩa, cách tính toán, so sánh các tiêu chuẩn thông tin cùng với các lưu ý về cách sử dụng các tiêu chuẩn này trong việc lựa chọn mô hình.

Tham khảo: https://vietlod.com/cac-tieu-chuan-thong-tin-trong-lua-chon-mo-hinh

Author Name

Biểu mẫu liên hệ

Tên

Email *

Thông báo *

Được tạo bởi Blogger.