Các hệ thống lắng nghe mạng xã hội đo lường Sentiment như thế nào?

Việc đo lường sentiment là một phần không thể thiếu trong các social media tool. Việc phân tích sentiment, nói một cách dễ hiểu, là lắng nghe và thấu hiểu những gì đang được nói về thương hiệu và chiến dịch trên các phương tiện truyền thông xã hội, nói như thế nào, tốt hay xấu, và tốt về mặt nào, xấu về mặt nào. Như vậy, để đo lường sentiment, thảo luận sẽ được chia thành thảo luận Tích cực, Tiêu cực, Trung lập và Hỗn hợp.

Giả sử dưới đây là một status do một người dùng Facebook đăng trên trang cá nhân của mình:

“Hôm nay mới ra shop X mua 2 cái áo (1). Công nhận đẹp dễ sợ luôn, thích ơi là thích (2). Nhưng mà đắt quá huhu (3).”

Như vậy đoạn status trên có thể được phân tích là Tích cực chủ đạo vì:

• Câu (1) là Tích cực vì người viết đã mua cái áo, thể hiện purchase intent;
• Câu (2) là Tích cực (positive) vì thể hiện sự yêu thích về thiết kế “đẹp”;
• Câu (3) là Tiêu cực (negative) vì người dùng thể hiện sự không hài lòng, và không hài lòng về giá (“đắt ơi là đắt”).

Sự tương quan giữa số lượng của từng loại thảo luận này sẽ nói lên thái độ chung của người dùng trên các kênh social media đối với thương hiệu hoặc chiến dịch.Tuy nhiên, sentiment không chỉ đơn thuần đưa ra những con số, mà nó còn chứa đựng những insight mang ý nghĩa quan trọng khi được nhìn nhận theo nhiều góc độ.

• Giúp Brand nắm được tình hình thị trường: Thông qua sentiment, các brand manager có thể nhanh chóng có được cái nhìn tổng quan về thái độ của khách hàng đối với thương hiệu của mình tại một thời điểm nhất định hoặc trong một khoảng thời gian nhất định. Hơn thế nữa, việc phân tích sentiment còn chỉ ra những điểm mạnh, điểm yếu của thương hiệu hoặc sản phẩm trong mắt người dùng, những mặt nào đang được đánh giá cao và những gì đang là tiêu điểm của thảo luận tiêu cực.

Ngoài ra, việc theo dõi sự thay đổi của sentiment trong một khoảng thời gian dài sẽ nói lên sức khỏe của thương hiệu (Brand health), giúp các brand manager và các marketer phần nào đánh giá lại hiệu quả hoạt động của các chiến dịch marketing và đưa ra định hướng cho các chiến dịch trong tương lai.

• Giúp Agency quản lý thương hiệu phản hồi: Nắm được những khía cạnh được đánh giá cao của thương hiệu/sản phẩm và có được thông tin nhanh chóng về các thảo luận tiêu cực (ở đâu, mang nội dung gì) cho phép agency có thể đến tận nơi thảo luận được viết để phản hồi kịp thời. Việc này không những giúp nâng cao hiệu quả hoạt động của agency mà còn giúp agency và brand chủ động hơn trong việc ngăn ngừa và xử lý khủng hoảng (crisis).

CÁC SOCIAL LISTENING TOOL ĐO LƯỜNG SENTIMENT NHƯ THẾ NÀO?

Hiện nay có 4 phương pháp chính được dùng để đo lường sentiment:

• Automated sentiment scoring (đo lường sentiment tự động)
• Sample sentiment scoring (đo lường sentiment dựa trên phương pháp chọn mẫu)
• Hybrid real time sentiment scoring (phương pháp hỗn hợp)
• Hourly 100% sentiment scoring by human (phân tích 100% thảo luận bằng con người ngay tức thì)

Mỗi phương pháp đều có những ưu, nhược điểm nhất định mà bài viết sẽ đi sâu vào phân tích dưới đây:

1. Automated sentiment scoring (phương pháp đo lường sentiment tự động)

Đây có thể được xem là phương pháp phổ biến nhất được các social listening tool ứng dụng hiện nay (Radian 6, Sysomos, Brandtology,…). Nhìn chung, việc đo lường sentiment tự động được thực hiện dựa trên việc sử dụng công nghệ để nhận diện từ khóa và xét chúng trong những mối quan hệ ngữ nghĩa với các từ khác trong câu.Ưu điểm:Việc phân loại sentiment hoàn toàn tự động cho phép xử lý toàn bộ các thảo luận một cách nhanh chóng, đồng thời rất tiết kiệm thời gian và chi phí.Nhược điểm:Mặc dù việc phân loại hàng loại thảo luận nhanh chóng và không tốn nhiều công sức nghe có vẻ lý tưởng, tuy nhiên công nghệ nhận diện ngôn ngữ hiện nay vẫn chưa hoàn thiện, kể cả trong ngôn ngữ tiếng Anh. Đánh cụm từ khóa “Is automated sentiment scoring accurate” vào Google bạn sẽ ra một loạt các bài viết review của các marketing agency lớn về sự chính xác của các công cụ social listening mà họ đã từng sử dụng. Rất nhiều người tin vào kết quả phân tích của máy cho đến khi họ thực hiện Audit kết quả máy phân tích và giật mình phát hiện ra báo cáo phân tích mà họ đã gửi cho giám đốc cấp cao từ trước tới nay hoàn toàn không chính xác. Tỷ lệ chính xác của các công cụ phân tích ngôn ngữ không được cho là quá 50% hay một cái tung đồng xu và tất cả các agency đều quay trở lại phương pháp phân tích bằng con người.Dưới đây là kết quả sentiment của show truyền hình NCIS do đài CBS phát hành, hình ảnh bên trái là kết quả Automated sentiment scoring, và bên phải là kết quả sau khi có sự phân tích của con người.

So sánh giữa phân tích sentiment bằng máy và con người. Nguồn: Socialmediaexplorer

Kết quả thí nghiệm cho thấy có sự chênh lệch quá lớn giữa kết quả từ công nghệ tự động và kết quả phân tích của con người. Máy phân tích thường có kết quả trung lập nhiều hơn và không nhận diện một cách đồng nhất các câu có nội dung tương tự nhau.Tại sao công nghệ phân tích ngôn ngữ lại không thể mang đến cho chúng ta kết quả chính xác? Có 4 lý do chính sau đây:

• Ngữ cảnh: Một từ có thể mang ý nghĩa tích cực hoặc tiêu cực trong từng hoàn cảnh khác nhau.

Ví dụ: “Các nhãn hàng quả nhiên rất giỏi trong việc lừa đảo thị giác của khách hàng bằng hình ảnh trên bao bì”.

• Sự nhập nhằng của sentiment: Một câu dù chứa từ khóa tích cực hoặc tiêu cực thì cũng chưa hẳn thể hiện sentiment.

Ví dụ: “Chị có biết chỗ nào bán quần áo đẹp không?”Ngược lại, một câu không chứa từ khóa tích cực hoặc tiêu cực nào lại có thể mang một sắc thái nhất định.Ví dụ: “Tôi sẽ không bao giờ mua hàng ở trung tâm thương mại đó nữa”.

• Sự mỉa mai: Các công cụ đo lường sentiment tự động sẽ không thể phân biệt được đâu là từ mang ý nghĩa thông dụng và từ mang ý nghĩa mỉa mai.

Ví dụ: “Công nhận cái máy này xịn dễ sợ, tự khởi động lại hoài luôn”.

• Từ lóng, từ địa phương, từ viết tắt, ngôn ngữ chat,…: Với sự phong phú của ngôn ngữ nói chung, và tiếng Việt nói riêng, thì các Social listening tool dù có hiện đại đến đâu cũng khó mà phân loại được sentiment theo phương pháp tự động mà vẫn mang lại kết quá chính xác.

Ví dụ: “Cái điện thoại vậy mà nghĩ sao bán với giá 5 củ” hay “Chít rùj hùi naj~ lo*~ ún chaj nc tăng lực xog bi h kho’ chju caj bụng qá hiuhiu”Nói tóm lại, với những đặc trưng kể trên của ngôn ngữ, thì khó có cơ chế tự động nào có thể mang lại một kết quả sentiment chính xác. Vì vậy, chúng ta chỉ nên xem Automated sentiment là một tài liệu tham khảo, chứ không nên phụ thuộc vào nó. Điều này đúng với cả các công cụ phân tích ngôn ngữ bằng tiếng Anh lẫn tiếng Việt.

2. Manual sentiment scoring by sample (đo lường sentiment dựa trên phương pháp chọn mẫu):

Phân tích sentiment theo phương pháp chọn mẫu là việc đo lường sentiment nhưng chỉ trên một mẫu (sample) các thảo luận. Việc này yêu cầu chọn một mẫu những thảo luận ngẫu nhiên (random) hoặc theo phân bổ nguồn thảo luận (stratified) có liên quan đến brand/campaign đang cần phân tích trong một khoảng thời gian nhất định. Việc phân tích sentiment được thực hiện hoàn toàn bằng con người đọc để có thể đánh giá được một cách chính xác từng thảo luận.Với phương pháp này, Buzzmetrics sử dụng một mẫu có kích thước là 100 để đại diện cho 5000 thảo luận, cho độ chính xác là 95%, sai số +/-9.5%. Tuy nhiên, mức độ sai số này có thể giảm xuống còn +/-5% bằng việc tăng kích thước mẫu lên là 300 nhưng thông thường là không cần thiết vì chi phí tăng mà độ sai số không giảm là bao nhiêu. Cho phương pháp random sampling thì hệ thống sẽ chọn ngẫu nhiên 100 thảo luận, cho phương pháp stratified sampling theo nguồn thì nếu facebook đóng góp 30% vào tổng số thảo luận thì sẽ chọn 30 thảo luận từ facebook. Còn một phương pháp stratified sampling theo mức độ ảnh hưởng thì sẽ chọn tỷ lệ thảo luận tương ứng với độ phủ của kênh (viewership).Phương pháp này được Buzzmetrics áp dụng cho các Nghiên cứu ngành hàng, khi số lượng thảo luận lên đến hàng chục nghìn hay trăm nghìn, khiến không thể phân tích toàn bộ bằng tay. Số lượng mẫu cho một báo cáo phân tích ngành hàng có thể giao động từ 300 đến 600 tùy thuộc vào con số tổng. Việc đọc thảo luận bởi nhà phân tích là cần thiết để đào sâu vào ý kiến của người tiêu dùng để lôi ra được sự thực ngầm hiểu có ý nghĩa với thương hiệu (actionable Consumer Insight)

Ưu điểm:

• Đơn giản, cho độ chính xác cao hơn nhiều so với Automated sentiment scoring: 95%
• Chi phí thấp
• Tiết kiệm thời gian so với phân loại toàn bộ thảo luận
• Đưa ra cái nhìn tổng quan về sentiment trong một giai đoạn nào đó

Nhược điểm:

• Cần có thời gian để thực hiện phân tích nên không đưa ra được cái nhìn tức thời và và không phân tích trên toàn bộ thảo luận nên không biết toàn bộ thảo luận tiêu cực hay tích cực ở đâu cho brand và agency để có phản hồi kịp lúc.

3. Hybrid sentiment scoring (phương pháp hỗn hợp 2 phương pháp trên):

Là phương pháp kết hợp giữa con người và máy học theo đó con người sẽ phân loại thảo luận và máy sẽ học từ phân loại này và cải tiến theo thời gian. Buzzmetrics hiện nay cũng sử dụng phương pháp này tuy nhiên cũng như phương pháp phân tích tự động hoàn toàn vẫn chưa được hoàn thiện về sự chính xác.

4. Hourly 100% sentiment scoring by human (phương pháp phân tích 100% thảo luận bằng con người ngay tức thì):

Với phương pháp này Buzzmetrics sử dụng một lực lượng lớn nhân lực con người phân loại 100% thảo luận ngay lập tức mỗi khi thảo luận xuất hiện trong các khung giờ cho phép. Thông thường thì Buzzmetrics sẽ cam kết toàn bộ số lượng thảo luận xuất hiện trước 11 giờ sáng và 6 giờ chiều sẽ được phân loại đầy đủ. Quá trình phân loại sẽ được đảm bảo tính chính xác bởi một quy trình kiểm tra chất lượng (Quality Control).Phương pháp này có giải quyết được tất cả các vấn đề của phương pháp trên và hiện nay được Buzzmetrics dùng để theo dõi các chiến dịch có sự cạnh tranh cao và đòi hỏi sự chính xác như cho Samsung hay các thương hiệu thường xuyên gặp khủng hoảng trên social media.

Ưu điểm:

• Độ chính xác cao nhất
• Cung cấp dữ liệu tức thời, giúp brand và agency có được những phản hồi kịp thời
• Mang tính tùy biến cao, giao diện được cung cấp để brand và agency theo dõi

Nhược điểm:

• Chi phí cao hơn và áp lực về quản lý nhân lực cao