Xây dựng hạ tầng thông tin hỗ trợ từ xa khi hệ thống tự động hóa có vấn đề

Một ngày nào đó, nhà máy phải ngưng hoạt động do hệ thống tự động hóa có sự cố. Các giám đốc nhà máy thường phải thúc giục kỹ sư chính xử lý khẩn trương vấn đề của hệ thống vì 1 giờ ngưng hệ thống có thể gây thiệt hại tới 10 ngàn USD.

Kỹ sư chính không có mặt khi hệ thống tự động hóa có vấn đề

Không chỉ trong bối cảnh dịch bệnh Covid-19 phải làm việc từ xa mà đôi khi việc hệ thống tự động hóa trong nhà máy có sự cố là điều khó tránh khỏi. Xử lý từ xa đối với hệ thống tự động hóa có vấn đề rất cần nhân lực có trình độ cao.

Cũng chính vì vậy, đối với các kỹ sự tự động hóa cũng như các quản lý trong nhà máy, áp lực lớn là khi nhà máy có sự cố thì triệu hồi kỹ sư về như thế nào nhanh nhất có thể. Trong khi bạn không thể nào có mặt 24/24h tại nhà máy, thậm chí còn có những chuyến đi dài ngày ở ngoài.

Bạn bối rối, vò đầu bứt tai với dự tính khoảng thời gian có thể di chuyển để về nhà máy. Nhưng trong nhiều tình huống, việc xử lý bằng phương pháp đi lại là không khả thi và quá mệt mỏi.

Không tai, không mắt, không thông tin ở ngoài hiện trường. Đó là vấn đề đầu tiên của kỹ sư tự động khi gặp vấn đề. Bạn gào vào điện thoại, yêu cầu người đầu bên kia làm công việc A, sau đó họ báo cáo A không thành công. Bạn ước đoán, thử B xem. B không thành công. Thử tiếp C xem, “dạ C cũng không được anh ơi”!. Ban thử vận may thêm với công cụ video call và hướng dẫn trực tiếp để người bên kia có thể bắt đầu thực thiện công việc với dự kiến các bước A, B, C. Khoảng 30 phút sau, các bước đều không được thực hiện đúng như bạn mong muốn. Đầu dây bên kia họ không hiểu mong muốn thực hiện của bạn, dẫn đến chuẩn đoán sai.

Kết nối với PLC của dây chuyền có phải là lựa chọn tốt?

Trong trường hợp bạn biết được bước B là giải pháp. Để xử lý được bước B, bạn cần có 1 máy tính, kết nối với PLC của dây chuyền, và sự khó khăn bây giờ mới là bắt đầu.

Trong các nhà máy bình thường, sẽ luôn có mạng nội bộ của nhà, bảo mật qua firewall. Các máy móc, thiết bị trong tình huống bình thường sẽ không được kết nối với mạng nhà máy để đảm bảo bảo mật. Các kỹ sư sẽ được phát máy tính/laptop cài sẵn các phần mềm cho PLC để kết nối trong trường hợp cần sửa chữa (Engineering Workstation – EWS). Các máy EWS thường cũng sẽ không được kết nối mạng vì sẽ phải kết nối với PLC của nhà máy.

Về mặt bảo mật, mô hình này đúng là rất an toàn khi không có máy móc kết nối với network, và chỉ có người ở tại máy đó, có kết nối vật lý mới có thể điều khiển được máy. Cấu trúc mạng này bỏ qua toàn bộ ưu điểm của các thiết bị kết nối thông tin, và không khai thác dữ liệu sản xuất phục vụ tối ưu hóa được.

Khi cần có sự hỗ trợ từ xa, chuyên gia từ xa (bạn) phải sử dụng điện thoại, gọi vào trong nhà máy, và chỉ nhân sự tại nhà máy làm từng bước một. Việc này rất chậm và khó khăn, vì hình ảnh trong điện thoại quay ra không thể đọc nổi với chương trình PLC, cũng như việc thao tác bằng cách nói cho người trên điện thoại thực sự “là một ác mộng”, trong khi bạn đang có áp lực phải giải quyết sớm sự cố.

Thời gian để xử lý sự cố bằng cách này, thường nằm khoảng 6-10 tiếng đồng hồ vì mức độ khó khăn của nó, và phụ thuộc rất lớn vào kỹ năng của nhân sự trong nhà máy.

Để xử lý cách này, nhiều kỹ sư dùng phương pháp lậu như sau:

Kết nối máy tính EWS với điện thoại có bật chế độ phát Data (HOTSPOT) lên, sau đó cài các phần mềm kết nối hỗ trợ từ xa như Teamviewer vào. Ở đầu bên kia, chuyên gia từ xa cũng cài Teamviewer trên điện thoại và máy tính, trực tiếp chat, nhìn màn hình, sử dụng phần mềm với nhân sự tại nhà máy để xử lý vấn đề. Ở góc độ kỹ sư thì đây là cách làm đơn giản và hiệu quả nhất, khi có thể kết nối với nhiều chuyên gia khác nhau, điều chỉnh mọi thứ từ xa với tốc độ chấp nhận được, xử lý được công việc nhanh nhất có thể.

Nếu bạn nghĩ dùng Teamviewer, bật 4G lên là vấn đề được giải quyết, từ đó có thể ăn ngon ngủ yên thì bạn đã nhầm.

Trong các nhà máy, luôn luôn tồn tại 1 đội ngũ IT sừng sỏ. IT luôn luôn ghét việc cài các phầm mềm không có sự kiểm soát như Teamviewer và kết nối vào hệ thống của nhà máy. Các máy EWS thường cũng hay có các Admin privileges, nếu người nhân sự tại nhà máy cắm EWS vào Mạng factory network, toàn bộ network sẽ có thể bị hở ra bên ngoài, đi qua đường của Teamviewer. Khi đó, việc tấn công mạng nhà máy sẽ vô cùng dễ dàng. Và vì thế, cách sử dụng Teamviewer thường được coi là cách làm lậu, qua mặt IT và không được khuyến khích sử dụng. Các bộ phận IT cũng sẽ thường không cho phép cài Teamviewer lên máy tính thuộc tài sản công ty.

Tích hợp Remote Access Router

Các kỹ sư tự động hóa và các hãng, làm việc với nhau để đưa ra giải pháp ở giữa, và được các bộ phận IT chấp nhận, đó là sử dụng các Remote Access Router. Bản chất của Remote Access Router là cho phép hệ thống mạng của PLC được kết nối trực tiếp lên 1 Cloud VPN. Khi chuyên gia từ xa kết nối vào cloud VPN này, họ sẽ có thể kết nối trực tiếp tới toàn bộ các thiết bị lớp dưới của Router này. Các đường truyền VPN này được bảo mật và bị giới hạn, và vì thế sẽ dễ dàng được IT đồng ý cho sử dụng với các kết nối vào mạng nhà máy. Khi sử dụng giải pháp này, nhân sự tại nhà máy cũng sẽ không phải bị dính vào Engineering Workstation nữa, mà sẽ được điều động xuống thẳng vị trí cần được sửa chữa để kiểm tra, vận hành và chạy thử lại hệ thống. Việc này giúp giảm một phần lượng nhân sự cần thiết để sửa chữa hệ thống.

Với hoàn cảnh hiện tại khi Covid-19 hoành hành, việc giảm thiểu thời gian và chi phí di chuyển cho chuyên gia là điều bắt buộc. Vì thế hầu như tất cả các nhà sản xuất máy và tích hợp hệ thống trên thế giới đều chuyển dịch sang hướng tích hợp Remote Access Router trong giải pháp của mình, hỗ trợ rất lớn trong quá trình chạy thử máy cũng như duy trì cho vận hành sau này.

Tuy nhiên, để được bộ phận IT của các nhà máy chấp nhận, Remote Access Router vẫn cần phải đến từ một hãng lớn có tên tuổi và kinh nghiệm về lĩnh vực hạ tầng mạng và bảo mật cung cấp để tránh rủi ro cao. Trong hình bài viết là Remote Access Router – Stratix 4300 của Rockwell Automation với Cloud là FactoryTalk Hub. Đây là sản phẩm chung của Rockwell Automation và Cisco Network.

Với nhiều doanh nghiệp lớn, hệ thống mạng sẽ hoàn thiện hơn. Khi đó ở trong nội bộ nhà máy, các PLC sẽ được kết nối qua 1 mạng LAN hoặc VLAN riêng, sau đó được lọc qua Firewall để có thể kết nối chung với mạng văn phòng nhà máy. Cấu trúc này cho phép việc khai thác dữ liệu sản xuất phục vụ cho các nhu cầu quản trị, tối ưu hóa trên nền MES/ERP có thể xảy ra. Khi đó, mạng nhà máy sẽ được thiết kế với cấu trúc như sau:

Điển hình của kiểu kiến trúc mạng này là CPwE (Converged Plantwide Ethernet) dành cho việc gộp chung hệ thống mạng IT/OT với nhau. CPwE là cấu trúc mạng mà CISCO và Rockwell Automation cùng phát triển.

Khi đó, hệ thống máy tính EWS sẽ được tích hợp hoặc ở trên tầng Factory Network hoặc ở tầng Automation Network. Lúc đó, để xử lý vấn đề từ xa, bạn cần sử dụng VPN để vào được network công ty và remote control máy EWS đã được kết nối sẵn với các PLC trong hệ thống.

Cách làm này về bản chất là chuẩn mực nhất. Tuy nhiên, để triển khai, cấu hình được hạ tầng hệ thống mạng theo chuẩn để thực hiện được việc này thì không hề đơn giản.

CPwE nhìn thì thấy dễ, nhưng khi triển khai thì không hề dễ. Mình đã triển khai network cho một tập đoàn toàn cầu, và làm theo hướng dẫn của tập đoàn, không theo chuẩn CPwE. Khi sử dụng thì có thể kết nối với tất cả PLC. Tuy nhiên, với thiết bị được network với PLC (biến tần, HMI, flowmeter) thì vẫn còn nhiều khó khăn, dẫn tới đôi khi không xử lý được công việc.

Việc cấp quyền cho chuyên gia từ xa sẽ bị giới hạn nhiều hơn cho chuyên gia nội bộ. Với các chuyên gia bên ngoài (OEM bán máy, System Integrator tích hợp hệ thống), việc xin cấp phép vào VPN trực tiếp của toàn nhà máy cũng sẽ là khó khăn, vì bản chất là được cấp quyền vào toàn bộ OT network của nhà máy. Phía IT và OT cũng nên nhìn nhận rủi ro này trước khi cấp quyền cho bất kì một OEM hay SI nào.

Với góc nhìn đó, mình mình nghĩ một sự kết hợp cả Remote Access Router cho chuyên gia từ bên thứ 3 truy cập và VPN cho kỹ sư nội bộ truy cập là giải pháp tổng thể nhất.

Hi vọng bài viết sẽ hỗ trợ bạn phần nào trong việc triển khai hệ thống hỗ trợ từ xa, nếu rơi vào tình huống không thể có mặt khi nhà máy gặp sự cố.

Hoàng Kim Hùng – Sales Account Manager
Rockwell Automation Việt Nam