Обзор kTLS
Kernel TLS (kTLS) — реализация протокола TLS, основанная на переносе части операций, в том числе шифрования и дешифрования, на уровень ядра Linux, что уменьшает нагрузку на процессор и улучшает производительность.
В Kafka поддержка kTLS осуществляется начиная с версии ADS 3.9.0.1.b1.
Ниже описано, как осуществляется взаимодействие потребителя и брокера Kafka при использовании традиционного протокола TLS и при использовании протокола kTLS.
Основные понятия, используемые для описания:
-
Transport layer security (TLS) — криптографический протокол, обеспечивающий безопасную передачу данных по сети при обмене данными между двумя приложениями. Является усовершенствованной версией протокола secure sockets layer (SSL).
-
Пространство ядра (kernel space) — область памяти, зарезервированная для ядра операционной системы, его расширений и драйверов устройств.
-
Пользовательское пространство (user space) — адресное пространство виртуальной памяти операционной системы, предназначенное для пользовательских программ, отделенное от пространства ядра для обеспечения безопасности и стабильности системы.
-
TLS-рукопожатие (TLS handshake) — взаимодействие клиента и сервера при подключении. При рукопожатии происходит определение используемой версии TLS, используемых шифров, обмен ключами и проверка подписей центра сертификации SSL, генерация сеансовых ключей для использования симметричного шифрования.
-
Сетевая интерфейсная карта (Network Interface Controller, NIC) — аппаратное устройство для взаимодействия с сетью.
-
Буфер сетевой карты (NIC buffer) — область памяти, используемая сетевой картой для временного хранения данных при приеме и передаче.
-
Сокет (socket) — абстракция в Linux для обмена данными между процессами или устройствами. В ядре Linux сокеты реализованы как структуры данных, позволяющие системе обрабатывать сетевые операции, не обращаясь напрямую к аппаратным деталям.
-
Файловый дескриптор — натуральное число (идентификатор), закрепленное за определенным потоком ввода-вывода.
Kafka и TLS
При установке соединения клиента (потребителя) и брокера Kafka после осуществления TLS-рукопожатия приложение в пользовательском пространстве производит системный вызов read. При этом в ядро передается файловый дескриптор, указатель на буфер приложения и другие данные для чтения. Данные копируются через буфер ядра в буфер приложения, шифруются (в пользовательском пространстве) и, используя системный вызов write, записываются в буфер сетевой карты (в пространстве ядра), передавая дескриптор файла, указатель на буфер данных и количество байтов для записи, и отправляются потребителю.
Недостатки работы Kafka c традиционным TLS:
-
Каждый пакет данных копируется дважды между ядром и пользовательским пространством, что вызывает задержки из-за дополнительных операций и переключений между ядром и пользовательским пространством.
-
Высокая нагрузка на процессор из-за выполнения шифрования в программном режиме.
Kafka и kTLS
При установке соединения клиента (потребителя) и брокера Kafka после осуществления TLS-рукопожатия (рукопожатие по-прежнему выполняется в пользовательском пространстве) приложение производит системный вызов sendfile, который копирует данные между двумя файловыми дескрипторами, то есть данные копируются непосредственно из кеша ядра в сетевой буфер.
Для осуществления шифрования данных в пространстве ядра создается специальный файловый дескриптор сокета TLS (KTLS), куда извлекается информация о сеансовых ключах, идентификаторах и шифровании данных из библиотеки TLS. Данные шифруются непосредственно в ядре перед отправкой в сеть.
Зашифрованные данные расшифровываются в ядре перед передачей в пользовательское пространство, если это предусмотрено приложением.
Преимущества:
-
Обеспечение принципа нулевого копирования (zero-copy) — системный вызов
sendfileкопирует данные между одним дескриптором файла и другим сразу внутри ядра вместо комбинации вызововreadиwrite, которые выполняют передачу данных в пользовательское пространство и чтение из него. Это снижает нагрузку на процессор и повышает производительность и эффективность, что имеет особенное значение при передаче большого объема данных. -
Снижение нагрузки на процессор за счет переноса операций шифрования/дешифрования в ядро.
-
Улучшенная пропускная способность и уменьшенная задержка при передаче данных по защищенным каналам.
-
Прозрачная интеграция с существующими TLS-библиотеками (например, OpenSSL) через API ядра.
|
ВАЖНО
Для поддержки kTLS требуется ядро операционной системы версии 5.9 и выше. По умолчанию режим kTLS включен. Но если версия ядра ниже требуемой, то произойдет откат в обычный режим. |