Мультимодальное слияние изображений с SIMS: предварительная обработка с регистрацией изображений

1. B. Флуоресцентная микроскопия - пара изображений SIMS Для создания системы с различными флуоресцентно...
2. D. Регистрация изображений и использование ITK

B. Флуоресцентная микроскопия - пара изображений SIMS

Для создания системы с различными флуоресцентно активными областями готовили раствор флуоресцентного красителя, изотиоцианата флуоресцеина (FITC) (Fisher Scientific, Pittsburgh, PA), растворяя 0,1 мг красителя в 0,2 мл безводного толуола. Полученный раствор подвергали центробежному литью на осколок стекла с покрытием из оксида индия и олова (ITO) 0,5 × 0,5 см. Медная сетка размером 400 меш была прикреплена серебряной пастой поверх флуоресцентной пленки, чтобы блокировать краситель равномерным и предсказуемым образом.

Были получены изображения флуоресцентной микроскопии характерного элемента на сетке, такого как буква или число. Увеличение 40 × было использовано для получения изображений с полем зрения приблизительно 120 мкм . Полученные изображения были рельефными изображениями сетки, которая блокировала излучение красителя от попадания в камеру.

Времяпролетный вторичный ионный масс-спектрометрический анализ (ToF-SIMS) был выполнен с помощью масс-спектрометра Bio-ToF с использованием 200 снимков / пиксель для получения спектров, которые были 256 × 256 пикселей с полем зрения 215 × 215 мкм . Масс-спектральные изображения затем генерировали с использованием m / z 391, который является сигналом [M + H] + красителя FITC.

C. Пара изображений оптической микроскопии и SIMS

Клетки RAW 264.7, макрофагоподобные клетки, полученные из опухолей, индуцированных у мышей вирусом мышиного лейкоза Абельсона, содержали в модифицированной Дульбекко среде Игла при 37 ° С и 5% СО2. После промывания фосфатно-солевым буфером Дульбекко (DPBS) клетки отделяли от культуральных колб, используя скребок для клеток, и культивировали на ITO. Эти чипы были очищены ультразвуком в хлороформе, ацетоне, метаноле и очищенной воде. Клеткам RAW 264,7 давали возможность расти в течение 24 часов.

После 24 ч инкубационного периода микрочипы ITO, покрытые клетками, удаляли из среды. Клетки химически фиксировали с использованием формалина (2,5% глутаральдегида в 0,1 М какодилата натрия) в течение 15 минут. После фиксации клетки промывали пять раз в DPBS для удаления избытка фиксирующего раствора и затем три раза в воде Millipore, а затем 0,015 М формиата аммония ( p H 7,3). Формиат аммония был использован для минимизации отклонений от общепринятых способов получения клеток, которые используют этот раствор для удаления остаточных солей. Образцам давали высохнуть на воздухе в течение 10 минут перед введением в ToF-SIMS.

Оценочные метки были нацарапаны на поверхности стеклянной подложки с покрытием ITO различными рисунками перед фиксацией ячейки, чтобы создать ориентиры для сопоставления областей между изображениями. Изображения с оптического микроскопа были получены из нескольких областей вблизи меток при 20-кратном увеличении с полем зрения приблизительно 200 × 200 мкм . Изображения были преобразованы в оттенки серого, а цвет был инвертирован так, что ячейки выглядели яркими, а фон стал черным, чтобы соответствовать направлению шкалы интенсивности изображений SIMS.

Изображения SIMS были получены с использованием трехмерного химического тепловизора J105 (Ionoptika, Ltd., Саутгемптон, Великобритания), оснащенного пучком первичных ионов C60 с энергией 40 кэВ. Вторичные электронные изображения были взяты, чтобы определить местонахождение области, для которой уже было получено оптическое изображение, сопоставить оценочные метки и положение клеток. Как только подходящая область была найдена, был получен трехмерный профиль глубины, где каждый слой изображения составлял 256 × 256 пикселей с полем зрения 100 × 100 мкм . Первичная ионная доза 4 × 1013 ионов / см2 была использована для получения 15 слоев.

D. Регистрация изображений и использование ITK

Перед объединением двух изображений, пара должна быть сначала зарегистрирована, чтобы гарантировать, что области в каждом изображении точно такие же. Чтобы зарегистрировать пару изображений, ITK, который представляет собой набор библиотек с открытым исходным кодом для анализа изображений и, в частности, регистрации изображений, 26 был внедрен в специальное приложение для анализа данных. Реализация библиотек ITK была разработана таким образом, чтобы она подходила для регистрации изображения SIMS с изображением с более высоким разрешением с целью применения объединения изображений. Соображения, которые вошли в дизайн, включают поддержку пар мультимодальных изображений, которые были бы необходимы для регистрации изображения SIMS с изображением оптической или флуоресцентной микроскопии, и желание сохранить как можно больше химической информации. Библиотека ITK обеспечивает программную поддержку для большинства конвейеров, таких как классы, описывающие различные преобразования, оптимизаторы для быстрого и эффективного определения оптимального преобразования и метрики для количественного определения сходства между двумя изображениями. Полное руководство по использованию ITK для регистрации изображений можно найти в документации ITK ( http://itk.org/ITK/resources/software.html ), а блок-схема процесса регистрации, которая подробно описана далее, показана на фиг.

Блок-схема процесса регистрации с ключевыми компонентами.

Чтобы зарегистрировать пару изображений, они должны иметь одинаковое разрешение. При необходимости изображение с более низким разрешением масштабируется для соответствия разрешению другого изображения с использованием билинейной интерполяции. Две копии пары незарегистрированных изображений затем загружаются с диска; цветное изображение сначала загружается в память, а затем создается копия изображения в оттенках серого и используется для процедуры регистрации. Во время процедуры регистрации метрика будет сравнивать интенсивности между двумя изображениями, и, таким образом, необходимо одно значение интенсивности в оттенках серого. Фильтр сглаживания потока кривизны был применен к изображениям перед регистрацией, чтобы удалить шум, который часто присутствует в изображениях SIMS. Контуры изоинтенсивности на изображении используются для выполнения сглаживания, сохраняющего края, аналогично сглаживанию с анизотропной диффузией. 27

Для регистрации изображения SIMS с изображением, полученным с использованием другой модальности, необходимо учитывать три степени преобразования: перемещение, вращение и масштаб. Так как пара изображений получается с двумя отдельными наборами инструментов, положение и поле зрения будут разными для двух изображений. Кроме того, в зависимости от физической настройки инструментов, два изображения могут быть повернуты до некоторой степени вокруг точки на изображении. Следовательно, для регистрации необходимо использовать преобразование, которое будет учитывать все три режима преобразования, которое в ITK называется центрированным преобразованием подобия. Могут быть возможны дополнительные типы искажений, такие как искажение, но они не были сочтены необходимыми для преобразования изображений оптической микроскопии с изображениями SIMS с учетом используемого инструментария.

Первоначальное преобразование, указанное пользователем, затем применяется к движущемуся изображению с использованием интерполятора для вычисления значений интенсивности, которые попадают между пикселями в исходном изображении, и метрика используется для количественного определения сходства между преобразованным и фиксированным изображениями. Для регистрации пары изображений SEM-SIMS и пары изображений оптический-SIMS необходима мультимодальная регистрация, чтобы учесть существенную разницу в шкалах относительной интенсивности между двумя изображениями. В таком случае метрика взаимной информации Mattes использовалась для определения степени сходства между двумя изображениями. Метрики взаимной информации используют теорию информации и основаны на разнице энтропии между двумя изображениями. Энтропия здесь является мерой неопределенности в распределении вероятностей значений интенсивности серого по всему изображению. 28 Разница в энтропии между двумя изображениями является мерой взаимной информации и не ограничивается изображениями, полученными с использованием одной и той же модальности. 27 Однако для регистрации пары изображений флуоресценция – SIMS изображения были достаточно похожими по относительной интенсивности, что в этом не было необходимости, и для количественного определения подобия использовалась более простая метрика средних квадратов. Метрика средних квадратов определяет среднюю разницу между интенсивностями в каждой паре соответствующих пикселей на двух изображениях и, таким образом, является более простым и более эффективным в вычислительном отношении способом, подходящим для изображений, полученных с аналогичными шкалами относительной интенсивности. 27

Результат метрики подобия передается оптимизатору, который определяет следующий набор параметров (перемещение, вращение и масштаб) для преобразования движущегося изображения с учетом предыдущих попыток преобразования и направлений движения, которые увеличили метрику. Оптимизатор градиентного спуска используется для поиска максимального сходства между преобразованным и фиксированным изображениями, что будет указывать, что процесс регистрации завершен. Оптимизатор предпринимает шаги для достижения максимума и отклонения от локальных минимумов для достижения конвергенции. Следующее преобразование применяется к движущемуся изображению, определяется сходство, передается оптимизатору, и процесс повторяется до тех пор, пока не будет определено максимальное сходство.

Как только оптимальное преобразование определено, заключительным шагом является повторная выборка исходных цветных изображений для получения пары изображений, которые теперь зарегистрированы. Фильтр повторной выборки принимает окончательное преобразование, которое привело к максимальной корреляции между движущимся и фиксированным изображениями, и применяет его к входному движущемуся изображению, чтобы оно теперь находилось в том же пространстве изображения, что и фиксированное изображение. Последний шаг выполняется для удаления пикселей с фиксированного изображения, которые соответствуют пикселям в движущемся изображении, которое возникло за пределами пространства исходного изображения, и, следовательно, не были измерены во время анализа. Это гарантирует, что сохраняется только информация, которая присутствует в обоих изображениях, что является важным аспектом, поскольку эти зарегистрированные изображения используются для объединения изображений. Наконец, зарегистрированные изображения сохраняются на диск.

К сожалению, регистрация изображений с помощью вышеуказанных компонентов все еще не является простым, идеальным процессом. Некоторые аспекты процесса регистрации являются настраиваемыми, и для получения надежных результатов они должны контролироваться и оптимизироваться. Кроме того, существует компромисс между точностью регистрации и скоростью процесса регистрации. К сожалению, оптимальные параметры и средний уровень между точностью и эффективностью обычно зависят от эксперимента и должны учитываться в каждом конкретном случае.

Чтобы успешно зарегистрировать два изображения, оптимизатор должен найти максимум значения метрики. Когда оптимизатор вычисляет локальный максимум, он прерывается и процесс регистрации завершается с этим преобразованием. К сожалению, оптимизатор может застрять в локальных максимумах, которые не являются истинным максимумом, в результате чего изображения не будут действительно зарегистрированы. Одним из подходов, который успешно преодолевает эту проблему, является ввод исходных догадок преобразования. Пользовательский интерфейс был создан, чтобы позволить пользователю вручную переводить, вращать и масштабировать движущееся изображение по отношению к фиксированному изображению. Сгенерированные из этого параметры затем передаются в процесс регистрации и используются для создания первого преобразования, переданного оптимизатору. Это позволяет человеческому глазу выровнять два изображения перед выполнением регистрации, что значительно уменьшает пространство для ошибок в процессе регистрации. Это также ускоряет процесс регистрации, так как оптимизатор начинает преобразование, которое уже достаточно близко к конвергенции.

Другой подход, позволяющий избежать захвата оптимизатора локальными максимумами, состоит в корректировке длин шагов между преобразованиями. Платформа регистрации позволяет указать максимальную и минимальную длину шага для оптимизатора, что ограничивает то, как далеко оптимизатор будет переходить от одного преобразования к другому. Чем больше шагов оптимизатор выполняет между преобразованиями, тем быстрее будет завершен процесс регистрации. Однако, если размеры шагов слишком велики, оптимизатор может пропустить преобразования, которые будут более точно управлять направлением преобразований. Использование слишком маленькой длины шага приведет к тому, что попытка регистрации займет слишком много времени. Хорошим компромиссом между точностью и скоростью регистрации изображений SIMS является максимальная длина шага 0,01 и минимальная длина шага 0,001 для большинства экспериментов.

Если заметные элементы видны пользователю на обоих изображениях, другой стратегией предотвращения локальных максимумов является ограничение области фиксированного изображения, которая сравнивается с движущимся изображением с помощью метрики. Определение области интереса (ROI) направлено на уменьшение неоднозначного сигнала, такого как регулярное повторение линий сетки, что может привести к тому, что оптимизатор будет захвачен локальным максимумом. Кроме того, если присутствует значительное количество шума, определение ROI, где шум отсутствует или является незначительным, повысило бы точность регистрации. Наконец, скорость регистрации увеличивается с уменьшением размера ROI по сравнению с полным размером фиксированного изображения. Структура регистрации позволяет определять ROI только для фиксированного изображения, а не для движущегося изображения. Однако было обнаружено, что определение как можно меньшего значения ROI для отличительных, заметных и специфических признаков значительно улучшило точность результата регистрации.

Для мультимодальной регистрации вводятся два дополнительных параметра, которые влияют на точность и скорость регистрации изображений. Как описано ранее, мультимодальная регистрация включает другую метрику, которая сравнивает взаимную информацию между движущимися и фиксированными изображениями. Метрика анализирует гистограммы каждого изображения и вычисляет разницу энтропии. Следовательно, структура регистрации позволяет задавать количество элементов разрешения гистограммы, а также количество пикселей в изображениях, которые нужно выбрать и поместить в элементы разрешения гистограммы. Как и следовало ожидать, чем больше использованных образцов, тем лучше будет результат регистрации, но тем дольше будет продолжаться процесс. Для экспериментов в этой работе 50 столбцов гистограммы и 10 000 выборок пикселей обеспечили достаточный компромисс между точностью и эффективностью. Однако установка метрики для анализа всех пикселей существенно не замедлила процесс регистрации.