Потенциально опасные ошибки у новичка

[Idelle]

Добрый вечер. Я так сказать начинающий киповец/асушник и в последнее время озадачился вот чем. Ввиду того, что в промышленности ошибка может стоить дорого и чревата катастрофическими последствиями у меня возникла боязнь ошибиться в работе. Вот прям навязчивый кошмар, что аж подумывал о том, что не ту профессию выбрал. Доходило до того, что чувствуя недостаток опыта, знаний и боязнь совершить ошибку в работе (с соответствующими последствиями) отказывался от хорошей и перспективной работы. Как вы с этим справлялись? Бывали ли у вас ошибки, приведшие к серьезным последствиям или потенциально опасные? Какое наказание потом вы получали (вплоть до суда)?

[MaksimNT]

В АСУ иные законы, но исходить из следующего:
Сисадмин мнил себя богом сети.
КИПовец мнил себя богом учета и измерения.
АСУшник мнил себя богом управления.
Электрик грубо развеял этот миф.

Электрик ошибается два раза...

[rwg]

Автора, к сожалению, не знаю, несколько лет назад сохранил на память:
Ошибка программиста ПЛК
На территории крупного завода стояло неприметное зданьице, в котором мирно трудились два компрессора производительностью во много десятков кубометров сжатого воздуха в минуту, масловлагоотделители, охладители, редукторы и другое приличествующее крупному заводу и новой компрессорной оборудование, которыми рулил умный управляющий комплекс. Комплекс был прекрасно отлажен, проверен, рулил оборудованием и в жару, и в стужу, и присутствие человека всему этому хозяйству требовалось только раз в полгода — на время плановой профилактики.
Одним жарким июльским утром, проверив планируемый расход сжатого воздуха, температуру внутри и снаружи и даже прогноз погоды на ближайшие сутки, управляющая система решила переконфигурировать воздухоотбор — вместо горячего наружного воздуха, который засасывался через один защищённый простым фильтром от мошек и пташек воздухозаборник снаружи, включить отбор через охладитель. Охладитель — по сути, мощный проточный абсорбционный холодильник: небольшая теплоизолированная камера с сотнями медных рёбер и трубочек, по которым прокачивается хладагент, охлаждая поступающий воздух. Обычно этот холодильник выключен и закрыт, воздух идёт напрямую, но в жару потеря тяги от завихрений воздуха в лабиринте трубочек предпочтительнее перегретого оборудования, в котором воздух при сжатии и так прилично нагревается.
Дальнейшую картину происшедшего удалось восстановить по логам системы и записям камер видеонаблюдения.
Умная управляющая программа даёт команду охладителю на включение, компрессорам на увеличение режима для компенсации возросшего сопротивления, а контроллеру воздухозаборников — на полное закрытие порта внешнего отбора и открытие порта охладителя. Все спешно начинают выполнять приказания начальства — компрессоры разгоняются, охладитель булькает аммиаком, контроллер воздухозаборников… Контроллер, простая глупая ПЛКшка, лениво шевелит актуатором створок-жалюзи внешнего порта, периодически проверяя показания датчиков о положении этих створок, и, выведя их в закрытое положение, начинает открывать створки порта охладителя. Не тут-то было: компрессоры уже вышли на режим и создали в теперь уже наглухо закрытой компрессорной разрежение, которое актуатору пересилить не хватает мощности. Контроллер удивляется сообщениям датчиков о неизменном угле поворота и замыкается в попытках открыть-таки створки, забыв сообщить о задержке «наверх».
Компрессоры продолжают втягивать и сжимать что есть мочи, воздух пытается просочиться через щели, но строители постарались на совесть — доступа воздуха практически нет. Здание из сэндвич-панелей под давлением атмосферы снаружи и неглубокого, но с каждой секундой углубляющегося вакуума внутри с хрустом и скрипом начинает всасываться само в себя.
Компрессорная построена была действительно на совесть — стены и крыша выдерживают. Не выдерживает массивная стальная дверь, точнее, её косяк. Увесистая железяка с диким треском вылетает из стены и, на приличной скорости разворотив один из влагоотделителей и отрикошетив от компрессора, углом врезается в стоящий в глубине помещения главный резервуар — стальную десятикубовую ёмкость с расходным запасом сжатого воздуха. Резервуар, не привыкший к такому обращению, лопается, как воздушный шарик, высвобождая все тридцать атмосфер наружу.
К счастью, оставшийся после вылетевшей двери зияющий проем был достаточно большим, чтобы «взрывной волной» здание не разнесло на тряпочки и шнурочки — оно просто ухнуло, прыгнуло и покосилось, напоминая уже не сверкающую на солнце обитель мощной и красивой техники, а неказистый домик дядюшки Тыквы. Логическим финалом технотриллера стало шипение испаряющегося аммиака из порванных осколками резервуара и развороченных ударом воздуха сотен медных трубочек охладителя.
Итог — менее десяти секунд секунд от подачи команды до катастрофы, четыре миллиона евро убытков из-за уничтоженного оборудования, искалеченного здания (будут сносить и строить заново — даже фундамент дал трещины) и простоя производства, колоссальные репутационные потери фирмы-проектировщика и небольшой опыт программистам, писавшим программу контроллера. А всё из-за одного не вовремя закрытого порта.

[alex45]

rwg, ну вы прям застращали молодого коллегу.

[keysansa]

Одним жарким июльским утром

место горячего наружного воздуха, который засасывался через один защищённый простым фильтром от мошек и пташек воздухозаборник снаружи, включить отбор через охладитель

Все правильно.

Обычно этот холодильник выключен и закрыт

Обычно, это когда? Зимой отопитель тоже часто перегревает. Если неверно выставлены гистерезисы - работают совпестно с охладителем. Но иногда это полезно, влажность "падает".Летом холодильник не может быть "выключен и закрыт". Ну разве что в... Чём?

Умная управляющая программа даёт команду охладителю на включение, компрессорам на увеличение режима для компенсации возросшего сопротивления

С учетом вышеизложенного, к программе - нет претензий. При повышении температуры, включить охладитель - это не правильно?

охладитель булькает аммиаком,

Охладитель может булькать азотом.

При этом, закрывать порты вытяжки? И что за компрессора в вентиляции? Жуть какая-то...

[Универсал]

Одним жарким июльским утром

Uriah Heep

There I was on a July morning...

[rwg]

С учетом вышеизложенного, к программе - нет претензий.

Компрессор сжимал уличный воздух. Программа должна бы сперва открывать жалюзи на холодильнике и только потом закрывать жалюзи на воздухозаборнике. Здесь программа закрыла жалюзи на воздухозаборнике при закрытых жалюзи холодильника. Компрессор начал засасывать воздух из помещения В помещении создалось такое разрежение, что тогда, когда пришла команда открыть жалюзи холодильника, приводы не смогли их открыть.

[Idelle]

Автора, к сожалению, не знаю, несколько лет назад сохранил на память:
Ошибка программиста ПЛК
На территории крупного завода стояло неприметное зданьице, в котором мирно трудились два компрессора производительностью во много десятков кубометров сжатого воздуха в минуту, масловлагоотделители, охладители, редукторы и другое приличествующее крупному заводу и новой компрессорной оборудование, которыми рулил умный управляющий комплекс. Комплекс был прекрасно отлажен, проверен, рулил оборудованием и в жару, и в стужу, и присутствие человека всему этому хозяйству требовалось только раз в полгода — на время плановой профилактики.
Одним жарким июльским утром, проверив планируемый расход сжатого воздуха, температуру внутри и снаружи и даже прогноз погоды на ближайшие сутки, управляющая система решила переконфигурировать воздухоотбор — вместо горячего наружного воздуха, который засасывался через один защищённый простым фильтром от мошек и пташек воздухозаборник снаружи, включить отбор через охладитель. Охладитель — по сути, мощный проточный абсорбционный холодильник: небольшая теплоизолированная камера с сотнями медных рёбер и трубочек, по которым прокачивается хладагент, охлаждая поступающий воздух. Обычно этот холодильник выключен и закрыт, воздух идёт напрямую, но в жару потеря тяги от завихрений воздуха в лабиринте трубочек предпочтительнее перегретого оборудования, в котором воздух при сжатии и так прилично нагревается.
Дальнейшую картину происшедшего удалось восстановить по логам системы и записям камер видеонаблюдения.
Умная управляющая программа даёт команду охладителю на включение, компрессорам на увеличение режима для компенсации возросшего сопротивления, а контроллеру воздухозаборников — на полное закрытие порта внешнего отбора и открытие порта охладителя. Все спешно начинают выполнять приказания начальства — компрессоры разгоняются, охладитель булькает аммиаком, контроллер воздухозаборников… Контроллер, простая глупая ПЛКшка, лениво шевелит актуатором створок-жалюзи внешнего порта, периодически проверяя показания датчиков о положении этих створок, и, выведя их в закрытое положение, начинает открывать створки порта охладителя. Не тут-то было: компрессоры уже вышли на режим и создали в теперь уже наглухо закрытой компрессорной разрежение, которое актуатору пересилить не хватает мощности. Контроллер удивляется сообщениям датчиков о неизменном угле поворота и замыкается в попытках открыть-таки створки, забыв сообщить о задержке «наверх».
Компрессоры продолжают втягивать и сжимать что есть мочи, воздух пытается просочиться через щели, но строители постарались на совесть — доступа воздуха практически нет. Здание из сэндвич-панелей под давлением атмосферы снаружи и неглубокого, но с каждой секундой углубляющегося вакуума внутри с хрустом и скрипом начинает всасываться само в себя.
Компрессорная построена была действительно на совесть — стены и крыша выдерживают. Не выдерживает массивная стальная дверь, точнее, её косяк. Увесистая железяка с диким треском вылетает из стены и, на приличной скорости разворотив один из влагоотделителей и отрикошетив от компрессора, углом врезается в стоящий в глубине помещения главный резервуар — стальную десятикубовую ёмкость с расходным запасом сжатого воздуха. Резервуар, не привыкший к такому обращению, лопается, как воздушный шарик, высвобождая все тридцать атмосфер наружу.
К счастью, оставшийся после вылетевшей двери зияющий проем был достаточно большим, чтобы «взрывной волной» здание не разнесло на тряпочки и шнурочки — оно просто ухнуло, прыгнуло и покосилось, напоминая уже не сверкающую на солнце обитель мощной и красивой техники, а неказистый домик дядюшки Тыквы. Логическим финалом технотриллера стало шипение испаряющегося аммиака из порванных осколками резервуара и развороченных ударом воздуха сотен медных трубочек охладителя.
Итог — менее десяти секунд секунд от подачи команды до катастрофы, четыре миллиона евро убытков из-за уничтоженного оборудования, искалеченного здания (будут сносить и строить заново — даже фундамент дал трещины) и простоя производства, колоссальные репутационные потери фирмы-проектировщика и небольшой опыт программистам, писавшим программу контроллера. А всё из-за одного не вовремя закрытого порта.

Да ведь за такое этих программистов посадят же. Да ещё и повесят долг в миллионы денег, нет? Пипец. Как работать теперь?

[Универсал]

На подобные ситуации, вообще-то, должны быть железные защиты - сбросные клапаны, реле давления, разрежения, термореле, токовые и т.п. Полагаться на софт в аварийных ситуациях - крайняя самоуверенность. Так что вину программисты должны разделить с конструкторами.

[VADR]

Как-то вот это:

Комплекс был прекрасно отлажен, проверен

Не вяжется вот с этим:

Умная управляющая программа даёт команду охладителю на включение, компрессорам на увеличение режима для компенсации возросшего сопротивления, а контроллеру воздухозаборников — на полное закрытие порта внешнего отбора и открытие порта охладителя. Все спешно начинают выполнять приказания начальства — компрессоры разгоняются, охладитель булькает аммиаком, контроллер воздухозаборников… Контроллер, простая глупая ПЛКшка, лениво шевелит актуатором створок-жалюзи внешнего порта, периодически проверяя показания датчиков о положении этих створок, и, выведя их в закрытое положение, начинает открывать створки порта охладителя.

Вообще-то на прилично сделанных объектах сначала открывается второй маршрут, а уже после (после успешного открытия, проверенного надлежащим образом) закрывается первый. И то, что в системе был такой косяк, говорит в первую очередь о том, что проверялась работа плохо.

[Ryzhij]

Вообще-то на прилично сделанных объектах сначала открывается второй маршрут, а уже после (после успешного открытия, проверенного надлежащим образом) закрывается первый.

Знаю компрессорную, где проектировщики не удосужились сделать ОС по положению шиберов ни на одном из маршрутов ;)

И то, что в системе был такой косяк, говорит в первую очередь о том, что проверялась работа плохо.

В этом случае проектировщиков сунули носом в их плоды жизнедеятельности, но...
Угадайте, что-нибудь изменилось?
Так что, ждём-с...

Отправлено спустя 5 минут 38 секунд:

Да ведь за такое этих программистов посадят же. Да ещё и повесят долг в миллионы денег, нет? Пипец. Как работать теперь?

Посадят не программиста, а автора алгоритма. Программист ПЛК обычно реализует на конкретном железе заданный проектировщиком алгоритм, но бывает, что это один и тот же человек...

[alex-tec]

Посадят не программиста, а автора алгоритма. Программист ПЛК обычно реализует на конкретном железе заданный проектировщиком алгоритм, но бывает, что это один и тот же человек...

А технолог выдавший ТЗ на разработку алгоритма выйдет сухим из воды?

[alex45]

Не надо людей пугать. Никого не посадят. Максимум с работы выгонят и выплату ущерба повесят.
Саяно-шушенскую ГЭС смыло - никого не посадили.

[Ryzhij]

А технолог выдавший ТЗ на разработку алгоритма выйдет сухим из воды?

Следствие покажет. Суд установит.

Саяно-шушенскую ГЭС смыло - никого не посадили

Было следствие. Был суд. Был приговор.

[+] https://tass.ru/proisshestviya/1382685?page=5

Приговор фигурантам уголовного дела об аварии на ГЭС был вынесен 24 декабря 2014 года. Бывшего директора гидроэлектростанции Николая Неволько осудили на 6 лет колонии общего режима, такой же срок получил главный инженер Андрей Митрофанов. Его заместители Евгений Шерварли и Геннадий Никитенко были осуждены на 5,5 года и 5 лет 9 месяцев колонии общего режима. Работники службы мониторинга оборудования Александр Матвиенко, Владимир Белобородов и Александр Клюкач были приговорены к 4,5 года колонии без права занимать руководящие должности. Причем Владимир Белобородов был освобожден по амнистии.

На решение Саяногорского городского суда было подано 19 жалоб от потерпевших, стороны защиты и осужденных. Трое потерпевших физических лиц, а также представитель компании "РусГидро", которая также была признана потерпевшей стороной, просили оправдать осужденных. В свою очередь, гособвинение просило оставить приговор без изменений.

26 мая Верховный суд Хакасии изменил приговор двум фигурантам дела. Работники службы мониторинга оборудования ГЭС Александр Матвиенко и Александр Клюкач, ранее приговоренные к 4,5 года колонии, подпали под амнистию к 70-летию Победы в Великой Отечественной войне. Остальным фигурантам приговор оставили прежним.

Срок давности по уголовному делу об аварии на Саяно-Шушенской ГЭС истекал 17 августа 2015 года. Если бы до этого срока решение Саяногорского суда не вступило в законную силу, все осужденные были бы освобождены, а дело закрыто.

[alex45]

Не знал...

[Valerich]

Был у нас похожий прикол.
Запускали компрессорную, вытяжка работала подозрительно слабо. Возникло подозрение о неверной фазировке вентилятора. Я залез к коробке под потолок и переключил фазы. Начальник стоял внизу и руководил. После переключения начальник дал команду включить вентилятор. Я включил вытяжку, повернулся и увидел следующую картину: начальник в клубах пыли, сорванной правильно заработавшей вытяжкой пытается открыть дверь, присосанной разрежением

[keysansa]

Программа должна бы сперва открывать жалюзи на холодильнике и только потом закрывать жалюзи на воздухозаборнике. Здесь программа закрыла жалюзи на воздухозаборнике при закрытых жалюзи холодильника.

Тогда я не понял. Жалюзи компрессора с улицы? А жалюзи охладителя откуда? Из помещения? Или тоже с улицы?

Отправлено спустя 23 минуты 1 секунду:
Прошу прощения, я, кажется понял, что порты компрессоров и охладителей всегда связаны, но могут брать воздух из двух разных мест? И оба этих места "снаружи" от размещения компрессоров и охладителя?
Все стало понятно, но как обслуживающий персонал смог открыть дверь?

[Andreywys]

Обычно ошибаешься от того, что времени на отладку не остается или его дают очень мало. Надо не вестись на производственников и закладывать на отладку и проверку время * 1,5. За то, что закончите раньше обычно не наказывают, а могут даже похвалить :) За задержку можно получить по шапке и в аварийном режиме не продумать алгоритм и наделать костылей. Доделаем/проверим потом в большинстве случаев = никогда.

[keysansa]

Надо не вестись на производственников и закладывать на отладку и проверку время * 1,5

Это применимо к штучным изделиям. С серийными сложнее. Часто бывает, что поставляют серийное изделие, а потом судорожно дорабатывают его под "хотелки" заказчика. И на ПНР автор программы не выезжает, а инженер по ПНР по телефону "наворачивает патчи".

[ASUTP_PLC]

Довелось запускать насосную станцию. Станция была второго подъема. Первый подъем был из 8 скважин разбросанных на протяжении почти 1,5 км. Основной насос был очень хорошим, со специальной своей подстанцией, упамятовал сколько там мегаватт было, питался от 6кВ. Куда качали - там был резервуар на 10000м3. (Это было за 30 км пресеченной местности, к сведению).
Насос позволял качать на максимуме производительности 2100м3 в час. (проектно 2000м3/час, но строители хорошо постарались и все километры труб до основного резервуара были проложенны максимально прямо и без завитков.
Проблема была неявная в другом. Для питания насоса был резервуар с объемом 600м3. Совсем не о чем, учитывая возможную производительность насоса.
Другая проблема была в том - что насосные первого подъема не всегда располагали нужным объемом воды.
По итогу производительность скважин была от 170 до 220м3. (в лучшем варианте со всех скважин это импульсно 1600м3, постоянно-длительно 1300-1400м3/час общий дебит.
Заказчик обозначил следующую задачу испытаний - работу всех насосов на полном пределе в течении суток. Простое требование,
если учесть что математика не сходится.
С первого подъема все шло в один коллектор, поэтому когда запускался насос от скважины один - он легко качал, добавление еще насоса от скважины в работу - могло быть только если этот насос передавливал противодавление в трубе. Поэтому насосы пускали от дальних к ближним.
И соответственно если ты выключишь один насос в группе которая работает, ты его не включишь. Только надо отключать все насосы коллектора и запускать последовательно снова по одному.
Вообщем запустили полигон. Начала наполняться емкость в 600м3. Поднялся уровень - стартанули насос основной. Насосы от скважин были включены не все. Сказалось разная обводненость скважин. Причем выдались пара скважин где уровень был вначале нормальный, но немного откачаешь - и все, упал.
Их вывели. Потихоньку работала вся система где-то на 1200м3/в час. (часов где-то 8).
Потом обнаружили что уровень поднялся и можем еще добавить скважинок... Включили все насосы что можно. Большой малыш все это время хорошо справлялся, не превышая частоты 35 Гц. Но вода стала прибывать ее стало больше. (это уже после примерно 6-8 часов испытания).
Скважинки прочистились...
Уровень воды в резервуаре 600м3 начал потихоньку повышаться. Хапнуть воздуха на такой насос на рабочих режимах тоже - ничем хорошего, поэтому ему обороты не повышали.
Насос на максимум даже не успел выйти (хоть он и большой малыш, но инерционность никто не отменял).
С полигона вода переполняет резервуар (на часах - 3 часа ночи).
Отключать насосы с полигона - нельзя. Такая команда, все должны работать.
Принимаем решение вывести малыша на максимальную мощность. С труб резервура хреначит вовсю вода. Добавляются обороты насосу, он выходит на свои 2100 кубов/час. Воду он откачивает. Резервуар опустошается влегкую...
В обед уже следующего дня, идем смотреть - на резервуаре крыша сложена домиком. Сливные клапана пошли на перелив... Насос пошел на максимум.
Вуаля - и крыша резервуара уже смотрит в обратную сторону.
Вот так вот...
Программа испытаний выполнена. Насос на максимум поработал.

[keysansa]

С первого подъема все шло в один коллектор, поэтому когда запускался насос от скважины один - он легко качал, добавление еще насоса от скважины в работу - могло быть только если этот насос передавливал противодавление в трубе. Поэтому насосы пускали от дальних к ближним.
И соответственно если ты выключишь один насос в группе которая работает, ты его не включишь. Только надо отключать все насосы коллектора и запускать последовательно снова по одному.

Спутанно, не понятно. Но жирным выделил то, что непонятнее всего.

[Jackson]

Всё примерно понятно.

Средние насосы не запустить, потому что в их приемном коллекторе создается давление другими насосами, и этот просто не выходит на заданный расход (его запирает давлением в коллекторе) и встает по защите от холостого хода.

Это гидродинамика. Да ещё и среда неидеальная. Тут непросто всё. Не зря строят гидродинамические учебные лаборатории, занимающие целый производственный цех полностью (в моем ВУЗе такая была, хоть это и не очень надо по профилю). И толковых спецов по такой гидродинамике - ещё поискать, и стОят они довольно дорого. Так что автору - успехов в освоении тонкостей этого мокрого дела, может станете как раз таким спецом, когда тут разберетесь и научитесь эти вещи расчетным путем предусматривать.

[keysansa]

А обратные клапаны?

[perfect_gentleman]

А обратные клапаны?

Их и подперло как раз противодавлением.

[keysansa]

Ок. А насосы же с норм давлением?