Ковыряюсь в библиотеке для машинного обучения scikit-learn, а конкретно - в методе опорных векторов (Support vector machine). Суть инструмента в том, что он пытается разделить точки, которые ему подают на вход. В простейшем случае это - задача разделения двух групп шариков прямой линией (вектором), как на рисунке.

В реальности мы находимся далеко не на плоскости, а в хз сколько мерном пространстве. И разделяем подвешенные в многомерном пространстве шарики не векторами, а гиперплоскостью (чем-то вроде изломанного листа бумаги).

Правда, в большинстве случаев, эта "гиперплоскость" не плоская, и даже не состоит из кусочков плоскостей, а имеет странную форму без резких изломов.

Нагуглил прикольную шпору по статистике: какие методы проверки гипотез когда лучше применять.

Вот есть у нас некоторые данные. Помедитировав на них, мы сделали некоторые выводы. Как проверить, не показалось ли нам? Для того умные люди и придумали статистику с развитым мат. аппаратом для проверки гипотез.

В дополнение к предыдущему посту о статистике. Только сейчас осознал один из путей проверки на статистическую значимость выводов, сделанных человеком. Вывод принимается за теоретическое ожидание, после чего проверяется совпадение исходных данных и вывода. Совпадает? Прекрасно! Нет? Значит делавшего выводы проглючило.

Не зря нас в школе насиловали геометрией и доказательством теорем! Зря только все это забыто за ''ненадобностью''.

Даже если сама геометрия не уперлась (мне мнооократно в работе пригождалась), логика доказательства теорем и гипотез даётся как основа курса только в ней. В институтских матанах и терверах именно логически верного доказательства с нас не требовали, больше как-то примеры.

https://www.tg-me.com/Eduvtatarstan/9294

Уничтожат и параноики успокоятся. Для лучшего психологического эффекта я бы предложил разбить сервера молотками и прокататать катком, для надёжности. Можно было бы в кислоте растворить, но дорого.

Команда Яндекса разрабатывает новый продукт, который поможет детям и их родителям быстрее освоить школьную математику.

Сейчас команда исследует аудиторию и пытается понять, как русскоязычные семьи решают, что математика заслуживает дополнительного (внешкольного) изучения.

Если вы — родитель ребёнка, обучающегося в 4-6 классах школы,

и ваш ребёнок занимается математикой дополнительно:

- Самостоятельно;
- С репетитором;
- В математическом кружке;
- Онлайн (на платформах Фоксфорд; Учи.ру; Skyeng; Умназия),

пожалуйста, примите участие в небольшом исследовании от Яндекса.

Для этого:

- Заполните короткую анкету по ссылке (https://forms.yandex.ru/u/5ebe62bb251863324a75e1fa/) и оставьте контакты для связи в конце анкеты;
- Перешлите ссылку на анкету знакомым подходящим родителям.

Появилась свежая новость:
Отечественный препарат "Авифавир" получил одобрение Минздрава РФ для использования против короны.

Это - дженерик японского препарата "Авиган" компании Fujifilm. Его фармацевтическое название - фавипиравир. Есть теоретические исследования, что он может быть крут против вирусов. Есть сведения, что он в целом безопасен. И есть китайское клиническое исследование на группе в 35(!) пациентов, где показано, что КТ лёгких при его применении лучше. Ну т.е. эффективность оригинала против короны вилами по воде писана: китайская статистика уже стала притчей во языцах.

Дженерик - это копия препарата, примерно то же самое, что и оригинал, но не совсем. По российским стандартам, если поведение препарата в организме совпадает на 80% - значит дженерик биологически эквивалентен оригиналу.

Вишенка на торте - клинические исследования Авифавира. Первый десятидневный(!) этап успешно завершился 21 мая, теперь, видимо, завершился и второй, на бОльшей группе: в испытаниях приняли участие 330 человек. Говорят, что исследования прошли прекрасно, препарат показал эффективность 90% и 11 июня он пойдет по больницам. В аптеках в открытом доступе его не будет.

По результатам изучения материалов по препарату для себя я уяснил следующее: имеем неизвестную по эффективности примерную копию неизвестного по эффективности препарата. Клинические исследования показали, что от его приёма за 20 дней никто не сдох.

Eshu Marabo

Что меня поражает в Microsoft - это совершенно ущербные с педагогической точки зрения примеры кода, которые они приводят в документации и шаблонах, прилагающихся к Visual Studio. И это я еще не затрагиваю милейшую тему тупо неработающих примеров.

Вот например, нужно мне сделать REST-api на ASP.net (c#). Это - основа одной из вариаций микросервисной архитектуры. Суть его проста: взаимодействие между компонентами программного продукта осуществляется через сеть, с использованием 4 основных команд: Get, Put, Post и Delete. Разумеется, шаблона с самым примитивной реализацией у них нет.

Есть какой-то пример стрёмного запроса погоды (в ответ подставляются случайные числа), где для хранения ответа используется отдельно созданный класс. Реализован только метод Get. При настройках умолчанию запускается бразузер, после закрытия которого все отключается.

Что лично я ожидаю от подобного примера другого: реализованы все команды. В качестве объекта запроса используется не дурацкая погода, а что-то простое и стандартное, например время. А еще я хочу иметь возможность потыкать запросами через консоль (имитация взаимодействия с другими компонентами), что невозможно, если закрыть браузер.

Не то, чтобы такие примеры как-то сильно мешают работе, но моя преподская душа не может выносить такой убогой подачи материала.

P.S. Извините за долгое молчание, работы было море.

Роскомнадзор принял решение о разблокировке телеграма. Для признания собственного бессилия потребовались всего лишь смена руководителя ведомства и два года позора. Ура, товарищи!

Несмотря на то, что для обычного пользователя максимум что изменится – медиа и фоточки будут грузиться чуть быстрее, это большой шаг вперед. Разработка различных фишек с использованием телеграма станет еще проще: раньше программисту для отладки нужно было настраивать прокси на арендованном зарубежном сервере, теперь же все резко упрощается. Для Павла Дурова это – некоторое снижение расходов на поддержание прокси-серверов.

Но, главное, открывается окно для интеграции телегама в бизнес. Официальная блокировка мешала (и то не всегда) менеджерам рассматривать телеграм как основной канал для взаимодействия с клиентами. Теперь все изменилось. Я уже писал: телеграм - это "либертарианских рай", здесь можно практически все. Таких возможностей не предоставляет ни один из популярных мессенджеров. Да еще и бесплатно.

Возможно, один из путей монетизации на будущее - брать небольшие деньги с юр. лиц за пользование инфраструктурой. Вангую: вскоре появится тьма ботов техподдержки, оповещения и всего прочего. Ну и я теперь по работе видимо буду заниматься разработкой ботов.

Eshu Marabo

На этой неделе у меня на работе начали гореть сроки по сдаче огромного проекта, потому меня из программистов временно переключили на него в качестве тестировщика и немного админа.

Естественно, раньше я тестировал свои программы, что-то покрывал юнит-тестами. Но финального тестирования с развертыванием на прод у меня еще не было. Я познал всю скорбь этих профессий. Какое же оказывается счастье просто кодить или работать с данными!

Используй несколько древних утилиток, потом долго и нудно сверяй циферки, потроши документацию десятилетней давности на старую систему в поисках ''а как оно было настроено?'', готовь бесконечные конфиги, разворачивай на прод.

В общем, опыт получился полезный, но болезненный.

Да, отдельное веселье в том, что старый прод у заказчиков сгорел физически, бекапов почему-то не было. Взять и поставить ПО десятилетней давности не сложилось, потому сроки сдачи подгорели вдвойне: сдаваемый проект - замена полетевшему серверу.

Только пару дней назад наткнулся на офигительное предложение от JetBrains (компания - создатель очень классных сред разработки): студенты и преподы могут пользоваться их продуктами бесплатно. Лицензия длится год, после чего её можно продлить.

В общем, теперь я счастливый обладатель единственных на рынке вменяемых сред разработки под Go и postgre sql (vs code и прочие костыльные кастомные решения не предлагать).

Такая лицензия стоит около 16 тыс. рублей в год. Вроде бы не много, но меня жаба давит. Кстати, это примерно равно моей годовой преподавательской зарплате, так что мне прям удвоили её по сути.

Разумеется, никакого альтруизма в этой акции нету: студентов через преподов банально подсаживают на свои продукты. Очень многие предпочтут заплатить раз в год, вместо того, чтобы привыкать к чему-то новому, притом зачастую уступающему по функционалу.

Кто читает мануалы? (или тяжело быть идиотом)

Запускаю телеграм бота (скоро скину ссылку), написанного на c# на серверном линуксе. Ранее я так запускал похожую штуку на питоне. Там было все просто: указал путь к интерпретатору питона, оно заработало.

С c# (.Net Core) все оказалось чуть сложнее. Для начала я так и не смог найти в Visual Studio настройки "скомпилировать под линукс". Есть обходной путь: компиляция через командную строку. Сделал.

Залил архивчик на сервер, пытаюсь запустить - нифига. После убитых трех часов на поиск решения я нагуглил: надо было просто дать разрешение на запуск моему боту. Т.е. просто сказать: "юзер такой-то имеет право на запуск этого файла". А если бы я догадался почитать что-то по линуксу (у меня серверная Ubuntu 18.04) проблемы бы не было.

В программировании есть такое, нынче не модное понятие - паттерны проектирования. Это - стандартные подходы к решению типовых задач.

Для написания хорошо работающего кода эти знания в принципе не нужны, но и чисто понтами их назвать нельзя. Ближайшая аналогия из не-IT мира - единообразие в оформлении технической и конструкторской документации. Можно конечно изобрести свою структуру документа, написать все каким-нибудь дизайнерским шрифтом, но скорее всего, читатели такого не оценят.

Названия паттернов, особенно в переводе на русский, поражают воображение новичков и взрывают мозг своей оторванностью от реального мира: абстрактная фабрика, легковес, одиночка, хранитель и тд.

Простейший пример паттерна - фасад. Предположим, есть у нас база данных ФСИН, хранящая массу занимательной информации и нам нужно сделать сервис для проверки наличия непогашенных судимостей.

Можно предоставить пользователям доступ к ней напрямую, ограничив его права, но всегда есть риск, что пользователь попадется слишком умный или наоборот - на выходе получим либо несанкционированный доступ к данным, либо обрушенную систему. Поэтому мы выставляем ''фасад'' - форму на сайте для ввода личных данных и поле для результата: да или нет.

Чтобы выбрать такое очевидное решение, знать о паттернах конечно же не нужно, но случаи бывают разные. Например, при обсуждении каких-то решений сильно упрощается жизнь.

Можно косноязычно распинаться 15 минут, описывая своё гениальное предложение перед коллегами, а можно предложить: "давайте используем такой-то паттерн?" Отдельным бонусом идет облегчение взаимодействия в интернациональной команде: уровень языка у всех разный, кому-то тяжело долго говорить, кому-то - воспринимать информацию на слух. Но ''use abstract factory'' поймут все квалифицированные программисты вне зависимости от знания английского.

К сожалению, давать паттерны в вузах, да и просто изучать в теории практически бесполезно. Я ещё не видел ни одного доходчивого описания сложных паттернов. Намного лучше, когда по твоему коду тебе говорят: о, да ты тут почти реализовал такой-то паттерн, такое запоминается намертво.

Eshu Marabo

Известная особенность экономики РФ - большая доля госучастия - не обошла и IT рынок. Вы думаете обычный комп ничем не отличается от госкомпа? Как бы не так: существует специальное регулирующее ведомство, отвечающее за порядок обеспечения безопасности информации в государственных инфосистемах.

Оно называется ФСТЭК и по-сути является бюрократическим органом, занятым: созданием рекомендаций и стандартов, лицензированием и сертифицированием инфосистем и IT компаний.

Как это водится для наших регулирующих ведомств, оно отстает от своей индустрии лет на 10. Его сотрудники практически ничего не тестируют на защищённость. Есть перечень из 200+ потенциальных угроз безопасности. Если хотите работать с государством, будьте добры, опишите, как вы планируете с ними бороться и как будете доказывать принимающей стороне, что реально с чем-то боретесь. При необходимости - подтвердите, что имеете сертификат: ''тут пилят безопасный софтец!''

Требований для получения такого сертификата масса, в некоторых случаях доходит до необходимости наличия специально защищенного помещения для проведения совещаний по проекту. Проще посадить одного виртуального лицензированного инфосека и торговать лицензией, чем реально приводить компанию в соответствие им.

Подобный подход породил новое направление «IT-бизнеса» - "аренду" лицензии. Компания каким-то образом получает лицензию, после чего начинает продавать коллаборацию с собой: разрабатываете что-то для государства и нужна лицензия? Пожалуйста! Зачастую, заплатить им проще и дешевле получения сертификата.

Ещё одно направление подобного «бизнеса» - продажа переделанного и лицензированного опенсорсного ПО. Примеры: Alt Linux, Astra Linux, Postgres pro. Если "линуксы" - это банальное утешение для жертв ФСТЭКа, то в postgres pro (система управления базами данных) даже что-то переделали, улучшив функциональность.

Но есть от этого ведомства и польза: ФСТЭК формирует требования к защите информации, заставляя разработчиков на этапе проектирования ПО не допускать использование простых, но небезопасных решений - таким образом качество работы программистов несколько улучшаетсяя.

Разумеется, никакой ФСТЭК не спасёт от раздолбайства: пароль на бумажке, приклеенной к монитору, состоящий из символов 123qw, и отсутствие разграничения прав пользователей - главные и самые трудно решаемые дыры в инфобезопасности.

Eshu Marabo

Некоторое время назад мне в руки попала слитая база данных пользователей телеграма: соответствие id пользователя и его телефонного номера, указанного при регистрации.

База изначально - csv файл с разделителем |. Большая часть - иранские номера. Подробнее про БД можно почитать тут:
https://www.tg-me.com/ssleg/86

С неделю назад я начал делать бота на c#, который будет отвечать пользователям, слит их номер или нет. Также хочу добавить функцию ''слит ли номер друга''. Пока что упёрся в два узких места:
1. Bot Api телеграма имеет ограничение: не более 30 сообщений в секунду вообще, не более 1 сообщения в секунду одному человеку.
2. Бот не умеет в поиск профиля человека по нику или id, потому либо на часть запросов буду отвечать ''настройки приватности человека не позволяют получить информацию'', либо сделаю отдельным сервисом клиент, который умеет искать.

P.S. Никаких персональных данных я разглашать не буду, ответ будет в формате ''номер человека: +7903*****67'' или вроде того.

Пользоваться ботом я хочу предоставить всем желающим. Изначально я планировал 3-5 запросов бесплатно, остальное - за небольшой донат (50-100р). Для сбора платежей даже сделал специального бота, но все уперлось в анонимность: сборы идут как на юр лицо или самозанятого, через Яндекс кассу, чек автоматом уходит в налоговую, надо ли оно мне? Потыкать в бота-сборщика платежей можно тут: @payment_zion_test_bot

Внимание! Бот привязан к тестовым реквизитам, предоставленным телегой, даже если возникнет желание кинуть ему копеечку - не делайте этого! Телеграм предоставляет тестовых ботов, которые генерят платежную информацию для тестов, в них можно попасть через @botfather

Вообще, инструментарий для сбора платежей в телеграме шедеврален: для программиста все безумно просто. Для пользователя все чуть хуже: на мобильном клиенте все прекрасно, десктопный платежи не поддерживает, что с веб-версией я не интересовался, если кто сидит через браузер, напишите, открывается ли платёж при нажатии на кнопку.

Пока работают два сервиса: Яндекс.Касса и Stripe, оба требуют юр. лицо или самозанятость. Ещё есть сбербанк, но на момент тестирования его бот, какая неожиданность, лежал.

о, апдейт от подписчика: в web версии payments не работают.

Не прошло и года использования Visual Studio 2019, как я обнаружил в ней инструменты для просмотра текущих состояний переменных не через дебаг.

Отдельно меня добило то, что значения переменных можно править прямо на ходу, как будто это Spyder для питона.

Запретить float

Что только не хранят программисты во float — деньги, количество и вес, сотни всего. Особенно умиляют координаты — неужели они их реально складывать и вычитать собираются?

Если кто не знает, float — это числа с плавающей точкой, которые не гарантируют точности. Верно, вам никто не обещает, что 0.1 + 0.2 будет равно 0.3. Если говорить грубо, причина в том, что в компьютере нет нецелых чисел — там вообще только нули и единицы.

Если вам надо хранить десятичные дроби, используйте специальные типы данных, которые для этого разрабатывались: Decimal, или что там у вас в языке. Подробнее почитайте на https://0.30000000000000004.com.

Таки да, года полтора назад, по неопытности, из-за float было много боли. Как правило, float начинает выдавать ерунду в 8-9 знаке и в целой части, и после запятой.

Я делал какие-то преобразования со временем в формате ticks (интервал длиной в сотню наносекунд). И долго не мог понять, почему у меня на промежутке времени в 30 лет вылезает неопознанная погрешность в 20-30 секунд.

В итоге, я просто перешел на double и проблема рассосалась. Но с тех пор возникло правило: начались странности с численными значениями? А проверь-ка, не используются ли где float?